分布式训练基础

分布式训练基础

对于算法工程师而言,单卡跑不起来或者跑起来慢是很常见的问题,分布式训练各个框架都有支持。有时候训练模型一张卡放得下但误以为多卡一定就快,训练
内容损失与风格损失

内容损失与风格损失

在画风迁移与超分辨率重建以及图像修复等视觉领域, 内容损失又称感知损失, 使用的较多, 在此做个记录, 同时也记录下风格损失 内容损失与提取计算 内容损

深度学习归一化: BN,LN,IN,GN

深度学习中的常见归一化方法主要有: batch Normalization, layer Normalization, instance Normalization, group Normalization. 神经网络学习过程的本质就是为了学习数据分布, 如果没有做归一化处理, 那么每一批次训练数据的分