如何构建深度学习模型？

表情包指的是一种利用图片来表达感情的方式。表情包是在社交软件活跃之后，形成的一种流行文化。表情包这个看似再普通不过的元素已经成为日常社交不可缺少的内容，很多时候我们觉得单一的文字并不能准确传达我们所要表达的真实情感，配合表情包的发送更能让对方深刻感知此刻跟你互动的对方所附属的情感。大家常见的日常使用率极高表情包Emoji，作为一种图形化、视觉化、符号化的表现形式，在现代人的移动通信沟通之中占有非常重要的地位。

表情包在网络聊天中如此重要，是由网络聊天的特性决定的。在沟通中跟文字比起来，表情包算不上刚需，但是随着进入了互联网时代，人们联系的方式发生着翻天覆地的变化，以前车马很慢，书信很远，文字是沟通的刚需，现在人们联系不费吹灰之力点一点手机，所以表情包在互联网时代的沟通场景下显得尤为重要。

我们在跟别人聊天互动过程中经常会产生一种尴尬，就是不知道该说什么，表情包是无话可聊时的法宝，它的出现使得众多网友们摆脱语言单一化的尬聊现象。很多时候我们做事情小心翼翼，担心别人会胡思乱想，尤其在互联网环境下非面对面的沟通，这时候更需要一些表情包所自带的情感来掩饰我们的真实情感;有时候我们又担心别人不了解我们的情感，所以用表情包自带的情感来传达我们真实的情感;在人们工作生活压力越来越大的情况下，这些看似不合理的、打破常规的“贱萌”表情反而更能激起人们麻木的神经。随着现在生活压力的增大，除了来表达感情的方式之外，表情包斗图也是释放压力的完美方式之一。

图像化的起源

表情包的发展是讯息沟通传播中的图像化表现，原始时期，没有发明文字的原始人类便用简单的绘画图案来记录事实或者陈述动作的行为，这种行为不限于地区或者民族，广泛的存在，如始人类用生动的抽象绘画记录下史前的历史片段。
 

也就是说，基于预训练的模型之间的特征相似度很高，而 RI-T 与其他模型相似度很低，哪怕是两个相同初始化的 RI-T。这显然在说明预训练模型之间往往是在重复利用相同的特征，也就强调了特征复用的作用。表 2 为不同模型的参数的距离，同样能够反映出上述结论。

泛化性能

更好度量泛化性能的常用标准，是研究在最终解决方案附近的损失函数里 basin 程度。

作者用Θ和Θ̃表示两个不同检查点的所有权重，通过两个权重的线性插值{Θ휆=（1-λ）Θ+λΘ̃：λϵ[0,1]} 评估一系列模型的表现。

由于神经网络的非线性和组成结构，两个性能良好的模型权重的线性组合不一定能定义效果良好的模型，因此通常会沿线性插值路径预期到性能降低。

但是，当两个解属于损失函数的同一 basin 时，线性插值仍保留在 basin 中，此时的结果是，不存在性能障碍。此外，对来自同一 basin 的两个随机解进行插值通常可以产生更接近 basin 中心的解，这可能比端点具有更好的泛化性能。

团队将重点放在凸包（convex hull）和线性插值上，以避免产生琐碎的连通性结果。需要强调的是，要求 basin 上的大多数点的凸组合也都在 basin 上，这种额外的约束使得通过低损耗（非线性）路径连接或不连接多个 basin。

此概念的具体形式化以及将凸集设置为 basin 的三点要求论文中均给出了详细说明，在此便不再赘述。

（编辑：广安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!