5大关键步骤！

《地书》是一本用各类标识语言和符号写成的书，妙趣横生地记录下现代城市白领一天二十四小时的典型生活。这是一本没有使用任何传统文字的读物，也是一本在任何地方都不用翻译的书。无论哪种文化背景，讲何种语言，只要有当代生活经验的人，就可以读懂这本书。这本书基本就是用符号来表达，但是符号永远无法取代文字，但是表情包却在一种符号中成了现代人的第二刚需语言。

经典表情包小黄脸的出现

1999年，日本的颜文字之父栗田穰崇Shigetaka Kurit，出于开拓公司业务的需求，设计出更多标准化的12px*12px的文字表情图标，拓展寻呼机移动通信产品的沟通媒介，随着科技的日星月异，更多如手机，智能手机，ICQ或者MSN通讯软件的发展，表情图标已被绝大多数计算机系统所兼容的编码“统一码”(Unicode)采纳，普遍应用于各种手机短信和社交网络。
 

通过初始化来自预训练优化路径上不同检查点的预训练权重，比较迁移学习的好处。图 7 显示了从不同的预训练检查点进行微调时的最终性能和优化速度。

总体而言，预训练的好处随着检查点指数的增加而增加，可得出以下结论：

在预训练中，在学习率下降的 epoch 30 和 epoch 60 观察到了很大的性能提升。但是，从检查点 29、30、31（和类似的 59、60、61）初始化不会显示出明显不同的影响。另一方面，特别是对于 real 和 clipart 的最终性能，当从训练前性能一直处于平稳状态的检查点（如检查点 29 和 59）开始时，可以观察到显着的改进。这表明，预训练性能并不总是作为预训练权重对迁移学习有效性的忠实指标。

quickdraw 在预训练中发现最终性能的收益要小得多，并在检查点 10 迅速达到平稳状态，而 real 和 clipart 直到检查点 60 都不断看到的性能的显著改进。另一方面，随着检查点索引的增加，所有三个任务在优化速度改进上均具有明显的优势。

优化速度在检查点 10 处开始达到平稳状态，而对于 real 和 clipart，最终结果则不断提升。在训练前的早期检查点是在收敛模型的 basin 之外，在训练期间的某个点便进入 basin。这也解释了在一些检查点之后性能停滞不前的原因。

因此，我们可以早一步地选取检查点，这样便不会损失微调模型的准确性。这种现象的起点取决于预训练模型何时进入其最终 basin。

总而言之，这项研究明确阐述了迁移学习中所迁移的内容以及网络的哪些部分正在发挥作用。

对于成功的迁移，数据的特征复用和底层统计都非常重要。通过对输入块进行混洗来研究特征重用的作用，表明当从预训练权重初始化进行训练时，网络停留在解决方案的同一 basin 中，特征相似并且模型在参数空间中的距离附近。

作者还进一步确认了，较低的层负责更一般的功能，较高层的模块对参数的扰动更敏感。通过对损失函数 basin 的发现可用于改进集成方法，对低级数据统计数据的观察提高了训练速度，这可能会导致更好的网络初始化方法。利用这些发现来改善迁移学习，将十分具有价值。
 

弹性消费模式的兴起

除了混合IT模型的日益普及之外，一部分现代IT供应商还采用了截然不同的方法来处理基础架构。作为服务，它被大量考虑，实施和使用，这是因为IT团队已经围绕公共云的经验进行了组织。同时，组织已经从管理员转移到工程师，建立基础设施，将其设计为战略工具和创新驱动力，而不是简单地开灯。无需聘请现代IT专业人员来拧螺丝和管理IT，而是请他们专注于可帮助企业实现其目标的关键业务创新。与传统的IT技能集有很大不同。为开发人员提供类似于云的体验的基础架构使他们能够提高生产力。

最终，一些领导者可能会选择采用一种云服务或另一种云服务，但这通常使自己倾向于采用云优先的方法，而不是最佳云的方法。对于那些需要创新的，远见卓识的现代高管，混合云不再是一个问题。领导者需要确保他们通过混合IT受益于两全其美。通过将私有云的企业级功能与公共云的可扩展性和敏捷性相结合，企业可以在不确定的时期继续创新并超越竞争对手。

（编辑：广安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!