COVID-19疫苗的推广容易受到欺诈和盗窃的影响

为了更清楚地描述特征复用的作用，作者使用了图 1 中包含自然图像（ImageNet）的源域（预训练）和一些与自然图像的视觉相似度低的目标域（下游任务）。

图 2 可以看到，real domain 具有最大的性能提升，因为该域包含与 ImageNet 共享相似视觉特征的自然图像。这能够支撑团队成员的假设 —— 特征复用在迁移学习中起着重要作用。另一方面，在数据差别特别大的时候（CheXpert 和 quickdraw），仍然可以观察到迁移学习带来的明显的性能提升。
 

Sansec从几台受攻击的服务器中收集的RAT样本已经由针对Ubuntu和Red Hat Linux的这些攻击背后的攻击者进行了汇编。

Sansec在今天早些时候发布的一份报告中说：“这可能表明有多个人参与了这场攻击。”

“或者，也可能是因为RAT源代码是公开可用的，并且有可能在暗网市场上出售。”

RAT dropper泄露了列表

尽管他们使用了非常先进的RAT恶意软件作为被黑客入侵的电子商务服务器的后门程序，但Magecart团伙还是犯了一个很低级的错误，即dropper代码中误加了一个被黑客入侵的在线商店的列表。

Sansec劫持了攻击者的RAT dropper并发现，除了用于解析多个Magecart脚本部署设置的常用恶意代码之外，它还包含41个被攻击商店的列表。

这或许是因为，dropper是由一个对PHP不太熟悉的人编写的，因为它“使用共享内存块，这在PHP中很少使用，反而在C程序中更常见”。

Sansec还联系了Magecart恶意软件dropper代码中包含的在线商店，并告诉他们服务器已被攻击。
 

4 种网络的迁移学习

他们分析了四种不同情况下的网络：

1. 预训练网络（P, pre-trained model）；

2. 随机初始化的网络（RI, random initialization）；

3. 在源域上进行预训练后在目标域上进行微调的网络（P-T, model trained/fine-tuned on target domain starting from pre-trained weights）；

4. 随机初始化对目标域进行普通训练的模型（RI-T, model trained on target domain from random initialization）。

首先，团队通过改组数据研究了特征复用。将下游任务的图像划分为相同大小的块并随机排序，数据中的块混洗破坏了图像的视觉特征。该分析表明了特征复用的重要性，并证明了不受像素混洗干扰的低级统计数据在成功传输中也起作用。

然后，需要比较经过训练的模型的详细行为。为此，他们调查了从预训练和从零开始训练的模型两者间的异同。实验证明，与通过随机初始化训练的模型相比，使用预训练的权重训练的模型的两个实例在特征空间上更为相似。

再就是调查了预训练权重和随机初始化权重训练的模型的损失情况，并观察到从预训练权重训练的两个模型实例之间没有性能降低，这表明预训练权重能够将优化引导到损失函数的 basin。

接下来，我们结合文章中的实验和结果来详细的分析方法论并探讨 “What is being transferred?”。

什么被迁移了？

人类视觉系统的组成具有层次化的特征，视觉皮层中的神经元对边缘等低级特征做出响应，而上层的神经元对复杂的语义输入进行响应。一般认为，迁移学习的优势来自重用预先训练的特征层。如果下游任务因为太小或不够多样化而无法学习良好的特征表示时，这会变得特别有用。

因此，很容易理解，大家认为迁移学习有用的直觉思维就是，迁移学习通过特征复用来给样本少的数据提供一个较好的特征先验。

然而，这种直觉却无法解释为什么在迁移学习的许多成功应用中，目标领域和源领域在视觉上差异很大的问题。

（编辑：广安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!