用匿名内部类实现 Java 同步回调

复合模型可以在占用更少空间的同时实现更好的性能。此外，可以用 Keras functional API 之类的工具轻松地构建这些具有非线性拓扑的网络架构。

为了处理越来越多的数据类型(例如视频和 3D 数据)，研究人员必须建立更复杂的复合模型。

在这里阅读更多关于复合学习及其未来发展的知识[5]。

4简化 学习

模型的规模正在不断扩大，尤其是在 NLP 方面。最新的 GPT-3 模型具有 1750 亿个参数。将其与 BERT 进行比较就像将木星与蚊子进行比较。深度学习的未来会更广阔吗?
 

3复合 学习

复合学习的目的不是利用一种模型的知识，而是几种模型的知识。人们认为，通过静态或动态信息的独特组合或注入，深度学习可以比单一模型在理解和性能上更加深入。

迁移学习是复合学习的一个典型示例，其前提是模型的权重可以从一个在类似任务上预先训练过的模型中借用，然后在特定任务上进行微调。像 Inception 或 VGG-16 这样的预训练模型，其结构和权重被设计用来分类图像。

如果我要训练一个神经网络来识别动物(如猫，狗等)，那么我不会从头开始训练一个卷积神经网络，因为要获得良好的结果将花费大量时间。相反地，我将采用像 Inception 这样的预训练网络，该网络已经具有图像识别的基本知识，只需要在数据集上进行了一些额外的训练。

同样，NLP 神经网络中的词嵌入功能，根据词与词之间的关系将词在实际意义上更接近其他词(例如，苹果和橙子的距离要比苹果和卡车的距离小)。像 GloVe 这样的预训练嵌入可以放置到神经网络中，从已经有效的单词映射到数字的、有意义的实体。

不太明显的是，竞争也会刺激知识的增长。一方面，生成对抗网络通过从根本上使两个神经网络相互对抗而借鉴了复合学习范式。生成器的目标是欺骗鉴别器，而鉴别器的目标则是不被欺骗。

模型之间的竞争将被称为对抗性学习，不要与另一种对抗学习相混淆，后者是指设计恶意输入以及利用模型中的弱决策边界。

对抗学习可以刺激通常是不同类型的模型，其中模型的性能可以相对于其他模型的性能来表示。在对抗学习领域，仍有很多研究工作要做，生成对抗网络是对抗学习领域唯一突出的创新。

另一方面，竞争学习与对抗学习类似，不过是在逐节点的规模上执行的: 节点在对输入数据的子集做出响应的权利上竞争。竞争学习是在竞争层中实现的，除了一些随机分布的权重外，所有神经元完全相同。

将每个神经元的权值向量与输入向量进行比较，将相似度最高的神经元激活(输出 = 1)，将其他神经元停用(输出 = 0)，这种无监督技术是自组织映射[3]和特征探索[4]的核心组成部分。

复合学习的另一个有趣示例是神经网络架构搜索。简单来说，强化学习环境中的神经网络(通常是递归的)会学习为数据集生成最佳的神经网络 — 此算法为你找到最佳的架构!

集成方法也是复合学习中的主要内容。深度集成方法已经证明是非常有效的，并且在实际应用中，端对端模型的堆叠(例如编码器和解码器)已经越来越流行。

许多复合学习正在寻找在不同模型之间建立联系的独特方法。前提是，一个单一的模型，甚至是非常大的模型，都比几个小型模型/组件的复合模型的性能差，其中那个每个小型模型/组件都被委托专门负责部分任务。

例如，考虑为餐厅构建聊天机器人的任务。

（编辑：阜阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!