理解深度学习模型复杂度，看这一篇就够了

这两个方向的最新进展进行了回顾。

论文作者为著名大数据科学家裴健教授与他的两位学生，以及微软亚洲研究院的两位合作者。

深度学习的模型复杂性可以解释为「表达能力」和「有效模型复杂度」。在这篇论文在，研究人员沿着模型框架、模型尺寸、优化过程、数据复杂度四个重要因素对这两类模型的现有研究进行回顾。

最后，作者再从理解模型泛化能力、优化策略、模型的选择与设计对其应用进行论述。

可以说，理解深度学习模型复杂度，看这一篇就够了。

首篇深度学习模型复杂度综述，四个重要因素

首先，我们先来看模型复杂度受哪些因素影响。

模型框架

模型框架的选择影响模型的复杂性。影响因素包括模型类型（如FCNN、CNN），激活函数（例如，Sigmoid、ReLU）等。不同的模型框架可能需要不同的复杂性度量标准和方法可能无法直接相互比较。

模型尺寸

深度模型的大小影响模型的复杂度。一些常见的所采用的模型尺寸测量方法包括参数个数、参数个数隐藏层的数量、隐藏层的宽度、过滤器的数量以及过滤器大小。在同一模型框架下，模型的复杂性对于不同的大小，可以通过相同的复杂性度量进行量化从而成为可比较的标准。

优化过程

优化过程影响模型的复杂度，包括目标函数的形式、学习算法的选择和超参数的设置。

数据复杂度

训练模型的数据也会影响模型的复杂性。主要影响因素包括数据维度、数据类型和数据类型分布、由Kolmogorov复杂性度量的信息量等。

（编辑：阜阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!