神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络(Artificial Neural Networks, ANN)这种在机器学习领域被广泛运用的模型的技术
。
目前,通过神经结构搜索所设计的模型的性能,已经可以达到甚至超过由人工设计的模型
。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类:
- 搜索空间(Search Space) 定义了可以设计和优化的人工神经网络种类;
- 搜索策略(Search Strategy) 定义了探索搜索空间的方法;
- 性能估计策略(Performance Estimation Strategy) 通过一个潜在神经网络的结构来评估其性能(不一定构建并训练这个网络)。
神经结构搜索与超参数优化(Hyperparameter optimization )有着密切的联系。它也是自动机器学习(Automated machine learning)的一个子领域。
搜索空间
宏搜索空间
微搜索空间
其他搜索空间
搜索策略
强化学习
进化算法
多目标搜索
可微分的搜索(基于梯度的搜索)
性能估计策略
权重共享
基于预测器
参考资料
评论 (0)