A101课程(测试课程请勿购买)
课时介绍
课程介绍
-
务上进行结构搜索的差异。
-
由于使用了小规模数据库上的最优模型作为大型任务的初始化种子,该方法有效节省了在大规模数据库上进行模型搜索的时间。
-
在节省了计算资源的情况下,最终的模型仍然能达到不错的性能。
本文提出的 EAT-NAS 方法,是在基于进化算法(Evolutionary Algorithm,EA)的 NAS 方法上进行改进的。进化算法在 NAS 领域的应用非常广泛,其详细算法如下表所示:
该算法首先在搜索空间中使用随机生成的P模型对种群进行初始化,随后将每个模型在数据库上进行训练和评估以获得模型的准确率。在每个进化周期里,S是从种群中随机采样的模型。其中分数最高的模型 M_best 和分数最低的模型 M_worst 会被选出进行下一步处理。对 M_best 添加一些变换即可得到变异的模型,变异的模型会被添加到种群中进行训练、评价,同时 M_worst 会被移除。上述的搜索进程便被称为联赛选择算法。最终,再对前 k 个效果最好的模型进行重训练,选择其中最好的模型即可完成整个搜索过程。
本文算法在将模型结构用于大规模数据库时,许多 NAS 方法只不过是依赖人类专家的先验知识,手动地修改模型的宽度和深度。与这些方法不同,EAT-NAS 对基本模型结构的各个元素进行微调得到最终可以适应大规模数据库的模型,这些元素包括结构、尺度、操作等。通过使用在小规模数据库上搜索得到的基本模型,EAT 算法可以有效地加速大规模任务上模型的搜索进程。
信息系统项目管理师自考笔记
李明 · 509人在学
python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据
王先生 · 20439人在学
手把手搭建Java超市管理系统【附源码】(毕设)
汤小洋 · 4036人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 727人在学
基于SSM酒店管理系统(毕设)
小尼老师 · 781人在学
java项目实战之购物商城(java毕业设计)
Long · 5065人在学
手把手搭建Java求职招聘系统【附源码】(毕设)
汤小洋 · 1457人在学
Python Django 深度学习 小程序
钟翔 · 2231人在学
城管局门前三包管理系统+微信小程序(vue+springboot)
赖国荣 · 493人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3834人在学