套策略网络-评估网络-强化学习-蒙特卡洛搜索的总体结构还没有成型。
还停留在比较早期的阶段,甚至还没有最后决定到底使用怎样的网络结构比较好,此时正在对模型本身的结构进行测试和设计。
“这方面确实是我比较擅长的方向,尤其最近,我在CPU和小模型的设计上有一些想法,这些内容应该会对你们有一定的帮助。”
要说各种设备和各种类型的任务,网络用什么算子比较好,速度和性能怎么取舍,即便再往后五年,孟繁岐都是当之无愧的第一人。
因为他熟知的那些取舍和结论,都是后来谷歌这样的大平台NAS(网络结构搜索)的实验结果。
所谓NAS,其实就是一种穷举对比的方式。
在特定的数据集上,把所有想得到想不到的算子组合用穷举的形式全都特么的测试一遍。
最后得出的网络结构,当然会比人类自己设计的要好要快,不过换一个差距很大的数据未必好用。
获取这个答案的代价是相当惊人的,随着搜索空间的增大,显然需要非常恐怖的计算资源去支撑。
好在孟繁岐已经将几个大公司上万张显卡,数年时间测试出来的主要结论全都白嫖了。