能。
“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”
不仅是深度上取得了开创性的突破,Res的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。
如果综合几个不同方式训练的Res,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。
“其实在IMAGE上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。
Res的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。
再说的浅显一点,假设原本的操作为f(x),Res就是把计算过程从f(x)改为f(x)+x。
这也是孟繁岐最早与付院长讨论的内容之一。
这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。
在此之后的几乎所有AI文章,都很难绕得开这个思