“当时我正在天慧一号边上,突然乌拉一声!我靠......知道飞机在你身边起飞是什么感觉么?”
见赵强师兄比手画脚,还穿着鞋套,余江就一个劲地直乐。
“没事没事,炸不了。”
“我知道炸不了,但你这动静也太大了吧。”赵师兄瞥了一眼余江导出来的监控,很是心疼:“你这满载要飞多久?”
“大概七八个小时吧。”
“………………”忍了几忍,赵强最终还是叹道:“虽然是你姐花的钱,你也悠着点吧......这才交付的新机器,看着心疼啊。”
“嗯嗯,就这一次。”
余江把赵师兄送到门口,轻轻呼了口气。
也亏得自己有钱捐了一台,按照这种宝贝劲,就算是石院士全力支持他,超算中心也会不乐意的。
回到电脑前坐下,余江再次翻起了书。
实验室的研究生们陆续就位,没一会,余江把“天慧一号”算力占满的消息便传遍了实验室。
众人也不好说什么,只是暗暗摇头。
就算实验室最吃算力的指纹识别,峰值一般也就到80%左右,而且还持续不了多久,余江这玩意倒好......直接100%满载,整个机房就跟机场一样,站门外都能听到风扇的尖鸣。
午饭后,好几天没见的石院士来到了实验室。
石院士随意地坐在余江身后,看着屏幕的日志,问道:“这是进行到哪一步了?”
“反向传播训练,最后一道微调了。”
“梯度问题怎么解决的?”
“用的逐层无监督预训练来初始化权重,目前暂时没遇到梯度问题。”
石院士惊讶起来:“用了几层?”
“三层。”
石院士便缓缓吸气,深深地凝望着余江。
她自然知道,神经网络最大的毛病就是梯度爆炸或者梯度消失,这是神经网络无法持续研究下去的根本原因——至于原理性解释,算力需求都是其次。
这小伙,他难道真的解决了?
这时余江又不好意思地道:“现在所有层的权重都要参与链式求导和梯度更新,计算密度大了点,所以超算动静就有点大。”
石院士沉默许久,轻轻嗯了一声。
“神经网络本来就是吃资源的,而且不同参数的结果差异太大,根本没有规律可言,你这就只跑三天,时间够吗?”
余江回头,只见老太太是真诚地在问,心中微微一暖,轻声道:“是这样的,石老师,我翻了之前的好多论文,自己又琢磨了好久,觉得超参数其实还是有规律的。
所谓参数没规律,这正是神经网络被诟病不可解释的原因之一。
“石老师,譬如这个DBN模型,学习率0.1不是随便选的——低于0.05在这个网络结构下几乎不收敛,高于0.2很容易发散,这个区间对于784维到500维的映射是相对稳定的。”
“weight_cost我设了0.0001,如果设成零,网络会倾向于用少数强权重拟合数据;加一点惩罚,它会强迫网络用更多弱权重来学习规律。其实这些参数,论文里有人做过类似对比实验,只是没有总结成方法论。”
听余江一口气介绍完,石院士皱眉沉思了一会:“原理呢?”
“先找到规律,再探求原理。”他轻轻呼气:“石老师,我这边用的是Yann LeCun实验室提供的MNIST原始数据集,不知道现在实验室用这个数据集的错误率是多少?”
“之前你师兄拿来练过手,差不多5%吧。”
“嗯,那我加把劲,看能不能低于5%。”
石院士便微微一笑,站起身来,轻轻拍了拍他的肩膀:“只要低于5%,就表示你的模型具备相当的意义。”
目送石院士离开,余江继续耐心地等待。
石院士双手抱臂,在办公室内来回踱步。
门外脚步声响起,片刻后,年逾六十的迟惠生教授和实验室博后吴玺宏出现在门口。
“迟老师,玺宏。
“石老师,那小家伙真的稳定地跑了三层?”迟惠生教授难言心中的激动与紧张。
石院士点头:“我看了日志,确实是跑了三层。’
吴玺宏猛地吸气:“这么激进?没有遇到梯度问题?”
碍于现实,虽然目前整个视觉与听觉国家重点实验室的所有课题都集体转向了炙手可热的统计方法,但他们三人,也是为数不多还在对神经网络进行交叉尝试的人——虽然只是在浅层尝试。
特别是迟惠生,他两年前才通过“人工神经网络理论与应用”课题获得了教育部科技进步一等奖。
1994年和1995年,他两次获得国际神经网络学会颁发的“神经网络领导奖”,并先后三次在世界网络大会及理事会上作特邀报告,介绍中国在神经网络领域的研究成就。
他们三人可以说是整个实验室,乃至整个学校都最关注余江成果的人!
“三层!三层!几乎没人能稳定跑完三层!”
迟惠生教授也双手握紧,在办公室走来走去,眼神不断闪烁:“能稳定跑三层,就能跑四层,五层………………
石院士笑着摇了摇头:“老迟,你别激动。”
“不由得不激动啊!他的模型只要能重复,这就是神经网络的巨大进步!巨大进步啊!”
相比迟教授,吴玺宏要稍稍冷静一点,他望着石院士:“石老师,他用的是杨立昆的数据集对吧,那准确率呢?”
石院士摇头:“没跑完,还不知道。而且准确率受参数影响很大,他跟我说了超参数的规律,我虽然不是很认可,但只要按照这个规律能够提高模型准确率,那规律就可用。
迟惠生重重拍手:“没错!主要还是解决梯度问题,超参数是可以慢慢调的,只要能发现,那就是神经网络的曙光!”
石院士缓缓点头,随即又望向机房的方向:“他这个复现......怕也是有点困难呐。”
二人也回头看了一眼机房。
这超算已经满载运行了四五个小时,光听着风扇的声音,超算中心那帮人就心疼不已。
“就用普通服务器跑嘛!就算跑一个月又如何?”
时间一点一点地流逝。
下午五点半,咆哮了一整天的机房终于安静。
余江放下书,回到工位前,开始保存微调后的全网络权重,生成最终DBN模型文件。
紧接着,他开始部署测试集推理,将测试样本批量输入 DBN网络......
饭点到来,实验室内的师兄们开始陆续离开工位,又纷纷在他身后顿足。
余江回头,只见身后站满了一大票人。
他失笑起来:“师兄们,你们这是干啥?”
徐一博认真道:“等着看你蹂躪超算一天一夜的结果。”
这时人群自然分开,以石院士为首的一帮教授齐齐走进人群,站到他的身后。
余江回头,只见石院士和迟教授冲他点了点头,随后便静静等待。
余江深深呼吸。
片刻后,他开始对比图像的预测标签和真实标签。
屏幕上,对比结果迅速滚动。
No.0611 True_Label: 7 Pred: 7 Conf: 0.987 [OK]
...[ OK ]
...[ OK ]
...[ OK ]
——准确度:98.750%
——错误率:1.250%
——平均置信度:0.963
实验室内,寂静一片。