既然吴恩达教授早在2009年就用这篇顶会论文向全世界展示了gpu的威力,那为什麽时至今日,陈工他们这些一线的工程技术人员,依然把用cpu训练神经网络当成约定俗成的标准答案?
为什麽这项能让效率起飞的技术,如今依然只是停留在少数顶尖高校的实验室里,并没有在工业界和学术界得到大规模的认同与落地?
如果真的有用,不是应该早就商业化了吗?
总不能说资本眼瞎吧?
这样不合常理,不对,有坑!
漆昊脑子冷静了下来。
他现在得知道坑在哪儿。
有了方向的漆昊,搜索信息变得有目的了,很快他就梳理一些关键点。
如今的计算机视觉圈子,大家普遍崇拜的是手工特徵算子,像是sift、hog、lbp,然後再搭配一个数学上的支持向量机sv或者随机森林。
在主流学者眼里,神经网络本身就是容易过拟合还需要人肉调参的黑箱子,没有海量的标注数据支撑,大家觉得神马深层模型都是浮云,自然也就没人愿意为了这个非主流方向去专门花时间折腾显卡了。
毕竟,gpu它目前只认识游戏画面,要它去训练神经网络,你必须教它,光是这一步,都要人老命了。
更重要的是,现在最好的gtx580显存才15gb。
所以,想要在15gb的显存限制下,既避开重新写原生cuda训练代码的坑,又要实现一定的机载视觉的实时计算,所有人都在这里卡住了。
如果全连接网络会导致参数爆炸,那就必须从数学上限制参数的连接方式。
空间局部性和权重共享,漆昊想了下,这不就是卷积神经网络嘛!
通过局部感受野和卷积核复用,可以将需要存储的参数量大量压缩到只有数万的级别,几个g的大小也同时被压缩,15g的显存好像也能装下!
可是,卷积计算在gpu里怎麽高效率跑起来?
二维卷积需要在一个滑动窗口里不断做局部的乘加,如果用传统的c循环思路去gpu里写多重嵌套循环,gpu的线程束会发生严重的访存冲突,最後跑出来的速度可能连cpu都不如。
漆昊想到这里有些卡住了,他又只能在网上找神经网络和图像卷积相关的文献来看。
实验室里面的其他人此时其实因为课题快要结束的事,都松了一口气,坐在漆昊斜对面的李杰正悄悄把手移向滑鼠,准备点开刚刚更新的游戏,而隔壁工位的同门则在用手机刷着天涯论坛,嘴角挂着摸鱼人特有的安详微笑。
然而,他们很快就注意到了漆昊这边写草稿的动静。
李杰一慌,游戏图标硬是没敢点下去。
他偏过头,和旁边的同门师弟交换了一个惊恐的眼神。
「哎,漆神这是怎麽了,不是已经解决问题了吗?」师弟努力小声问道。
「不知道啊?」李杰心里咯噔一下,他突然不敢继续心安理得地摸鱼了。
在科研狗的世界里,最让人胆寒的现象莫过於,大家都在玩,只有学神在疯狂看文献。
这种恐慌感一旦蔓延,杀伤力堪比一觉醒来,错过高考时间。
为了打探敌情,李杰悄悄站起身,假装拿着水杯去饮水机接水,在路过漆昊身後时,他偷感十足地飞快瞅了一眼。
只见那张草稿纸上,写满了各种推导公式,嗯,那些公式重重叠叠的,他看不出写的是什麽,也怀疑漆昊是否也看得清楚。
回到座位上,李杰感觉杯里的白开水都变苦了。
他默默关掉了游戏窗口,从电脑里翻出一个马了很久英文文献pdf,开始尝试着看。
「怎麽样?」旁边的师弟凑过来。
李杰一脸凝重:「不知道漆神在干嘛,不过大神在前,你还有心情玩天涯论坛吗?」
师弟犹豫了下,关掉了手机,默默打开了atb。
其他人看见後,也不好再摸鱼了。
整个实验室的气氛,在漆昊毫无自觉的学神气场压迫下,硬生生卷了起来。
大家原本高高兴兴准备开启咸鱼模式,结果旁边坐着一个大佬正在疯狂学习求进步,他们想躺平也躺不下去啊!
此时的漆昊,根本不知道周围人内心世界如此丰富,他只一门心思看着草稿纸上那张模拟滑动窗口卷积的矩阵示意图。
卷积核在图像上一格一格地滑过去,乘以局部像素。
等等!
每一块滑动窗口里的图像,展开後都是一个

