一一中文网

手机浏览器扫描二维码访问

第549章 吞金巨兽（第1页）

同一时间。

旧金山，先锋大厦。

这里是openAI的总部办公楼。

跟纪元公司那种全黑防爆、像外星基地一样的豪华大楼比起来，这里看着就像个大号的大学实验室。

大厅里到处扔着懒人沙发，白板上写满了密密麻麻的数学公式。

在最里面的核心研发机房里。

首席科学家伊利亚，正盯着面前的三块大屏幕。

这哥们今年才三十出头，但脑门顶上的头发已经掉得差不多了，剩下的几撮头发乱糟糟地支棱着，像个鸡窝。

他身上那件灰色的格子衬衫，已经连着穿了四天，袖口上还沾着干掉的番茄酱。

但他本人完全不在乎这些。

此时此刻，伊利亚布满红血丝的眼睛里，闪烁着一种近乎疯魔的狂热光芒！

“天哪……太美了……这简直就是神迹！”

伊利亚嘴里不停地念叨着。

他的思绪忍不住飘回了2015年底的那个下午。

那时候，他们整个团队都被困在RNN（循环神经网络）的死胡同里，算力利用率连千分之一都不到，教出来的AI连句话都说不利索，动不动就把美国总统华盛顿识别成一只吃轮胎的猫。

就在所有人都绝望的时候，林哲来了。

那个明明是个超级资本家、却比全世界所有科学家都懂技术的男人，只是随手擦掉了白板上的公式，画出了一个叫“Self-Attention（自注意力机制）”

的矩阵图。

就是那张图，彻底敲碎了困扰人工智能几十年的枷锁！

后来的这两年多时间里，伊利亚带着团队，顺着林哲指出的这条明路，彻底抛弃了老旧的序列模型，全力扑在transformer架构上。

效果简直可以用恐怖来形容！

因为可以并行计算，模型吞噬文本数据的速度，比以前快了足足上千倍！

借着纪元公司地下算力中心那几万张顶级GpU的暴力支持，伊利亚像个喂不饱的饕餮一样，把整个维基百科、几千万本电子书、还有全网能扒下来的高质量网页，全都一股脑地塞进了模型的大肚子里面。

以前，模型只是个会死记硬背的复读机。

但就在刚才！

当模型的参数量突破了百亿大关，训练损失曲线突然出现了一个断崖式的下跌！

伊利亚颤抖着手，在键盘上敲下了一行测试指令。

他没有给模型任何现成的参考答案，而是直接出了一道需要转好几个弯的逻辑推理题，外加一段从来没见过的复杂故事开头，让模型自己往下编。