一一中文网

手机浏览器扫描二维码访问

第64章 nl的兴趣（第2页）

“这太不可思议了……”

林晨滚动着页面，眼睛发亮。

bERt-base-chinese、Gpt-2、t5、RobERta……一个个预训练好的模型像货架上的商品一样陈列着，大部分只需几行代码就能调用。

更关键的是，这些模型大多开源，允许微调以适应特定任务。

“也就是说，我不需要从零开始训练一个理解中文的巨型模型——那是需要海量数据和算力，只有大厂才玩得起的游戏”

。

林晨快速思考着，“我只需要在这些已经具备强大语言理解能力的‘大脑’基础上，用我自己的数据（比如财经新闻、股评）对它进行‘专项培训’，它就能学会针对金融文本的分析能力”

。

这个认知让他心跳加速。

这意味着门槛的极大降低，意味着个人开发者也有机会利用最前沿的NLp技术。

接下来的三天，林晨进入了新一轮的沉浸式学习。

第一天，他主攻transformer架构。

那篇着名的论文《AttentionIsAllYouNeed》他打印出来，对照着中文解读，啃了三遍。

自注意力机制（Self-Attention）、位置编码（positionalEncoding）、前馈网络（Feed-Forward）……一个个模块在他脑中逐渐清晰。

他画了无数张草图，尝试理解输入一个句子“今天股价大涨”

时，模型内部是如何计算每个词与其他词的相关性权重的。

“难怪能解决长距离依赖问题”

。

林晨在笔记上写道，“RNN像接力赛，信息传递远了会衰减；transformer让每个词都能直接‘看到’句子里的所有其他词，一举解决了瓶颈”

。

第二天，他深入研究bERt（bidirectionalEncoderRepresentationsfromtransformers）。

这个名字直译过来是“来自transformer的双向编码器表示”

。

双向（bidirectional）是它的精髓——传统语言模型只能从左到右或从右到左单向预测，bERt却能同时考虑上下文，从而获得更深层的语义理解。

“maskedLanguagemodel（掩码语言模型）和NextSentenceprediction（下一句预测）”

。

林晨总结着它的两个预训练任务，“通过让模型预测被随机掩盖的词，以及判断两个句子是否连续，它学会了词语之间的关系和句子间的逻辑。

这就像让一个孩子通过完形填空和组句游戏来掌握语言”

。

第三天，他转向Gpt（Generativepre-trainedtransformer）。

与bERt的“理解”

取向不同，Gpt更擅长“生成”

。

它的训练方式是给定上文，预测下一个词。

这种自回归（Auto-regressive）方式让它能写出连贯的文本。