一一中文网

手机浏览器扫描二维码访问

第64章 nl的兴趣（第3页）

林晨在本地跑了一个小型的Gpt-2demo，输入“央行今日宣布”

，模型输出了“降准0.5个百分点，释放长期资金约1.2万亿元……”

虽然内容纯属虚构，但格式和语气竟有模有样。

“一个擅长理解，一个擅长生成”

。

林晨对比着，“对于投资分析，目前更需要的是理解能力，从文本中提取情感倾向、关键事件、风险提示。

所以bERt路线可能更合适”

。

理论学习必须用实践巩固。

林晨决定动手微调一个模型试试。

他在huggingFace上选择了bert-base-chinese，这是一个通用的中文bERt模型。

任务设定为简单的文本分类：判断一段中文文本的情感是正面、负面还是中性。

数据从哪里来？林晨想到了电商评论。

他在网上找到了一个公开的中文电商评论数据集，包含数万条用户对商品的评价以及对应的情感标签（1—5星，他将其归为正面、中性、负面三类）。

接下来是代码时间。

得益于huggingFace的transformers库，流程被大大简化。

fromtransformersimportberttokenizer，bertForSequenceclassification

fromtransformersimporttrainer，trainingArguments

importtorch

fromdatasetsimportload_dataset

#加载数据和分词器

dataset=load_dataset（csv，data_files=reviews.csv）

tokenizer=berttokenizer.from_pretrained（bert-base-chinese）

#定义数据预处理函数

defpreprocess_function（examples）:

returntokenizer（examples[text]，truncation=true，padding=max_length，max_length=128）

tokenized_dataset=dataset.map（preprocess_function，batched=true）

#加载预训练模型，指定分类标签数

model=bertForSequenceclassification.from_pretrained（bert-base-chinese，num_labels=3）

#设置训练参数

training_args=trainingArguments（

output_dir=.results，

num_train_epochs=3，

per_device_train_batch_size=16，

evaluation_strategy=epoch，