简介面向深度学习与自然语言处理方向的毕业设计者这套基于融合对抗与注意力机制的Bi-LSTM景区评论情感分析Python项目可完整运行覆盖数据标注、word2vec词向量训练、模型训练、情感预测与评分生成全流程并给出TensorFlow 2.3.0等环境配置适合课题复现或毕设参考。资源共18个文件压缩包约191KB以4个ipynb和4个py文件为核心另含word2vec词向量、corpus语料、stopwords停用词、logs日志及模型保存/加载等配套。代码分工清晰config.py配置参数dataSet.py数据预处理tools.py提供序列长度与评价指标工具model.py为baseline模型main_load.ipynb和main_save.ipynb分别支持加载预训练模型和读取训练数据预测。目前已有249人学习下载适合想快速掌握Bi-LSTM融合注意力机制与对抗训练的文本情感分析学习者。1. Bi-LSTM 景区评论情感分析这份 Python 源码把词向量到评价分数全串起来了景区评论里最常见的一句话是“风景不错但人太多”这类转折句对 Bi-LSTM 景区评论情感分析来说才是真正的考验——按词频统计会直接判成好评可游客的情绪其实是中性偏不满的。这份基于融合对抗与注意力机制的 Bi-LSTM 网络 Python 源码把景区评论情感分析整条链路都铺好了Word2Vec 词向量训练、Bi-LSTM 加注意力机制的深度学习模型训练、未标注评论预测、结合预测值生成评价分数。对正在做毕设或者想快速上手深度学习情感分析的人来说它不是理论 PPT而是能直接跑的代码。项目用 TensorFlow 2.3.0 搭模型、Gensim 训词向量、Jieba 做分词流程清晰适合复现、改造和当基线用。2. 项目结构与数据流四个核心 Python 文件和三本 Notebook 的职责拆解刚解压这份源码的人多半会被一堆文件看花眼.ipynb、.py、corpus、word2vec、logs全堆在一起。实际它分得很清楚配置、数据、模型、运行四个层面各管各的。2.1 文件分工哪个文件负责什么复现时先改谁文件职责复现时最需要改的位置config.py统一管理数据路径、模型参数、类别数corpus路径、embedding_dim、num_classesdataSet.py读取语料、Jieba 分词、去停用词、构造训练样本停用词表路径、标签列分隔符tools.py计算序列长度、准确率 / F1 等评价指标按新任务增改指标函数model.py定义 Bi-LSTM Attention 基线模型lstm_units、dropout、类别数gensim_word2vec.ipynb用 Gensim 训练景区评论文本词向量vector_size、min_count、windowmain_save.ipynb训练主入口训练完保存模型batch_size、epochs、保存路径main_load.ipynb加载已保存模型做情感预测预测文本的输入格式这种分层对毕设或二次开发非常友好。路径集中在config.py想换数据集基本不用碰模型代码tools.py独立出来是为了在训练和预测两个环节复用同一套评价指标避免指标口径不一致。main_save和main_load被拆成两本 Notebook也是刻意区分训练期和推理期防止把保存权重和加载预测的逻辑揉在一起后面排查问题会轻松很多。我一般拿到这种源码第一件事不是直接跑main_save.ipynb而是先打开config.py把里面的路径、批次大小、类别数看一遍。因为很多复现报错根本不是模型写错了而是语料路径指错、停用词表没找到、类别数跟标签对不上。2.2 数据预处理dataSet.py 里藏着二分类和三分类的取舍dataSet.py的核心逻辑是读取带标签的景区评论分词、去停用词再整理成模型能吃的样本。以资源里的corpus/3class和corpus/2class两个目录为例标注格式一般是“标签 分隔符 评论文本”核心预处理大致是这样# dataSet.py 中的数据加载与预处理核心逻辑 import jieba def load_stopwords(stopwords_path): stop set() with open(stopwords_path, r, encodingutf-8) as f: for line in f: stop.add(line.strip()) return stop def load_comments(path, stopwords_pathNone): texts, labels [], [] with open(path, r, encodingutf-8) as f: for line in f: parts line.strip().split(\t) if len(parts) 2: continue labels.append(int(parts[0])) # 标签放第一列 words jieba.lcut(parts[1]) # 第二列是评论文本 if stopwords_path: stop load_stopwords(stopwords_path) words [w for w in words if w not in stop and w.strip()] texts.append( .join(words)) return texts, labels这块逻辑有几个关键点。标签放在第一列是为了跟评论文本分开读取时不容易错位split(\t)说明原始语料用制表符分隔如果你自己爬的数据是逗号或空格分隔这里要同步改去停用词用的是set比逐个if w not in stopwords_list快得多评论语料动辄几万条这点性能差距会被放大。3class和2class两个语料目录对应两种任务设定。三分类把评论分成正、中、负三个档位能表达“风景不错但人太多”这类中性偏负面情绪二分类只判正负训练简单、类别更均衡但会丢失中间档信息。复用这份源码时如果只关心“好评率”跑2class就够如果要做细致的景区口碑分析建议保留三分类。代价是中评样本往往偏少后面第 5 章会专门说这个坑。2.3 三条数据流训练、预测、词向量预训练如何配合这套源码的数据流不复杂但新手经常把顺序跑反。正常运行顺序是先用gensim_word2vec.ipynb对语料做无监督训练得到word2vec/word2vec.model在config.py里把corpus指向3class或2class确认类别数运行main_save.ipynb它会调用dataSet.py读取语料、按最长序列做 padding再用随机初始化或预训练词向量初始化 Embedding 层训练完成后把模型保存到指定目录把未标注评论整理成同样格式运行main_load.ipynb加载模型做情感预测拿预测概率结合业务需求生成评价分数。第 2 步和第 3 步的耦合最容易被忽略。main_save.ipynb内部读取的是config.py里配置的数据集路径而gensim_word2vec.ipynb训练的语料又是另一份。如果先跑词向量再换语料Embedding 矩阵和模型词表对不上典型报错就是索引越界或者维度不匹配。运行main_save.ipynb时看到类似saved model to ...的输出说明训练和保存这段链路已经通了一半。常见做法是把词向量训练也当作数据预处理的一环而不是独立任务。我习惯在gensim_word2vec.ipynb训练完后顺手把词表保存成 JSON后面构建 Embedding 矩阵和模型词表都以这个 JSON 为准这样能避开大多数对齐问题。3. 模型设计Bi-LSTM 输出接 Attention对抗扰动加在 Embedding 层这份资源里的核心模型是 Bi-LSTM Attention再叠加对抗训练。三个组件各解决一个问题Bi-LSTM 抓双向上下文Attention 挑出对情感判断最重要的词对抗训练提升对文本噪声和网络新词的鲁棒性。把三者接在一起的顺序和细节才是这段源码的看点。3.1 为什么用 Bi-LSTM转折句和否定词需要同时看两个方向单向 LSTM 对“景区很美但服务很糟”这类句子天然吃亏。正向遍历时“很美”会一直保留在记忆里读到“糟”时才更新状态最后的隐状态容易被开头的强情感词带偏反向遍历则反过来。Bi-LSTM 把两个方向的隐状态在时间步上拼接模型能同时看到“很美”和“很糟”转折前后的信息才不会被某一侧压过。在model.py里常见写法是用tf.keras.layers.Bidirectional包一层 LSTM# model.py 中 Bi-LSTM 层的常见定义方式 lstm_layer tf.keras.layers.Bidirectional( tf.keras.layers.LSTM( units128, return_sequencesTrue, dropout0.3, recurrent_dropout0.2 ) )return_sequencesTrue是必须的因为后面要接 Attention 层需要拿到每个时间步的隐状态而不是最后一个时间步的输出。units128表示每个方向的隐层维度是 128拼接后是 256 维这会直接影响 Attention 层的输入维度。dropout和recurrent_dropout在评论这种短文本任务里我一般给到 0.2~0.4太高会把转折句的信息丢掉太低又容易过拟合。3.2 Attention 层的实现给它一个可解释的加权逻辑Bi-LSTM 输出是一个三维张量形状是(batch, time_steps, hidden_dim)。Attention 做的事情就是给每个时间步算一个重要性权重然后加权求和成一个固定维度的向量。核心实现如下# Attention 层对 Bi-LSTM 的每个时间步加权 def attention_layer(hidden_states): # hidden_states: (batch, time_steps, hidden_dim) dense tf.keras.layers.Dense( hidden_states.shape[-1], activationtanh )(hidden_states) score tf.keras.layers.Dense(1)(dense) weights tf.nn.softmax(score, axis1) context_vector tf.reduce_sum(weights * hidden_states, axis1) return context_vector这里的关键是tanh激活它把每个时间步的隐状态压到 -1 到 1 之间避免某个词的原始数值过大直接主导权重第二个Dense(1)把压缩后的向量投影成一个标量分数softmax沿着时间步维度归一化保证权重和为 1。最后reduce_sum得到加权后的句子向量。这层设计对景区评论尤其有用像“值回票价”的“票价”、“排队两小时”的“排队”这类词会被赋予更高的权重。你在main_load.ipynb里预测一条评论时可以顺手把 Attention 权重打印出来看看模型到底在关注哪些词这比只看一个预测标签靠谱得多。3.3 对抗训练把扰动加到 Embedding 层逼模型更抗噪对抗训练在这个项目里的套路是在 Embedding 层上加一个非常小的扰动让模型在不改变语义的前提下面对“被攻击”的输入。常见做法是 FGM核心逻辑是对 Embedding 的梯度做归一化再乘一个 epsilon 作为扰动方向。用法如下# 融合对抗训练的训练循环片段FGM 扰动 Embedding 层 epsilon 0.01 emb_layer model.get_layer(embedding) original_weights emb_layer.get_weights()[0] with tf.GradientTape() as tape: loss1 compute_loss(model, x_batch, y_batch) grads tape.gradient(loss1, model.trainable_variables) # 找到 Embedding 权重对应梯度构造扰动 emb_grad grads[embedding_grad_index] delta epsilon * emb_grad / (tf.norm(emb_grad) 1e-9) emb_layer.set_weights([original_weights delta]) with tf.GradientTape() as tape2: loss2 compute_loss(model, x_batch, y_batch) combined_grads grads tape2.gradient(loss2, model.trainable_variables) # 恢复原始权重用 combined_grads 更新模型 emb_layer.set_weights([original_weights])epsilon是扰动幅度一般取 0.01~0.05。太小起不到对抗效果太大直接把词向量语义空间破坏了训练 loss 会异常抖动。扰动方向用的是归一化后的梯度方向而不是原始梯度是为了控制扰动步长。训练时先算正常 loss 的梯度扰动后再算一次 loss 的梯度两部分梯度相加再更新参数本质上是让模型在嵌入空间中往“更难分”的方向多走一步。这套东西放在毕设里价值是提升模型的鲁棒性。景区评论里大量口语词、emoji、错别字比如“想思”“风景绝绝子”加入对抗扰动后模型不会因为某些字眼的微小变化就翻车。代价是训练时间大约增加 30%~50%而且对 batch 大小更敏感batch_size64配合epsilon0.01通常是个稳妥起点。4. Word2Vec 词向量训练与超参调优128 维、skip-gram 与词表对齐经验词向量是这套情感分析的地基。Embedding 层初始化得不好后面 Bi-LSTM 再强也学不到东西。gensim_word2vec.ipynb这本 Notebook 专门干这个但很多人在复现时把它当成“跑完就行”的步骤结果模型指标一直上不去。词向量的效果直接决定情感词能不能在语义空间里聚在一起。4.1 gensim 训练流程先把语料变成 Sentence 列表gensim_word2vec.ipynb的核心调用是这样的# gensim_word2vec.ipynb 中的词向量训练 from gensim.models import Word2Vec sentences [line.strip().split() for line in open(data/corpus/3class/train.txt, r, encodingutf-8)] w2v_model Word2Vec( sentences, vector_size128, window5, min_count2, sg1, epochs8, workers4, ) w2v_model.save(word2vec/word2vec.model)参数含义要理解别盲目抄。vector_size128是词向量维度景区评论语料规模通常在几万句这个量级128 够用语料小就降到 100 或 64window5是上下文窗口窗口越大越强调语义相似性但景区口语短句里距离超过 5 的词基本没有共现关系调太大会引入噪音min_count2表示出现次数低于 2 的词直接丢掉太大会把“踩雷”“排雷”这种低频但情感强烈的词丢掉太小会让词表膨胀、训练变慢sg1用 skip-gram它在小语料上的效果通常比 CBOW 好因为景区评论里很多词共现稀疏epochs8是迭代次数语料小可以适当加一点。跑完这一步检查一个关键产物word2vec/word2vec.model文件。这个文件后续会被main_save.ipynb用来初始化 Embedding 矩阵。4.2 词向量质量验证不要只看 Loss要看相似词训练完先别急着进模型。我会做一次词向量质量抽检# 词向量质量检查看情感词在语义空间中的邻居 from gensim.models import Word2Vec w2v Word2Vec.load(word2vec/word2vec.model) print(w2v.wv.most_similar(风景, topn5)) print(w2v.wv.most_similar(排队, topn5)) print(w2v.wv.most_similar(服务, topn5))如果“风景”的最近邻是“景色”“环境”“山水”说明词向量训练正常如果“风景”的最近邻是“排队”“门票”这类不相关词大概率是window太大或者语料里有脏数据比如把整条评论当成一个句子没有切分。我遇到过最典型的情况是语料里混入了大量没有分词的文本导致“风景不错”被当成一个词词表里出现一堆稀碎的长 token这种词向量喂给模型基本是灾难。4.3 词表对齐随机小值兜底 OOV词向量训练完成之后model.py构建 Embedding 矩阵时最重要的动作是把 Gensim 词表映射到模型词表这一步经常翻车。OOV词表外词一般用随机小值初始化而不是全零向量否则网络在反向传播时对 OOV 词的梯度恒为零这类词永远学不动。# 构建 Embedding 矩阵出现过的词用预训练向量OOV 用随机小值 import numpy as np vocab w2v.wv.key_to_index vocab_size len(vocab) 2 # 预留 UNK 和 PAD 位 embedding_matrix np.random.uniform(-0.05, 0.05, (vocab_size, 128)) for word, idx in vocab.items(): if word in w2v.wv: embedding_matrix[idx] w2v.wv[word]注意这里vocab_size要跟model.py里Embedding层的input_dim严格一致。2是给UNK和PAD预留位置如果模型用的是mask_zeroTruePAD 位必须设成 0。词表对齐这件事看着是细节错了就会在第 5 章第一个坑里栽跟头。5. 避坑与常见问题排查五条复现阶段最容易翻车的报错记录这份源码整体能跑通但复现之路上的坑基本都集中在环境版本、词表对齐和显存控制上。下面这五条是高频问题每条都按现象、原因、解决三步说清楚算是这轮拆包的血泪经验。5.1 加载词向量报“索引越界”或“维度不匹配”现象运行main_save.ipynb时Embedding 层初始化阶段报IndexError或者ValueError: dimension mismatch有时候报错信息直接指向word2vec/word2vec.model。原因gensim_word2vec.ipynb训练的语料和main_save.ipynb读取的语料不是同一份词表不一致或者 Embedding 层的input_dim设置的是词表大小但实际传入的序列里包含UNK/PAD两个额外 token索引超出预设范围。解决统一词表来源。我先跑完gensim_word2vec.ipynb把w2v.wv.key_to_index保存成 JSONmodel.py构建 Embedding 层时直接用这个 JSON 计算vocab_size并显式处理UNK和PAD两个位置的向量。再用tmp np.zeros((vocab_size, 128))兜底排查阶段宁可多跑一次也要先确认两边词表长度一致。5.2 显存溢出CUDA_ERROR_OUT_OF_MEMORY现象训练到第几个 epoch突然报CUDA_ERROR_OUT_OF_MEMORY进程直接退出。原因Bidirectional层的显存占用是单向 LSTM 的两倍加上 Attention 层要保存每个时间步的中间状态batch_size128配sequence_length256很容易把显存撑爆。这两个配置叠加是显存溢出的主要导火索。解决把batch_size降到 64 或 32再把max_len截到 128。景区评论普遍不长超过 128 个字符的句子占比很低截断影响不大。还可以在config.py里把lstm_units从 128 降到 64代价是精度略降但训练稳定性明显提升。我有一次在图里加了recurrent_dropout0.2显存占用还涨了一截后来改成 GPU 上跑时不加recurrent_dropout改成dropout0.3问题就缓解了。5.3 预测结果几乎全落在“好评”这一类别现象main_load.ipynb对未标注评论打分输出结果里 80% 以上是正向。原因数据集不平衡。corpus/3class里中评样本通常很少模型学不到中评特征推理时把大量“还行”“凑合”也归到好评另外阈值设成默认 0.5对三类任务并不适用。解决先看训练集类别分布如果中评占比低于 15%要么用二分类语料先跑通要么对中评做上采样。预测阶段不要硬取argmax改成看概率分布比如概率最高的两类差值小于 0.2 时判为中评。我在复现时把三分类阈值改成“负向概率 0.6 判负正向概率 0.7 判正其余判中”效果比默认 0.5 阈值好了不少。5.4 TensorFlow 版本升上去之后 API 直接失效现象用默认环境安装 TensorFlow 2.10 或 2.15跑main_save.ipynb时在模型编译或训练阶段报AttributeError比如某个层属性不存在。原因这份源码标注的环境是 TensorFlow 2.3.0很多老写法和新版本不兼容最典型的是自定义层和tf.keras内部 API 的变动。Gensim 从 3.x 升到 4.x 也改了部分接口word2vec.wv的访问方式都变过。解决严格按资源说明建环境。conda create -n text_sentiment python3.8.12后pip install tensorflow2.3.0、gensim4.1.2、jieba0.42.0。如果机器没有合适的 GPU就装 CPU 版 TensorFlow 2.3.0训练慢一点但能跑通。不要轻易用高版本去碰老代码除非你做好了改 API 的准备。5.5 自定义 Attention 层保存后加载失败现象main_save.ipynb训练正常但main_load.ipynb加载模型时报Unknown Layer或ValueError: cannot serialize。原因TensorFlow 2.3 对自定义层的序列化要求类的定义在加载环境中可见。如果model.py里的Attention类没有在main_load.ipynb里提前导入加载model.h5时框架认不出这个层。解决在main_load.ipynb开头先from model import Attention或直接import model确保自定义层类在模型文件加载前已经注册。另一个稳妥做法是保存时同时输出模型结构和权重加载时用tf.keras.models.clone_model重建结构再load_weights载入参数。从那以后我每次换数据集都会强制走一遍“预测 20 条 → 人工回看 → 调阈值 → 再部署”的流程不再贪图省事跳过验证。6. 落地化验证三分类概率折算评价分数与人工抽验清单模型预测出的是“好评 / 中评 / 负评”的类别概率但业务上要的是景区评价分数。直接把中评当成硬分类结果会丢失很多转折句的细节。这里分享一个我在复现时惯用的折算方式。# main_load.ipynb 中概率折算评分的常用扩展 score_map {neg: 1, mid: 3, pos: 5} def prob_to_score(prob): labels [neg, mid, pos] total 0.0 for p, label in zip(prob, labels): total p * score_map[label] return round(total, 2) # 示例模型输出 [0.1, 0.3, 0.6]对应负/中/正 print(prob_to_score([0.1, 0.3, 0.6])) # 4.20 分这个做法的好处是把概率当成置信度参与加权而不是硬切一刀。“风景不错但人太多”如果模型给出负 0.4、中 0.4、正 0.2折算分是 2.6 分左右落在中低档比硬判成好评合理得多。真正要落地时还可以给每条评论的分数按时间衰减或按评论字数加权但核心逻辑就是概率期望值。折算完分数我强烈建议做一次人工抽验尤其在你换了新的语料之后。跑main_load.ipynb输出 20 条预测结果建一张小表原文、预测类别、折算分数、人工判断。如果三条里有两条人工判断和模型预测方向不一致先不要急着调模型回头检查预处理和词表对齐大概率是数据层面的问题。有一次我用这套流程给某跨平台系统的评论数据做扩展跳过人工抽验直接打分结果“中评”被全部加权成接近好评的高分后来才发现是语料里大量“一般般”被分词切成了“一般”和“般”彻底带偏了注意力权重。从那以后我每次换数据集都会强制走一遍“预测 20 条 → 人工回看 → 调阈值 → 再部署”的流程不再贪图省事跳过验证。这份 Bi-LSTM 景区评论情感分析源码的价值就在于它把词向量、模型训练、预测和评分串成了一条可改可查的链路你只需要按第 5 章的环境配置把依赖锁死再按第 6 章的验证方法过一遍就能稳定地复现乃至改造它。希望帮到你。本文还有配套的精品资源点击获取 Bi-LSTM景区评论情感分析实战：Python源码从词向量到评价分数全流程
简介面向深度学习与自然语言处理方向的毕业设计者这套基于融合对抗与注意力机制的Bi-LSTM景区评论情感分析Python项目可完整运行覆盖数据标注、word2vec词向量训练、模型训练、情感预测与评分生成全流程并给出TensorFlow 2.3.0等环境配置适合课题复现或毕设参考。资源共18个文件压缩包约191KB以4个ipynb和4个py文件为核心另含word2vec词向量、corpus语料、stopwords停用词、logs日志及模型保存/加载等配套。代码分工清晰config.py配置参数dataSet.py数据预处理tools.py提供序列长度与评价指标工具model.py为baseline模型main_load.ipynb和main_save.ipynb分别支持加载预训练模型和读取训练数据预测。目前已有249人学习下载适合想快速掌握Bi-LSTM融合注意力机制与对抗训练的文本情感分析学习者。1. Bi-LSTM 景区评论情感分析这份 Python 源码把词向量到评价分数全串起来了景区评论里最常见的一句话是“风景不错但人太多”这类转折句对 Bi-LSTM 景区评论情感分析来说才是真正的考验——按词频统计会直接判成好评可游客的情绪其实是中性偏不满的。这份基于融合对抗与注意力机制的 Bi-LSTM 网络 Python 源码把景区评论情感分析整条链路都铺好了Word2Vec 词向量训练、Bi-LSTM 加注意力机制的深度学习模型训练、未标注评论预测、结合预测值生成评价分数。对正在做毕设或者想快速上手深度学习情感分析的人来说它不是理论 PPT而是能直接跑的代码。项目用 TensorFlow 2.3.0 搭模型、Gensim 训词向量、Jieba 做分词流程清晰适合复现、改造和当基线用。2. 项目结构与数据流四个核心 Python 文件和三本 Notebook 的职责拆解刚解压这份源码的人多半会被一堆文件看花眼.ipynb、.py、corpus、word2vec、logs全堆在一起。实际它分得很清楚配置、数据、模型、运行四个层面各管各的。2.1 文件分工哪个文件负责什么复现时先改谁文件职责复现时最需要改的位置config.py统一管理数据路径、模型参数、类别数corpus路径、embedding_dim、num_classesdataSet.py读取语料、Jieba 分词、去停用词、构造训练样本停用词表路径、标签列分隔符tools.py计算序列长度、准确率 / F1 等评价指标按新任务增改指标函数model.py定义 Bi-LSTM Attention 基线模型lstm_units、dropout、类别数gensim_word2vec.ipynb用 Gensim 训练景区评论文本词向量vector_size、min_count、windowmain_save.ipynb训练主入口训练完保存模型batch_size、epochs、保存路径main_load.ipynb加载已保存模型做情感预测预测文本的输入格式这种分层对毕设或二次开发非常友好。路径集中在config.py想换数据集基本不用碰模型代码tools.py独立出来是为了在训练和预测两个环节复用同一套评价指标避免指标口径不一致。main_save和main_load被拆成两本 Notebook也是刻意区分训练期和推理期防止把保存权重和加载预测的逻辑揉在一起后面排查问题会轻松很多。我一般拿到这种源码第一件事不是直接跑main_save.ipynb而是先打开config.py把里面的路径、批次大小、类别数看一遍。因为很多复现报错根本不是模型写错了而是语料路径指错、停用词表没找到、类别数跟标签对不上。2.2 数据预处理dataSet.py 里藏着二分类和三分类的取舍dataSet.py的核心逻辑是读取带标签的景区评论分词、去停用词再整理成模型能吃的样本。以资源里的corpus/3class和corpus/2class两个目录为例标注格式一般是“标签 分隔符 评论文本”核心预处理大致是这样# dataSet.py 中的数据加载与预处理核心逻辑 import jieba def load_stopwords(stopwords_path): stop set() with open(stopwords_path, r, encodingutf-8) as f: for line in f: stop.add(line.strip()) return stop def load_comments(path, stopwords_pathNone): texts, labels [], [] with open(path, r, encodingutf-8) as f: for line in f: parts line.strip().split(\t) if len(parts) 2: continue labels.append(int(parts[0])) # 标签放第一列 words jieba.lcut(parts[1]) # 第二列是评论文本 if stopwords_path: stop load_stopwords(stopwords_path) words [w for w in words if w not in stop and w.strip()] texts.append( .join(words)) return texts, labels这块逻辑有几个关键点。标签放在第一列是为了跟评论文本分开读取时不容易错位split(\t)说明原始语料用制表符分隔如果你自己爬的数据是逗号或空格分隔这里要同步改去停用词用的是set比逐个if w not in stopwords_list快得多评论语料动辄几万条这点性能差距会被放大。3class和2class两个语料目录对应两种任务设定。三分类把评论分成正、中、负三个档位能表达“风景不错但人太多”这类中性偏负面情绪二分类只判正负训练简单、类别更均衡但会丢失中间档信息。复用这份源码时如果只关心“好评率”跑2class就够如果要做细致的景区口碑分析建议保留三分类。代价是中评样本往往偏少后面第 5 章会专门说这个坑。2.3 三条数据流训练、预测、词向量预训练如何配合这套源码的数据流不复杂但新手经常把顺序跑反。正常运行顺序是先用gensim_word2vec.ipynb对语料做无监督训练得到word2vec/word2vec.model在config.py里把corpus指向3class或2class确认类别数运行main_save.ipynb它会调用dataSet.py读取语料、按最长序列做 padding再用随机初始化或预训练词向量初始化 Embedding 层训练完成后把模型保存到指定目录把未标注评论整理成同样格式运行main_load.ipynb加载模型做情感预测拿预测概率结合业务需求生成评价分数。第 2 步和第 3 步的耦合最容易被忽略。main_save.ipynb内部读取的是config.py里配置的数据集路径而gensim_word2vec.ipynb训练的语料又是另一份。如果先跑词向量再换语料Embedding 矩阵和模型词表对不上典型报错就是索引越界或者维度不匹配。运行main_save.ipynb时看到类似saved model to ...的输出说明训练和保存这段链路已经通了一半。常见做法是把词向量训练也当作数据预处理的一环而不是独立任务。我习惯在gensim_word2vec.ipynb训练完后顺手把词表保存成 JSON后面构建 Embedding 矩阵和模型词表都以这个 JSON 为准这样能避开大多数对齐问题。3. 模型设计Bi-LSTM 输出接 Attention对抗扰动加在 Embedding 层这份资源里的核心模型是 Bi-LSTM Attention再叠加对抗训练。三个组件各解决一个问题Bi-LSTM 抓双向上下文Attention 挑出对情感判断最重要的词对抗训练提升对文本噪声和网络新词的鲁棒性。把三者接在一起的顺序和细节才是这段源码的看点。3.1 为什么用 Bi-LSTM转折句和否定词需要同时看两个方向单向 LSTM 对“景区很美但服务很糟”这类句子天然吃亏。正向遍历时“很美”会一直保留在记忆里读到“糟”时才更新状态最后的隐状态容易被开头的强情感词带偏反向遍历则反过来。Bi-LSTM 把两个方向的隐状态在时间步上拼接模型能同时看到“很美”和“很糟”转折前后的信息才不会被某一侧压过。在model.py里常见写法是用tf.keras.layers.Bidirectional包一层 LSTM# model.py 中 Bi-LSTM 层的常见定义方式 lstm_layer tf.keras.layers.Bidirectional( tf.keras.layers.LSTM( units128, return_sequencesTrue, dropout0.3, recurrent_dropout0.2 ) )return_sequencesTrue是必须的因为后面要接 Attention 层需要拿到每个时间步的隐状态而不是最后一个时间步的输出。units128表示每个方向的隐层维度是 128拼接后是 256 维这会直接影响 Attention 层的输入维度。dropout和recurrent_dropout在评论这种短文本任务里我一般给到 0.2~0.4太高会把转折句的信息丢掉太低又容易过拟合。3.2 Attention 层的实现给它一个可解释的加权逻辑Bi-LSTM 输出是一个三维张量形状是(batch, time_steps, hidden_dim)。Attention 做的事情就是给每个时间步算一个重要性权重然后加权求和成一个固定维度的向量。核心实现如下# Attention 层对 Bi-LSTM 的每个时间步加权 def attention_layer(hidden_states): # hidden_states: (batch, time_steps, hidden_dim) dense tf.keras.layers.Dense( hidden_states.shape[-1], activationtanh )(hidden_states) score tf.keras.layers.Dense(1)(dense) weights tf.nn.softmax(score, axis1) context_vector tf.reduce_sum(weights * hidden_states, axis1) return context_vector这里的关键是tanh激活它把每个时间步的隐状态压到 -1 到 1 之间避免某个词的原始数值过大直接主导权重第二个Dense(1)把压缩后的向量投影成一个标量分数softmax沿着时间步维度归一化保证权重和为 1。最后reduce_sum得到加权后的句子向量。这层设计对景区评论尤其有用像“值回票价”的“票价”、“排队两小时”的“排队”这类词会被赋予更高的权重。你在main_load.ipynb里预测一条评论时可以顺手把 Attention 权重打印出来看看模型到底在关注哪些词这比只看一个预测标签靠谱得多。3.3 对抗训练把扰动加到 Embedding 层逼模型更抗噪对抗训练在这个项目里的套路是在 Embedding 层上加一个非常小的扰动让模型在不改变语义的前提下面对“被攻击”的输入。常见做法是 FGM核心逻辑是对 Embedding 的梯度做归一化再乘一个 epsilon 作为扰动方向。用法如下# 融合对抗训练的训练循环片段FGM 扰动 Embedding 层 epsilon 0.01 emb_layer model.get_layer(embedding) original_weights emb_layer.get_weights()[0] with tf.GradientTape() as tape: loss1 compute_loss(model, x_batch, y_batch) grads tape.gradient(loss1, model.trainable_variables) # 找到 Embedding 权重对应梯度构造扰动 emb_grad grads[embedding_grad_index] delta epsilon * emb_grad / (tf.norm(emb_grad) 1e-9) emb_layer.set_weights([original_weights delta]) with tf.GradientTape() as tape2: loss2 compute_loss(model, x_batch, y_batch) combined_grads grads tape2.gradient(loss2, model.trainable_variables) # 恢复原始权重用 combined_grads 更新模型 emb_layer.set_weights([original_weights])epsilon是扰动幅度一般取 0.01~0.05。太小起不到对抗效果太大直接把词向量语义空间破坏了训练 loss 会异常抖动。扰动方向用的是归一化后的梯度方向而不是原始梯度是为了控制扰动步长。训练时先算正常 loss 的梯度扰动后再算一次 loss 的梯度两部分梯度相加再更新参数本质上是让模型在嵌入空间中往“更难分”的方向多走一步。这套东西放在毕设里价值是提升模型的鲁棒性。景区评论里大量口语词、emoji、错别字比如“想思”“风景绝绝子”加入对抗扰动后模型不会因为某些字眼的微小变化就翻车。代价是训练时间大约增加 30%~50%而且对 batch 大小更敏感batch_size64配合epsilon0.01通常是个稳妥起点。4. Word2Vec 词向量训练与超参调优128 维、skip-gram 与词表对齐经验词向量是这套情感分析的地基。Embedding 层初始化得不好后面 Bi-LSTM 再强也学不到东西。gensim_word2vec.ipynb这本 Notebook 专门干这个但很多人在复现时把它当成“跑完就行”的步骤结果模型指标一直上不去。词向量的效果直接决定情感词能不能在语义空间里聚在一起。4.1 gensim 训练流程先把语料变成 Sentence 列表gensim_word2vec.ipynb的核心调用是这样的# gensim_word2vec.ipynb 中的词向量训练 from gensim.models import Word2Vec sentences [line.strip().split() for line in open(data/corpus/3class/train.txt, r, encodingutf-8)] w2v_model Word2Vec( sentences, vector_size128, window5, min_count2, sg1, epochs8, workers4, ) w2v_model.save(word2vec/word2vec.model)参数含义要理解别盲目抄。vector_size128是词向量维度景区评论语料规模通常在几万句这个量级128 够用语料小就降到 100 或 64window5是上下文窗口窗口越大越强调语义相似性但景区口语短句里距离超过 5 的词基本没有共现关系调太大会引入噪音min_count2表示出现次数低于 2 的词直接丢掉太大会把“踩雷”“排雷”这种低频但情感强烈的词丢掉太小会让词表膨胀、训练变慢sg1用 skip-gram它在小语料上的效果通常比 CBOW 好因为景区评论里很多词共现稀疏epochs8是迭代次数语料小可以适当加一点。跑完这一步检查一个关键产物word2vec/word2vec.model文件。这个文件后续会被main_save.ipynb用来初始化 Embedding 矩阵。4.2 词向量质量验证不要只看 Loss要看相似词训练完先别急着进模型。我会做一次词向量质量抽检# 词向量质量检查看情感词在语义空间中的邻居 from gensim.models import Word2Vec w2v Word2Vec.load(word2vec/word2vec.model) print(w2v.wv.most_similar(风景, topn5)) print(w2v.wv.most_similar(排队, topn5)) print(w2v.wv.most_similar(服务, topn5))如果“风景”的最近邻是“景色”“环境”“山水”说明词向量训练正常如果“风景”的最近邻是“排队”“门票”这类不相关词大概率是window太大或者语料里有脏数据比如把整条评论当成一个句子没有切分。我遇到过最典型的情况是语料里混入了大量没有分词的文本导致“风景不错”被当成一个词词表里出现一堆稀碎的长 token这种词向量喂给模型基本是灾难。4.3 词表对齐随机小值兜底 OOV词向量训练完成之后model.py构建 Embedding 矩阵时最重要的动作是把 Gensim 词表映射到模型词表这一步经常翻车。OOV词表外词一般用随机小值初始化而不是全零向量否则网络在反向传播时对 OOV 词的梯度恒为零这类词永远学不动。# 构建 Embedding 矩阵出现过的词用预训练向量OOV 用随机小值 import numpy as np vocab w2v.wv.key_to_index vocab_size len(vocab) 2 # 预留 UNK 和 PAD 位 embedding_matrix np.random.uniform(-0.05, 0.05, (vocab_size, 128)) for word, idx in vocab.items(): if word in w2v.wv: embedding_matrix[idx] w2v.wv[word]注意这里vocab_size要跟model.py里Embedding层的input_dim严格一致。2是给UNK和PAD预留位置如果模型用的是mask_zeroTruePAD 位必须设成 0。词表对齐这件事看着是细节错了就会在第 5 章第一个坑里栽跟头。5. 避坑与常见问题排查五条复现阶段最容易翻车的报错记录这份源码整体能跑通但复现之路上的坑基本都集中在环境版本、词表对齐和显存控制上。下面这五条是高频问题每条都按现象、原因、解决三步说清楚算是这轮拆包的血泪经验。5.1 加载词向量报“索引越界”或“维度不匹配”现象运行main_save.ipynb时Embedding 层初始化阶段报IndexError或者ValueError: dimension mismatch有时候报错信息直接指向word2vec/word2vec.model。原因gensim_word2vec.ipynb训练的语料和main_save.ipynb读取的语料不是同一份词表不一致或者 Embedding 层的input_dim设置的是词表大小但实际传入的序列里包含UNK/PAD两个额外 token索引超出预设范围。解决统一词表来源。我先跑完gensim_word2vec.ipynb把w2v.wv.key_to_index保存成 JSONmodel.py构建 Embedding 层时直接用这个 JSON 计算vocab_size并显式处理UNK和PAD两个位置的向量。再用tmp np.zeros((vocab_size, 128))兜底排查阶段宁可多跑一次也要先确认两边词表长度一致。5.2 显存溢出CUDA_ERROR_OUT_OF_MEMORY现象训练到第几个 epoch突然报CUDA_ERROR_OUT_OF_MEMORY进程直接退出。原因Bidirectional层的显存占用是单向 LSTM 的两倍加上 Attention 层要保存每个时间步的中间状态batch_size128配sequence_length256很容易把显存撑爆。这两个配置叠加是显存溢出的主要导火索。解决把batch_size降到 64 或 32再把max_len截到 128。景区评论普遍不长超过 128 个字符的句子占比很低截断影响不大。还可以在config.py里把lstm_units从 128 降到 64代价是精度略降但训练稳定性明显提升。我有一次在图里加了recurrent_dropout0.2显存占用还涨了一截后来改成 GPU 上跑时不加recurrent_dropout改成dropout0.3问题就缓解了。5.3 预测结果几乎全落在“好评”这一类别现象main_load.ipynb对未标注评论打分输出结果里 80% 以上是正向。原因数据集不平衡。corpus/3class里中评样本通常很少模型学不到中评特征推理时把大量“还行”“凑合”也归到好评另外阈值设成默认 0.5对三类任务并不适用。解决先看训练集类别分布如果中评占比低于 15%要么用二分类语料先跑通要么对中评做上采样。预测阶段不要硬取argmax改成看概率分布比如概率最高的两类差值小于 0.2 时判为中评。我在复现时把三分类阈值改成“负向概率 0.6 判负正向概率 0.7 判正其余判中”效果比默认 0.5 阈值好了不少。5.4 TensorFlow 版本升上去之后 API 直接失效现象用默认环境安装 TensorFlow 2.10 或 2.15跑main_save.ipynb时在模型编译或训练阶段报AttributeError比如某个层属性不存在。原因这份源码标注的环境是 TensorFlow 2.3.0很多老写法和新版本不兼容最典型的是自定义层和tf.keras内部 API 的变动。Gensim 从 3.x 升到 4.x 也改了部分接口word2vec.wv的访问方式都变过。解决严格按资源说明建环境。conda create -n text_sentiment python3.8.12后pip install tensorflow2.3.0、gensim4.1.2、jieba0.42.0。如果机器没有合适的 GPU就装 CPU 版 TensorFlow 2.3.0训练慢一点但能跑通。不要轻易用高版本去碰老代码除非你做好了改 API 的准备。5.5 自定义 Attention 层保存后加载失败现象main_save.ipynb训练正常但main_load.ipynb加载模型时报Unknown Layer或ValueError: cannot serialize。原因TensorFlow 2.3 对自定义层的序列化要求类的定义在加载环境中可见。如果model.py里的Attention类没有在main_load.ipynb里提前导入加载model.h5时框架认不出这个层。解决在main_load.ipynb开头先from model import Attention或直接import model确保自定义层类在模型文件加载前已经注册。另一个稳妥做法是保存时同时输出模型结构和权重加载时用tf.keras.models.clone_model重建结构再load_weights载入参数。从那以后我每次换数据集都会强制走一遍“预测 20 条 → 人工回看 → 调阈值 → 再部署”的流程不再贪图省事跳过验证。6. 落地化验证三分类概率折算评价分数与人工抽验清单模型预测出的是“好评 / 中评 / 负评”的类别概率但业务上要的是景区评价分数。直接把中评当成硬分类结果会丢失很多转折句的细节。这里分享一个我在复现时惯用的折算方式。# main_load.ipynb 中概率折算评分的常用扩展 score_map {neg: 1, mid: 3, pos: 5} def prob_to_score(prob): labels [neg, mid, pos] total 0.0 for p, label in zip(prob, labels): total p * score_map[label] return round(total, 2) # 示例模型输出 [0.1, 0.3, 0.6]对应负/中/正 print(prob_to_score([0.1, 0.3, 0.6])) # 4.20 分这个做法的好处是把概率当成置信度参与加权而不是硬切一刀。“风景不错但人太多”如果模型给出负 0.4、中 0.4、正 0.2折算分是 2.6 分左右落在中低档比硬判成好评合理得多。真正要落地时还可以给每条评论的分数按时间衰减或按评论字数加权但核心逻辑就是概率期望值。折算完分数我强烈建议做一次人工抽验尤其在你换了新的语料之后。跑main_load.ipynb输出 20 条预测结果建一张小表原文、预测类别、折算分数、人工判断。如果三条里有两条人工判断和模型预测方向不一致先不要急着调模型回头检查预处理和词表对齐大概率是数据层面的问题。有一次我用这套流程给某跨平台系统的评论数据做扩展跳过人工抽验直接打分结果“中评”被全部加权成接近好评的高分后来才发现是语料里大量“一般般”被分词切成了“一般”和“般”彻底带偏了注意力权重。从那以后我每次换数据集都会强制走一遍“预测 20 条 → 人工回看 → 调阈值 → 再部署”的流程不再贪图省事跳过验证。这份 Bi-LSTM 景区评论情感分析源码的价值就在于它把词向量、模型训练、预测和评分串成了一条可改可查的链路你只需要按第 5 章的环境配置把依赖锁死再按第 6 章的验证方法过一遍就能稳定地复现乃至改造它。希望帮到你。本文还有配套的精品资源点击获取