基于改进BERT的景点评论情感分析

刘宇泽 叶青 刘建平

长沙理工大学电气与信息工程学院，长沙 410114

随着社会经济和旅游业的发展，游客选择旅游景点时依赖于该景点的评论信息。评价信息既可以分析消费者的旅游感受，又可以影响其他潜在游客的景点选择，而如何有效地分析景点评论的情感成为了一项非常有意义的任务。

情感分析是指通过分析用户形容某件事件的文本而确定用户对该事情的看法和评估。基于支持向量机、朴素贝叶斯、最大熵、K邻近等传统的机器学习方法都可以用来解决情感分析问题[1]。PANG B等人[2]采用朴素贝叶斯分类的方法来计算文本的情感极性。LI D等人[3]研究了长短期记忆网络在文本情感分类任务中的效果。PENGHUA Z等人[4]通过结合BiGRU和注意力机制并将其应用于情感分类任务，获得了良好的分类结果。与以往的神经网络比较，预训练模型在许多 NLP任务中都有较好的作用。ELMo[5]、Transformer[6]、基于转换器的双向编码表征BERT[7]等丰富的预训练模型接踵举出。堪志群等人[8]将BERT与BiLSTM结合，BERT模型采用了一种特殊的调整方案，可以在学习过程中不断地学习领域的知识，并通过神经网络的反馈对原有的模型进行参数的更正，在微博数据的观点分析方面获得了不错的成效。胡任远等人[9]提出了多层次语义协同模型，在不同数据集上验证了该模型的优越性。上述文献对语篇序列情感极性的研究表明，BERT模型难以对文本情感进行多角度的分析学习，在语句级别的文本情感分类中，BERT自身就是多层神经网络结构，与传统神经网络结合易出现退化的问题。

因此，本文提出一种将连结残差网络与BERT模型相结合的模型，该模型由不同维度的卷积神经网络通过残差连接组成，可以使每一维的语义特点都包括原始文本信息，并且特征信息互不相同，再结合双向长短期记忆网络，从而使模型学习更全面的语义信息。

1.1 BERT预训练网络

1.1.1 BERT模型

传统的产生词向量工具（如Word2vec）都是建立在浅层网络模型基础上，而 BERT则是将模型整合到下游工作中，并能根据具体的任务进行改动。BERT是一种基于双向转换模式的双向转换编码器，它的运算主要选取代码模块，如图1所示。使用MLM遮蔽语言模型进行建模，使其输出序列能够更完全地了解各个方面的文字信息，利于为后续的更改选取更好的参数。

1.1.2 Transformer

Transformer模型的编码部分由多头注意力机制（Multi-Head Attention）和一个完全连接的前向神经网络组成，两个模块都对数据进行了规范化处理。为了处理神经网络的退化问题，模型中各子模块都加入残差相接。基于Seq2Seq结构的 Transformer模型，它变化了传统的Encoder-Decoder结构，只使用注意力机制和完全连通的神经网络，利用位置编码和单词内嵌，学习了文本序列之间的位置关系，并利用多头自注意力机制，探索文字间的语义，如图2所示。

虚线为残差连接，能使前面信息准确传送到后面一层，其中注意力的计算如式（1）和式（2）所示。

其中，注意力层的输入为Q，K，V，通过随机初始化来取值，归一化函数中用来调整模型大小。

其中，W0作用使模型学习更多的特征信息，将每个head学习到的注意力矩阵进行拼接。

1.2 长短期记忆网络

1997年，HOCHREITER S等人[10]提出了一个新型网络——LSTM。该网络是针对RNN算法的一种改进，它可以有效地克服RNN在训练时的梯度消失现象，通过采取单元状态和门控机制，将上一阶段的数据存储，并将接收到的数据进行下一步传递，如图3所示。

LSTM的计算如下式所示：

其中，i、o、f分别为输入门、输出门和遗忘门；
c记载细胞状态的改变；
t时网络接收到当前输入xt和上一时间点信息向量ht-1作为3个门的输入；
it、ot、ft分别为输入门、输出门、遗忘门在t时间点计算得出。σ为非线性激活函数sigmoid()；
tanh为非线性激活函数tanh()；
图中Wf、Wi、Wo、Wc和Uf、Ui、Uo、Uc分别为遗忘门、输入门、输出门和记忆细胞所对应的权重矩阵；
bf、bi、bo、bc是偏置量，通过实验得到。

本文在 BERT基础上搭建了一个多头残差网络模型，如图4所示。为了克服BERT模型在情绪分析方面的不足，利用 BiLSTM来获取上下文关系，该模型能从多个角度学习序列中的情绪特点，并且阻止深度神经网络出现信息丢失的情况，最后通过特征融合，克服了由于网络深度造成的梯度消失、信息丢失等问题。本文所确立的BERT-MRN模型能够区别情感分类问题中的序列关系和各种程度的情感，从而更适宜于对文本情感分类。

2.1 BERT-MRN模型结构

该模型利用多个卷积核的一维卷积神经网络CNN构成了多头残差结构的语义学习器，能够选择合适数量的残差结构，能够更好地学习文本句子的情感特征，使用残差连接避免了序列结构中的深度神经网络的梯度消失。

双向长短期记忆网络BiLSTM能够兼顾全文从上至下的语境，把所收到的信号传递给两个反向时序的 LSTM网络，获得上下文的信息，再使用向量拼接获得最后序列的隐含表达。在每个迭代进程中，对隐藏层中的局部神经元进行随机削减，从而得到一定的正则化效应，其组成如图5所示。将E1，E2，…，En作为输入，通过BiLSTM的正向和反向网络得到hL和hR，如公式（9）和公式（10）所示：

将hL和hR进行拼接后计算出hi(i=1, 2, …,n)。

该模型能够从多个层面上对情绪态度进行研究，因此，本模型能够应用于各种语料库的情绪分类。

2.2 模型训练

该模型经过特征融合层的输出，使用sigmoid激活函数得出需要进行情感分类的情感极性，如式（11）所示：

其中，W为权重矩阵；
b为偏置量；
x为拼接后的输出数据；
为 网络模型的预估输出。本文选取了反向传播来训练网络模型，情感分类的函数选择交叉熵函数，如式（12）所示，y为实际结果。

3.1 实验数据

本文选择旅行网站作为评论数据的出处，通过爬虫爬取旅行网站的400个景点评论信息，在数据库中整理数据集，首先对数据集进行预处理，削减评论信息中的无用评论和特有的、无意义的符号，经过预处理后得到4,000条评论，其中正向评论2,600条，负向评论1,400条。

3.2 输入层

开始先删除中文文字数据中的停用词和无意义的符号，然后选取情感分析方面最常见的词来制定词典，生成相应的序列输入。BERT模型中的输入是词向量、段向量、位置向量加权求和的矩阵。位置向量是指在不同位置出现的词语所具备的语义信息（例如“风景很好”、“很好风景”），所以BERT模型会将其各自加入到差别的向量中，如图6所示。

3.3 模型参数设置

实验选择控制变量法，选择不同优化器优化函数，使用专门针对中文的预训练BERT模型。通过多次比较实验，发现取表1参数时，BERTMRN分类能力最好。

表1 参数设置

3.4 评价标准

本文采用的评估指标包括：精确率、召回率、F1分数。其中精确率是表示预测为正的样本中实际的正样本的数量所占比例，召回率是实际为正的样本被判断为正样本的比例。文中将综合度量指数F1作为评估模型的一个评估准则，如下方公式（13）～公式（15）所示：

其中，TP（True Positive）表示正样本判定为正的个数；
FP（False Positive）表示负样本判定为正的个数；
FN（False Negative）表示正样本判定为负的个数。

3.5 实验结果与分析

通过对预处理后的景点评论进行中文文本情感分析，在不同种模型的对比试验中，验证本文方法的可行性，实验结果如表2所示。

表2 对比试验

本文模型能够较好地分析景点评论的情感极性，在对比传统模型和BERT模型中，均有不错的表现。其中对比BERT模型，F1分数增加了8个百分点。

同时，本文对MRN中的残差结构进行对比选择实验，如图7所示。分别使用双残差、三残差和四残差结构进行实验，其中，三残差结构的F1分数最高，得出残差结构多会使模型的时间成本变多，模型分类效果不会有明显增加，而残差结构少会影响模型的分类结果的可靠性，故本文选取三残差结构来提取评论情感特征。

本文介绍了BERT模型和BiLSTM，针对景点情感分析领域中深度学习神经网络模型BERT与传统网络结合容易出现网络退化的问题，提出了多头残差网络模型。通过和传统神经网络模型以及一部分基于迁移学习思想的模型在情感分类任务中比较，验证了BERT-MRN模型具备不错的情感分类能力，能够更好地分析景点评论情感，在景点推荐领域有好的应用价值，对于游客选择景点出行有着辅助意义。本文研究的实验内容主要指二分类问题，后续要针对多分类问题进一步探究该模型的适用性。

猜你喜欢 景点残差神经网络 基于双向GRU与残差拟合的车辆跟驰建模网络安全与数据管理(2022年3期)2022-05-23基于残差学习的自适应无人机目标跟踪算法北京航空航天大学学报(2020年10期)2020-11-14神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23基于递归残差网络的图像超分辨率重建自动化学报(2019年6期)2019-07-23基于神经网络的中小学生情感分析电子制作(2019年24期)2019-02-23打卡名校景点——那些必去朝圣的大学景点意林·全彩Color(2018年7期)2018-08-13英格兰十大怪异景点海外星云(2016年7期)2016-12-01基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01综合电离层残差和超宽巷探测和修复北斗周跳中国惯性技术学报(2015年1期)2015-12-19没有景点 只是生活Coco薇(2015年11期)2015-11-09

推荐访问:景点 改进 情感