老哥学习网 - www.lg9.cn 2024年05月12日 14:10 星期日
当前位置 首页 >公文范文 > 公文大全 >

路径语义和特征提取相结合的负样本推荐方法

发布时间:2023-06-27 22:40:07 浏览数:

马 腾,熊 熙,3,李中志,李斌勇,昌 燕

1(成都信息工程大学 网络空间安全学院,成都 610225)2(先进密码技术与系统安全四川省重点实验室,成都 610225)3(四川大学 空天科学与工程学院,成都 610065)

随着计算机网络的高速发展,各大产业及APP的广泛使用产生了大量的数据,但并非所有的数据都是用户所感兴趣的内容,因此推荐系统应运而生,成为解决此问题的重要技术.如何提高用户的满意度和体验感还能保证推荐的准确度成为了推荐系统的主要研究内容.根据对用户兴趣爱好的推测,以及对用户历史选择的分析,推荐系统可以分为两类:基于协同过滤的推荐系统和基于内容的推荐系统.前者主要面临数据冷启动[1]问题,后者则依据用户和物品之间历史交互信息,也就是物品向量之间的相似度进行比较,其缺点是只能推荐用户候选集合中的对象,无法给用户带来惊喜.

虽然近年来基于知识图谱的推荐系统准确度越来越高,这种方式包含了更加丰富的样本和关系,也有更好的可解释性,但不同的采样方式也会影响到最终的效果.基于均匀采样的方法简单高效,可是在训练过程中都会导致梯度的不同程度的消失.还有部分只是简单以用户是否点击和浏览作为对负样本的判断,然而未点击和未浏览的选项并不全都是真正的负样本,因为用户很有可能并不知道有这些候选项的存在(通过系统或生活常识获取)而没有点击或浏览.这些方法都因为各自的局限性而导致不足以找到优质的负样本.并且单纯的知识图谱节点向量还忽略了许多文字描述,图片等内容.如果能将文本信息结合到知识图谱中,那么在可解释性方面也会发挥重要作用.

针对现有方法的局限性,本文提出一种新的负样本提取方法,达到为推荐系统提供充足的有效样本的目的.本文主要贡献包括:

1)将知识图谱节点的表示学习与SDEA[2](堆叠式降噪自动编码器)结合,从关系中获取物品实体的编码,而不是只对知识图谱中的三元组进行结构关联,这样就可以充分利用图谱中的信息进行物品推荐.

2)根据知识图谱中用户节点和物品节点的关联关系,利用合适的搜索算法采样到负样本,并将负样本按评分排序,通过修剪掉得分低的负样本以提高运算效率.在负样本搜索的过程中增加了通道注意力[3],提高了搜索性能.

3)基于数据集对模型进行了对比实验,结果表明负采样算法能有效的利用KG[4](知识图谱),并在邻居修剪策略的作用下更容易搜索到潜在项目.

基于知识图谱的推荐系统对知识图谱的应用总共有3种方法:1)表示学习的方法,将图谱中的实体以及关系映射成为低维度的向量,例如TransE[5]、TransH[6]、TransR[7]、TransD[8]等.也可以使用语义匹配模型:DisMult.根据图谱中是否包含有用户,基于表示学习的方法分为物品子图和用户子图.物品子图能够利用知识表示的模型获取丰富的内容,结合多种辅助信息得到完整的物品向量,例如用户和物品交互矩阵信息、物品本身的属性信息以及内容信息等.得到物品信息后与用户的表示通过的得分函数求得用户选择物品的可能性.典型的模型包括:CKE[9]、DKN[10]、KSR[11].而用户子图是将用户和物品作为实体,将用户的历史行为作为关系,将实体和关系结合起来通过函数计算用户的偏好.代表性模型如 CFKG[12]、DKFM[13]等;
2)基于路径的方法,这种是构建用户物品图,并利用知识图谱中实体的连通性模式进行推荐,基本思想是利用user和item的实体语义相似性提升推荐效果,例如研究用户之间或者物品之间的相似度,基于路径的相似度则是比较路径的学习和表示向量,使用的是语义连通信息;
3)将前两种方法结合起来,充分挖掘知识图谱中每一部分的信息,有效提高推荐的可解释性.典型的代表模型如:KGAT[14]、IntentGC[15]、AKGE[16].

目前在知识图谱中广泛使用的采样方法是均匀采样方法,这种方法简单高效,但却忽略了训练过程梯度消失问题的严重影响.由于评分函数倾向于给正样本较高分数的物品,随着训练的进行,大多数未观察到的(可能是负的)样本的分数会变得更小,从而阻碍知识图谱表示学习的训练过程.通过考虑一对多、多对多和多对一的头和尾之间的映射关系,改进了均匀抽样.然而,它仍然是一个固定的采样方案,存在梯度消失的问题.因此,高质量的负样本应该有较大的分值:P.Wang等人在IGAN[17]模型,L.Cai和W.Y.Wan在KBGAN[18]模型中都提出用生成式对抗网络(GAN)[19]取代固定的抽样方案.然而,基于GAN的解决方案因为引入了一个额外的生成器增加了训练参数的数量.其次,GAN在训练过程中会出现不稳定性和退化,而在IGAN和KBGAN这两个模型中使用的强化梯度具有高方差,这些缺点都会导致评分函数的性能不稳定,容易产生低质量的负样本.

自适应采样会对模型参数产生较大的影响,例如,DNS[20]模型会随机从未观测样本中选取当前模型得分最高的一个,IRGAN[21]在生成式对抗下优化了这一过程,虽然从数值优化的角度来看是有效的,但由于是在未观测数据中随机取样,当前的负样本在未来的测试数据中有可能是正样本,这也将降低模型的有效性.

另外的一些模型通过加入其它行为数据来增强负采样效果,例如:观看但未点击和点击但未购买这样的用户行为.虽然这些数据提供了一定数量的真实负信号,但与大量缺失的数据相比,规模也非常有限.因此,仅将它们用作负反馈是远远不够的,甚至比均匀采样器的性能还差.对于这类方法,不仅需要在大量缺失数据中提取出真正有效的负信号,还需要满足更新了负样本之后能明显提高模型效率等效果.实际应用中也经常存在用户通过不同途径了解这些物品但却没有选择的情况,这说明用户对这些可能没有兴趣;例如图1中的例子,用户eu1是需要被推荐的目标用户,entity表示实体也可以理解为属性,以歌曲为例,用户eu3选择物品ei4的原因是p2,那么ei6对目标用户来讲就是优质的负样本.用户eu是需要被推荐的目标用户,entity表示实体也可以理解为属性,以用户eu3选择歌曲为例,用户eu3选择了ei3和ei4的原因是这两个物品具有属性p2,说明用户对ei4的另一个属性p3不感兴趣,同样拥有p3属性的ei6对该用户来说就是优质的负样本.

图1 样本选择图Fig.1 Sample selection diagram

鉴于以上方法的局限性,本文提出了一个模型:通过强化学习从正样本出发,递归的进行探索,结合通道注意力增强有用特征,适当抑制信息量小或者无用的特征,以决定下一个适合访问的节点,最后通过MF方法验证模型的效果.

从结构化的三元组中学习知识表示是当前知识图谱的主要研究趋势,然而在真实信息中,图谱中不仅包含实体和关系,还有更多的文本内容,基于实体的方法忽略了多模态信息.因此,结构化处理文本内容后将其结合在知识表示中可以融合多模态信息.本文采取基于路径的综合方式优化已有模型,将多模态信息作为对实体和关系的辅助特征.从正样本出发,通过强化学习方法递归探索图谱中的节点关系,结合通道注意力将有用的特征增强,对信息量小或者无用特征进行适当的抑制,根据注意力得分的高低来决定下一个适合访问的点.整体模型如图2所示.

图2 模型总体框架图Fig.2 Overall framework of the model

3.1 知识图谱表示

3.1.1 三元组结构信息表示

在关系比较复杂的知识图谱中,如果关系和实体是完全不同的对象,就无法在通用的语义空间中准确表示关系和实体.例如:TransE首先假定了实体和关系是在同一空间内的嵌入,以詹姆斯·卡梅隆拍的3部著名电影为例:《泰坦尼克号》、《终结者》和《阿凡达》.根据TransE模型可以得到统一向量表示上述3部电影,即假设《泰坦尼克号》≈《终结者》≈《阿凡达》,但实际上这3部电影是不同的实体,应该用不同的向量来表示.因此TransE模型不适合处理具有复杂关系的知识图谱.相比TransE,TransH更具有灵活性,但也没有完全打破假设实体和关系在同一空间的限制.TransR能够在多关系空间中建立实体和关系,有效区分相似实体.因此, 本文使用TransR对结构化知识进行表示,将知识图谱三元组(h,r,t)中的实体通过矩阵投影到对应关系所在空间,得到头实体hr和尾实体tr在关系r的投影向量.使相似的关系在空间上相互靠近,不同关系的相互远离.

对每个关系r设定一个投影矩阵Mr∈R,使得实体从实体空间投射到关系空间,定义实体的投影向量为:

hr=hMr,tr=tMr

(1)

分数函数定义为:

(2)

3.1.2 三元组文本信息的表示

由于在复杂关系中的同一实体会因不明确的关系得到错误的语义信息.为了提高模型的效率,本文考虑使用知识图谱关系路径中的文本信息,将文本内容添加噪声之后进行编码,同时确保解码后的文本内容与原文档最大限度的接近.通过堆叠多个DAE形成一个深度的架构SDAE,这个结构不仅能够进行特征提取如,在模型顶层添加分类器后再进行分类.

与传统的方法比较,该方法能更充分的提取知识图谱中的多模态信息,有效区分因为不同理由被选择的物品.(u,i)是用户和正样本的历史交互,u是用户,i是物品,用户与物品与知识图谱中的实体一一对应.

将添加噪声之后的关系文本,输入SDAE模型中,经过解码和编码过程得到文档的向量表示最终的向量表示.

3.2 负样本提取

由于图谱中节点量巨大,每遍历一个节点都有大量边产生,需要一个采样器高效遍历图谱.文中设计一个样本取样器,以用户交互的正样本为初始节点,通过强化学习来获得知识图谱中丰富的实体关系和负样本集合,不断探索出更优秀的负样本,并为推荐结果提供可解释性.从目标用户的正样本开始,在路径上以两跳为范围探索负例对图谱循环进行搜索.

本文的强化学习方法中包含States,Action和Reward 3个部分,目的是状态转移过程中降低Reward的值,状态转移可表示为马尔可夫学习过程:

States:是在第i步中的目标用户及当前访问节点的状态;

Action:在状态St中At从所有为访问过的轨迹开始探索,由于路径是变化的,所以邻居节点也是不同的;

Transition Model:根据当前状态St和动作At,预测下一个动作St为:

(3)

Reward:Re得分的高低作为对et质量的衡量,依据来自推荐模型的反馈定义soft reward.为此设计了两个函数:一个是预测性函数,用户和物品的匹配分数fp;另一个是相似性函数:通过负评估样本与正例的相似性fs,最终确定奖励函数为:

R(et)=fP+fS

(4)

3.3 图形学习

在负样本提取的过程中借助邻居注意力和通道注意力估计用户候选项,即item暴露于用户的概率:其中邻居注意力可以是自适应学习当前敏感的邻居重要性,通道注意力则是加强有用特征,抑制无用特征,从而实现多种信息源的特征融合.

3.3.1 邻居注意力

通过对每个节点映射的向量加入注意力模块,找到权重高的邻居节点作为下一个访问的节点.例如:一个用户听了两首歌,该用户分别是被“作曲家”和“明星”这两个实体所吸引,则通过注意力给两类实体不同的评分,其评分取决于关系空间中hr和tr之间的距离,在计算距离之前需要对数据进行归一化处理.

(5)

3.3.2 通道注意力模型

通道注意力是通过对通道的依赖性进行建模以提高网络的表示能力.首先考察输出特征每个通道的信号以及各通道之间的依赖程度,再根据不同通道赋与不同的权重,区别每个通道的重要程度.并且有选择性的增强信息量大的特征,抑制无用特征,使提取的特征指向性更强.

通道注意力模型如图3所示,首先将每个通道经过全局平均池化操作后得到一个标量,如果有C个通道得到的就是C个H*W的值,这个过程称之为Squeeze,用zc表示.

图3 通道注意力模型图Fig.3 SENet model

然后通过FC-ReLU-FC-Sigmoid函数得到通道的权重值.对每个通道中的元素进行加权,即H*W,也就是对应通道的每个元素与权重分别相乘,从而得到得到新的feature map,即特征图.这个过程称之为Excitation.融合各通道特征图谱信息的计算方法为:

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(6)

其中,z∈R,是统计量,C是通过U的空间维数H×W收缩产生.

3.3.3 冗余优化

在负样本提取过程中,虽然已经从整个范围缩小到包含多跳邻居节点的网络,但仍需要遍历未观察的所有节点和路径.即使是从正例开始寻找邻居节点这样的方法,占用空间的规模也十分大.进一步来讲,这样的方式会阻碍节点探索的性能.为了减少搜索所占用的空间和时间,本文使用节点修剪的方式来规避这个问题,在每一步节点探索的时候,保留评分函数中得分高的节点,将得分低的节点修剪掉.这样不仅减少了空间上的消耗,还提高了算法的时间效率.

3.4 物品推荐

将用户和物品的特性通过矩阵分解得到用户矩阵和物品矩阵.在音乐推荐中,每个用户听音乐的时候都有偏好,这些偏好可以直观理解成歌曲种类:蓝调,说唱,摇滚等.用户-特性矩阵表示的是用户对这些因素的喜好.同样,每一部音乐也可以用这些因素描述,因此特性-物品矩阵表示的就是每一部音乐当中这些因素的含量,例如某歌曲的作曲,演唱者,风格.这样两个矩阵相乘就会得到用户对音乐的喜欢程度.

由于数据规模大,不适合采用时间复杂度高的推荐算法,这里使用MF算法向用户做推荐,证明负采样器的有效性.

本文将用户和物品嵌入的内积作为预测函数来估计某位用户来选择物品的可能性.

(7)

4.1 数据集

本文使用3个公开数据集:Amazon-book、Last-FM和Yelp2018,每个数据集由用户和物品交互组成.将数据集按照4:1的比例分成训练集和测试集.在训练集中,与用户交互的物品为正样本,同时使用采样器对负样本进行采样,根据用户物品对进行推荐,如表1所示.

表1 数据集的统计Table 1 Statistics of data sets

本实验是在pytorch1.6.0的环境中进行编程,同时对其它对比算法的参数进行了适当的调整.学习速率在[10-3,5×10-3, 10-2,5×10-2]中进行调整,并在[8,16,32,64,128,256]中调整嵌入的维度大小.对于测试集中的每个用户,本研究将其选择了的item(用户备选项)视为正样本,并评估各个算法的排名.

Amazon-book:该数据集包括了广泛用于产品推荐的数据,包括产品的评论文本、产品的描述、类别信息、价格和链接等,也包括括浏览和购买记录.为了确保数据集的质量,本文保留至少10次交互的用户和项.

Last-FM:该数据集为音乐数据集,在歌曲级别上由两种数据组成:标签和类似的歌曲.在这里把音轨视为item(项目),选取时间戳从2016.6到2016.12的数据集.

Yelp2018:该数据集涵盖商户、评论文本和用户数据,实验中把当地的餐馆和酒吧作为物品.

除了用户-物品交互之外,还需要为每个数据集构建物品知识.对于Amazon-book和Last-FM,通过标题匹配将物品映射到Freebase图数据库中.

4.2 评价指标

实验中所用的评价指标为归一化折损累计增益值(ndcg),召回率(recall)和F1值验证这些方法的有效性,各个评价指标的计算公式如下所示:

1)ndcg:(Normalized Discounted cumulative gain)这个指标是归一化折损累计增益值,用来衡量算法的排序质量.其计算公式如下:

(8)

其中cg是搜索结果列表中所有文档的分级相关性得分的总和;dcg表示的是在搜索结果列表的较低位置上出现相关性较高的内容时,对评测得分施加惩罚后的值;idcg则为理想dcg,也就是将推荐内容进行相关性排序后得到的最大的dcg值.而这dcg和idcg两个值则是由公式(9)、公式(10)所求得的

(9)

(10)

|REL|表示结果集中相关度最高的p个结果,从而给定这p个结果的排序位置.其中reli为位置i上的文档的相关度.

CEFTIN片用于治疗由肺炎链球菌或流感嗜血杆菌(不产β‐内酰胺酶菌株)敏感株引起的成人和儿童患者(13岁及以上)的轻到中度急性上颌窦炎。

2)precision:精确度,表示正确预测为正的占全部预测为正的比例.公式如下:

(11)

3)recall:召回率,即正确预测为正的占全部实际为正的比例.

(12)

4)F1:对精确率与召回率进行平均的结果.

(13)

其中,TP表示的是正类预测为正类的数量;FN是正类预测为负类的数量;FP表示的是负类被预测为正类的数量;TN是负类预测为负类的数量.

为了验证本算法的有效性,本实验在top-k场景下进行评估:通过计算预测结果中概率最大的前k个结果包含正确标签的占比.

4.3 实验结果对比

将本文提出的NSEP模型进行两组比较,如下所示:

4.3.1 负采样有效性比较

为了验证负采样的有效性,选择了以下方法作为对比:包括静态RNS,自适应DNS和基于知识图谱(RWS)的采样器.

·RNS:随机负抽样(RNS)以均匀概率对负样本进行抽样的技术.在这里为了便于比较使用MF作为推荐.

·RWS[22]:这种随机行走抽样(RWS)仅仅依赖于知识图谱的拓扑结构选择负样本来辅助MF奖励功能的影响.

负采样有效性的实验结果如表2所示,通过比较表2中的数据可以看出无论是recall还是ndcg的表现上,DNS的效果都优于RNS.本文推测这是因为均匀取样器容易导致低质量的负样本梯度消失.这个发现验证了高质量负样本可以使简单的线性相互作用函数(即MF)达到与复杂的非线性相互作用模型(如rippleet和KGAT)相当的性能.DNS采样策略在这3个数据集上运行良好,还有一个原因是DNS可以通过感知排序的拒绝采样机制有效地减少搜索空间,这说明了适当的剪枝策略有着积极的作用,能够提升推荐算法的准确率.在与NSEP利用相同的数据实验时,RWS只能获得与静态采样器相当的性能.这是因为随机生成的路径通常会因节点的受欢迎程度不同而有偏差.这个结果也再次证明了NSEP可以更好地利用知识图谱提供的众多节点和关系数据.

表2 与其他负采样比较Table 2 Compare with other negative samples

同时本研究也观察到在数据集Yelp2018上本文的模型NSEP的改善最为显著,而Amazon-book上NSEP的改善效果就相对较差.这可能是由于用户备选项(item)质量的原因:因为Yelp2018中的知识图谱是使用本地的业务信息构建的,因此与其他的相比更加准确和有针对性.而利用正样本增强物品之间的语义相似性或者通过传播用户偏好来推荐,这些方法忽略了知识图谱提取负样本的能力,如果将这种方法结合起来,那么推荐系统的效果会更好.本文提出的策略更强调物品之间的差异性,因此有利于负抽样.

4.3.2 知识图谱增强推荐比较

由于本算法提出了基于负样本的推荐方式,因此也与其它基于知识图谱的的推荐算法进行比较,包括与基于监督学习(NFM)、基于规则化(CKE)、基于路径(RippleNet)和基于gnn的(KGAT)推荐算法的对比.

NFM:该推荐系统将历史行为和物品知识分解为user-item,也就是用户-备选项交互对的表示,并将其输入神经网络进行预测.

CKE:这样的推荐系统使用KG嵌入来增强物品表示,并进一步帮助提升MF的推荐效果.

RippleNet:该模型利用知识图谱中每个用户的多跳路径来丰富其周围节点的信息,从而达到提升推荐效率的目的.

KGAT:这是目前最先进的基于知识图谱的推荐系统之一,这个模型在知识图谱上通过使用GNN来生成用户和物品表示,并使用内积来进行预测.

与其它基于知识图谱的推荐算法比的实验效果如表3所示.可以观察到NSEP在所有3个数据集上带来的显著改进.在Yelp2018、LastFM和Amazon-book上的表现分别高出2.40%、3.41%和3.25%.这再次验证了在抽样方法中使用知识图谱的合理性,并验证了知识图谱可以为高质量的负样本提供指导信号.

表3 与其它KG增强器比较Table 3 Compare with other KG intensifiers

分析对比表中数据不难发现知识强化赋予推荐系统更好的表示能力.除NFM外,所有基于知识图谱的推荐都结合了用户和物品表示来做预测,因此,对物品的表示能力直接决定了推荐的性能.与CKE利用物品之间的语义相似性进行推荐的方式,以及RippleNet中的基于路径的模型来传播用户偏好,KGAT中基于用户和物品的高阶连接的模型相比,NSEP使用简单的ID嵌入,能取得最好的性能.这些数据都表明,使用适当的消极信号有助于提高效果.

4.3.3 top-k推荐

本文还做了top-k相关的实验,.通过观察折线图4~图6不难得知:与其他基线相比,CKE的表现相对较差, 可能是因为在实验过程中只有结构知识即知识图谱中的节点和关系,但却因为在数据集中没有视觉和文本输入导致模型的效果不能完全发挥出来.NFM表现差的原因可能是因为基于用户历史的推荐不能够广泛地学习到用户的兴趣,缺少足够的训练样本导致推荐效果不理想.在last-FM中KGAT的表现不如其它两个数据集的原因可能是因为相关评论太短且模棱两可,无法提供有用的信息.NSEP在Amazon-Book推荐方面的表现不理想可能是因为所涉及的用户关系不够丰富,知识图谱能够预测的推荐路径有限.同时,NSEP在Yelp2018和last-FM取得令人满意的效果,证明算法能够很好地利用负样本的知识来实现效率的提升.

图4 F1@K在Yelp2018中的表现情况Fig.4 F1@K in top-K recommendation for Yelp2018

图5 F1@K在LastFM中的表现情况Fig.5 F1@K in top-K recommendation for LastFM

图6 F1@K Amazon-Book中的表现情况Fig.6 F1@K in top-K recommendation for Amazon-Book

4.3.4 消融性分析

本文中为了进一步研究算法中各个部分对算法整体的提升效果,还进行了消融性分析,具体实验内容如下.

1)为了研究模型中通道注意力的作用,模型在仅使用邻居注意力的情况下运行,对比结果如表4所示.

表4 通道注意力对模型的影响数据表Table 4 Influence of SENet on the model

由图8分析得知,移除通道注意力会降低模型的性能.原因是缺乏该模块对无用特征的抑制,导致特征之间的差别不够大,在后期调用奖励函数时不同样本之间没有明显的优劣,奖励函数的作用不够明显,从而降低了推荐效果.

2)本小节将研究从KG关系中获得的文本编码对模型性能是否有提升.实验结果如表5所示.

表5 SDAE编码对模型的影响数据表Table 5 Influence of SDAE coding on the model

分析得:与结构化知识相比,文本对推荐性能有提升,但效果比较微弱.这是因为关系中的文本内容与结构化信息结合方式不够完善,文本信息没有被充分利用.如果将节点中的文本信息一同加入进来,可能会有明显的优化.

4.3.5 实验总结

本文提出的算法在3个数据集的所有测量中始终优于所有基线.这是因为以下几个原因:

1)知识图谱中具有丰富的实体关系,而静态和自适应采样的信息首先,不容易发现高质量的负样本.

2)挑选的优质负样本与目标正样本十分接近,因此为推荐提供了很有意义的梯度.

3)有效的邻居修剪策略将大规模的搜索范围缩小以至于更容易找到潜在的物品.

在本文中设计的邻居关注模块可以成功地获取用户的个人兴趣.由于正样本和负样本之间有许多共同的邻居,根据取样器不同的探索路径合理解释正负样本的属性差异和用户之间不同的偏好,获得用户的真实喜好.但是负采样适合用户行为活跃的用户,如果用户行为较为稀疏就不能有效地训练采样器.接下来最主要的工作就是提高信息的传播效率,之后再与负采样结合,会得到更高的用户满意度.通过引入更多的辅助信息,例如社交网络来更好的挖掘正样本和负样本的不同路径,合理推断用户不同的喜好.

猜你喜欢图谱物品实体称物品小学生学习指导(低年级)(2022年5期)2022-05-31“双十一”,你抢到了想要的物品吗?疯狂英语·初中天地(2021年11期)2021-02-16绘一张成长图谱少先队活动(2020年12期)2021-01-14前海自贸区:金融服务实体中国外汇(2019年18期)2019-11-25谁动了凡·高的物品少年漫画(艺术创想)(2019年2期)2019-06-06实体的可感部分与实体——兼论亚里士多德分析实体的两种模式哲学评论(2017年1期)2017-07-31补肾强身片UPLC指纹图谱中成药(2017年3期)2017-05-17两会进行时:紧扣实体经济“钉钉子”领导决策信息(2017年9期)2017-05-04振兴实体经济地方如何“钉钉子”领导决策信息(2017年9期)2017-05-04主动对接你思维的知识图谱领导科学论坛(2016年9期)2016-06-05

推荐访问:语义 相结合 样本

相关文章:

Top