Gensim中动态主题模型之dtmmodel的使用

>import gensim

创新互联,为您提供成都网站建设网站制作、网站营销推广、网站开发设计,对服务PVC花箱等多个行业拥有丰富的网站建设及推广经验。创新互联网站建设公司成立于2013年,提供专业网站制作报价服务,我们深知市场的竞争激烈,认真对待每位客户,为客户提供赏心悦目的作品。 与客户共同发展进步,是我们永远的责任!

import jieba

import pandas as pd

from gensim import corpora,models

from gensim.models.wrappers import DtmModel

from gensim.corpora import Dictionary

from collections import defaultdict

gensim模块中的动态主题模型并不在官方所提供的代码里。想要使用动态主题模型,必须先下载保存在github上的二进制文件,这个文件有适合linux、win和darwin使用的版本,可直接下载,很方便。

文本要求

根据我的理解,简单来说,动态主题模型就是一种动态调参的LDA主题模型,通常将时间线分为几个等长的时间片。因此按照gensim里的这个模型要求,你必须先把整个事件片里的文本整合到一起,简而言之,就是你最后放到模型里跑的那个文本列表的长度,必须等于你把时间线分成的段数。

我在使用的时候,一共八个月,被我分为了八段,所以你最后的corpus的这个list的len也要是8

分词处理

接下来,你需要先对你需要分析的文本进行分词处理,我使用的代码如下:

train = []#储存分词结果的list

for line in comment:

line = line.strip()

line = "".join(line.split())

if not len(line):#判断是否为空行

continue

outstr = ' '

seg_list =jieba.cut(line)

for word in seg_list:

if word not in stopword:

if word != '\t' and word != u'\u200b' and word != '~':

outstr += word

outstr += " "

train.append(outstr.strip().split(" "))

得到train后,还可以筛选掉低频的单词:

frenquecy = defaultdict(int)

for patch in train:

for token in patch:

frenquecy[token] += 1

train = [[token for token in patch if frenquecy[token] > threshold]

for patch in train]

然后把分词结果向量化:

dic = Dictionary(train)

corpus = [dic.doc2bow(text) for text in train]

这里需要用doc2bow函数把分词结果转化为bow格式的向量list

dtm模型构建

可以先去官网看一下,看不懂英文的chrome翻一下就好了

class gensim.models.wrappers.dtmmodel.DtmModel(dtm_path,corpus = None,time_slices = None,mode ='fit',model ='dtm',num_topics = 100,id2word = None,prefix = None,lda_sequence_min_iter = 6,lda_sequence_max_iter = 20,lda_max_em_iter = 10,alpha = 0.01,top_chain_var = 0.005,rng_seed = 0,initialize_lda = True )

dtm_path(str) - dtm二进制文件的路径,例如/ home / username / dtm / dtm / main。

corpus(iterable of (int ,int )的迭代) - BoW格式的文本集合。

time_slices(int的列表) - 时间戳序列。

mode({'fit' ,'time'} ,可选) - 控制模式的模式:'fit'用于训练,'time'用于根据DTM分析文档,基本上是一组。

model({'fixed' ,'dtm'} ,可选) - 将运行的控制模型:'fixed'用于DIM,'dtm'用于DTM。

num_topics(int ,optional) - 主题数。

id2word(Dictionary,可选) -令牌ID和从胼字之间的映射,如果不是指定的-将被从推断语料库。

prefix(str ,optional) - 生成的临时文件的前缀。

lda_sequence_min_iter(int ,optional) - LDA的最小迭代次数。

lda_sequence_max_iter(int ,optional) - LDA的最大迭代次数。

lda_max_em_iter(int ,optional) - LDA中的最大em优化迭代。

alpha(int ,optional) - 超参数,它影响每个时间片中LDA模型的文档主题的稀疏性。

top_chain_var(int ,optional) - 影响的超参数。

rng_seed(int ,optional) - 随机种子。

initialize_lda(bool ,optional) - 如果为True - 使用LDA初始化DTM

这里的第一个参数dtm_path,就是指放置你下载的二进制文件的位置。

整个函数中,最玄幻的参数就是这个time_slices。源代码中要求,sum(time_slices)要等于你时间片的个数,即len(corpus),但是这个实际上可以有无数种组合,可是官方文档里并没有写具体这个参数会对模型有什么样的影响,我也没搞懂,就只能使用官方文档例子的写法time_slices = [1] * len(corpus)

其他参数可以使用函数的默认值,也可以自己慢慢调整。

根据官方文档中说的,模型有两种模式,一种是fit,一种是time。fit完全正常运行,但是time这个模式是根据时间戳进行分析的模式,可见这是我们想要的模式。但是在实际调用时却出现问题:

问题1

会告诉你某一个函数返回了非0值,报错。根据错误提示,我们一直找到gensim中的utils.py中的1916行,把这里改成:

try:无锡人流多少钱 http://www.bhnfkyy.com/

error = subprocess.CalledProcessError(retcode,cmd)

except Exception:

error = None

问题2

接下来还会报错,会告诉你各种模型所需要的文件均不存在。我用了好久才明白是怎么回事,原来这个模式自己并不会生成这些初始化的文件,而是需要先运行一次fit模式,再使用fit模式初始化的文件来运行time模型,但是源代码里并没有写这个部分,导致运行失败,因此修改源代码dtmmodel.py中的164行:

if corpus is not None:

if self.mode == 'time':

print("time mode")

self.train(corpus, time_slices, 'fit', model)

self.train(corpus, time_slices, mode , model)

elif self.mode == 'fit':

print("train mode")

self.train(corpus, time_slices, mode , model)a

这样,就能正常运行time模式。代码如下:

model = DtmModel(path_to_dtm_binary,corpus = corpus,time_slices=time_slice,

id2word=dic,num_topics = num_topics,alpha = alpha,mode='time')

查看的得到的主题:

model.show_topics(num_topics = 10,times=1)

其他使用方法看官方文档就好了


分享标题:Gensim中动态主题模型之dtmmodel的使用
网站链接:http://pwwzsj.com/article/pjjeho.html