推荐 原创 视频 Java开发 iOS开发 前端开发 JavaScript开发 Android开发 PHP开发 数据库 开发工具 Python开发 Kotlin开发 Ruby开发 .NET开发 服务器运维 开放平台 架构师 大数据 云计算 人工智能 开发语言 其它开发
Lambda在线 > 论智 > 用隐藏语义分析(LSA)进行主题建模(附Python代码)

用隐藏语义分析(LSA)进行主题建模(附Python代码)

论智 2018-10-18
来源:Analytics Vidhya
编译:Bing

你曾经是否去过一家管理良好的图书馆?我常常被图书馆有秩序的书籍管理震惊到,他们可以根据书名、内容或者其他主题把所有书排列整齐。但是如果你给图书馆提供了几千本书,让他们根据每本书的种类进行管理,他们一定会累到吐血。

但如果你有这些书的电子格式,做起来似乎就简单的多了,无需手动操作,几秒钟可能就完成了。NLP万岁!

请看下面一小段话:

用隐藏语义分析(LSA)进行主题建模(附Python代码)

从三种颜色的高亮处我们得知,这里有三种主题(或者概念)。一个好的主题模型可以分辨出相似的单词,并把它们归到一个群组中。在上面这段话中,最主要的主题就是绿色的主题2,通过它我们可以了解到这段话的主要意思是有关假视频的。

在这篇文章中,我们将学习一种文本挖掘方法,称为主题建模(topic modeling)。这是提取主题的一种非常有用的技术,在NLP问题中会经常用到。

注:在阅读这篇文章前,我强烈推荐我们此前的另一篇文章:用隐藏语义分析(LSA)进行主题建模(附Python代码)点击阅读),从中可以了解SVD、UMAP等概念,这些概念会在本文出现。

什么是主题模型?

主题模型可以看作是一种无监督技术,用于在多个文本文件中发现主题。但这些主题在自然中是抽象的,而且一段文本中可能含有多种主题。就目前来说,我们暂且将主题模型理解成一个黑箱,如下图所示:

用隐藏语义分析(LSA)进行主题建模(附Python代码)

黑箱(主题模型)将很多相似相关的词语聚集起来,称为主题。这些主题在文本中有特定的分布形态,每种主题都是通过它包含的不同单词比例确定的。

什么时候会用到主题建模?

回到我们开头说到的图书馆的例子,现在假设你要对几个数字化文本进行管理,如果数量不多,完全可以手动完成,但如果电子文本数量很大该怎么办?

这就需要用到NLP技术,对于这项任务,主题建模是必须用到的。

用隐藏语义分析(LSA)进行主题建模(附Python代码)

主题建模可以帮助使用者处理大量文本数据,找到文本中相似的多个词语,确定抽象的主题。除此之外,主题模型还可以用于搜索引擎,让搜索结果与搜索字符相匹配。

隐藏语义分析(LSA)概览

所有语言都有自己细小的特征,机器难以分辨(有时连人类都会认错)。比如有时不同的单词却表达相同含义,或者同一个单词却表达不同意思。

例如,看以下两个句子:

  • I liked his last novel quite a lot.

  • We would like to go for a novel marketing campaign.

在第一句话中,“novel”指的是一本书、小说,而在第二句话中它是形容词,意为“新的”。

我们可以轻易地分辨二者,因为我们理解了“novel”前后词语的意思。但是,机器无法理解这些概念,所以也不能理解词语所处的语境。这就需要用到隐藏语义分析(LSA)了,它通过分析词语周围的语境捕捉其中的隐藏概念,即主题。

所以,仅仅将词语映射到文本中并不能起到太大帮助,我们真正要做的是弄清楚词语背后隐藏的概念或主题,这就是LSA的目的。

实施LSA的步骤

假设我们有m个文本文档,总共有n个不同的词语,我们想从文档中所有文本数据中提取出k个主题,而k是由用户决定的。

  • 生成一个文本-单词矩阵,计算TF-IDF分数。

用隐藏语义分析(LSA)进行主题建模(附Python代码)

  • 之后,我们会将上述矩阵的维度降至k,利用奇异值分解(SVD)。

  • SVD将一个矩阵分解成三个其他的矩阵,假设我们想用SVD分解矩阵A,它就会将其分成矩阵U、S和VT(矩阵V的转置矩阵)。

用隐藏语义分析(LSA)进行主题建模(附Python代码)

用隐藏语义分析(LSA)进行主题建模(附Python代码)

矩阵UK的每一行都是对应文本的向量表示,这些向量的长度是k,即目标主题的数量。我们数据中的词语的向量表示可以在矩阵VK中找到。

通过SVD,我们得到了我们的数据中每个文本和词语的向量表示,然后用这些向量,我们可以找到相似的单词,利用余弦相似性找到相似的文本。

用Python实现LSA

首先下载所需要的库。

 
   
   
 
  1. import numpy as np

  2. import pandas as pd

  3. import matplotlib.pyplot as plt

  4. import seaborn as sns

  5. pd.set_option("display.max_colwidth", 200)

 
   
   
 
  1. from sklearn.datasets import fetch_20newsgroups

  2. dataset = fetch_20newsgroups(shuffle=True, random_state=1, remove=('headers', 'footers', 'quotes'))

  3. documents = dataset.data

  4. len(documents)

输出:11314。

 
   
   
 
  1. dataset.target_names

 
   
   
 
  1. ['alt.atheism',

  2. 'comp.graphics',

  3. 'comp.os.ms-windows.misc',

  4. 'comp.sys.ibm.pc.hardware',

  5. 'comp.sys.mac.hardware',

  6. 'comp.windows.x',

  7. 'misc.forsale',

  8. 'rec.autos',

  9. 'rec.motorcycles',

  10. 'rec.sport.baseball',

  11. 'rec.sport.hockey',

  12. 'sci.crypt',

  13. 'sci.electronics',

  14. 'sci.med',

  15. 'sci.space',

  16. 'soc.religion.christian',

  17. 'talk.politics.guns',

  18. 'talk.politics.mideast',

  19. 'talk.politics.misc',

  20. 'talk.religion.misc']

数据及共有11314个文本文档,分布在20各不同的newsgroup中。

数据预处理

开始之前,我们先尝试着清理文本数据。主要思想就是清除其中的标点、数字和特殊字符。之后,我们需要删除较短的单词,因为通常它们不会包含什么有用的信息。最后,我们将文本变为不区分大小写。

 
   
   
 
  1. news_df = pd.DataFrame({'document':documents})

  2. # removing everything except alphabets`

  3. news_df['clean_doc'] = news_df['document'].str.replace("[^a-zA-Z#]", " ")

  4. # removing short words

  5. news_df['clean_doc'] = news_df['clean_doc'].apply(lambda x: ' '.join([w for w in x.split() if len(w)>3]))

  6. # make all text lowercase

  7. news_df['clean_doc'] = news_df['clean_doc'].apply(lambda x: x.lower())

之后我们要删除没有特别意义的停止词,例如“it”、“they”、“am”、“been”、“about”、“because”、“while”等等。为了实现这一目的,我们要对文本进行标记化,也就是将一串文本分割成独立的标记或单词。删除停止词之后,再把这些标记组合在一起。

 
   
   
 
  1. from nltk.corpus import stopwords

  2. stop_words = stopwords.words('english')

  3. # tokenization

  4. tokenized_doc = news_df['clean_doc'].apply(lambda x: x.split())

  5. # remove stop-words

  6. tokenized_doc = tokenized_doc.apply(lambda x: [item for item in x if item not in stop_words])

  7. # de-tokenization

  8. detokenized_doc = []

  9. for i in range(len(news_df)):

  10.    t = ' '.join(tokenized_doc[i])

  11.    detokenized_doc.append(t)

  12. news_df['clean_doc'] = detokenized_doc

文本-词语矩

这是通向主题建模的第一步。我们要用sklearn的TfidfVectorizer给1000个词语创造一个文本-词语矩阵。如果你有足够的计算力,可以增加更多数据。

 
   
   
 
  1. from sklearn.feature_extraction.text import TfidfVectorizer

  2. vectorizer = TfidfVectorizer(stop_words='english',

  3. max_features= 1000, # keep top 1000 terms

  4. max_df = 0.5,

  5. smooth_idf=True)

  6. X = vectorizer.fit_transform(news_df['clean_doc'])

  7. X.shape # check shape of the document-term matrix

 
   
   
 
  1. (11314, 1000)

主题建模

下一步是将每个词语和文本用向量表示,我们会用到文本-词语矩阵并对他们降维。这里会用到TruncatedSVD执行矩阵的分解。

由于数据来自20个不同的分组,我们就假设文本数据有20个不同主题。

 
   
   
 
  1. from sklearn.decomposition import TruncatedSVD

  2. # SVD represent documents and terms in vectors

  3. svd_model = TruncatedSVD(n_components=20, algorithm='randomized', n_iter=100, random_state=122)

  4. svd_model.fit(X)

  5. len(svd_model.components_)

 
   
   
 
  1. 20

svdmodel中的元素就是我们的主题,我们可以用svdmodel.components_查看。最后,在20个主题中输入几个重要单词,看模型会做出什么反应。

 
   
   
 
  1. terms = vectorizer.get_feature_names()

  2. for i, comp in enumerate(svd_model.components_):

  3.    terms_comp = zip(terms, comp)

  4.    sorted_terms = sorted(terms_comp, key= lambda x:x[1], reverse=True)[:7]

  5.    print("Topic "+str(i)+": ")

  6.    for t in sorted_terms:

  7.        print(t[0])

  8.        print(" ")

 
   
   
 
  1. Topic 0: like know people think good time thanks

  2. Topic 1: thanks windows card drive mail file advance

  3. Topic 2: game team year games season players good

  4. Topic 3: drive scsi disk hard card drives problem

  5. Topic 4: windows file window files program using problem

  6. Topic 5: government chip mail space information encryption data

  7. Topic 6: like bike know chip sounds looks look

  8. Topic 7: card sale video offer monitor price jesus

  9. Topic 8: know card chip video government people clipper

  10. Topic 9: good know time bike jesus problem work

  11. Topic 10: think chip good thanks clipper need encryption

  12. Topic 11: thanks right problem good bike time window

  13. Topic 12: good people windows know file sale files

  14. Topic 13: space think know nasa problem year israel

  15. Topic 14: space good card people time nasa thanks

  16. Topic 15: people problem window time game want bike

  17. Topic 16: time bike right windows file need really

  18. Topic 17: time problem file think israel long mail

  19. Topic 18: file need card files problem right good

  20. Topic 19: problem file thanks used space chip sale

主题可视化

为了更方便地探索主题,我们应该对其可视化。当然,可是话不能大于三维,但是PCA或t-SNE等技术可以帮我们将高维数据降成低维进行可视化。这里,我们用另一种相对较新的技术,称作UMAP(Uniform Manifold Approximation and Projection)。

 
   
   
 
  1. import umap

  2. X_topics = svd_model.fit_transform(X)

  3. embedding = umap.UMAP(n_neighbors=150, min_dist=0.5, random_state=12).fit_transform(X_topics)

  4. plt.figure(figsize=(7,5))

  5. plt.scatter(embedding[:, 0], embedding[:, 1],

  6. c = dataset.target,

  7. s = 10, # size

  8. edgecolor='none'

  9. )

  10. plt.show()

用隐藏语义分析(LSA)进行主题建模(附Python代码)

如上所示,结果非常明显,每个点代表一段文本,不同的颜色表示20个分组。

LSA的优缺点

如上所示,隐藏语义分析非常有用,但是它也有自己的缺点。在使用它之前,还需要了解它的优缺点。

优点:

  • LSA非常快,并且易于实施。

  • 结果很清晰,比单一的向量空间模型好得多。

缺点:

  • 由于它是一个线性模型,可能在非线性数据集上表现的不是很好。

  • LSA假设文本中的词语是高斯分布,可能不适用于所有问题。

  • LSA中涉及SVD,可能在出现新数据或更新时需要大量计算力。

版权声明:本站内容全部来自于腾讯微信公众号,属第三方自助推荐收录。《用隐藏语义分析(LSA)进行主题建模(附Python代码)》的版权归原作者「论智」所有,文章言论观点不代表Lambda在线的观点, Lambda在线不承担任何法律责任。如需删除可联系QQ:516101458

文章来源: 阅读原文

相关阅读

关注论智微信公众号

论智微信公众号:jqr_AI

论智

手机扫描上方二维码即可关注论智微信公众号

论智最新文章

精品公众号随机推荐