vlambda博客
学习文章列表

栏目介绍

主题建模或者主题模型，本质上是自然语言处理技术框架下的一种统计方法，用来发现文档中的主题。在一些应用场景，它可以帮助我们对海量文本进行分类。主题模型的工作原理立足于人的思考习惯。比如，写作者在创作文本时，会预设若干主题。为了凸显某个主题，作者会在遣词造句时调用相关联的词语，在主题模型的术语中，这些具有相关性的词语被称为“词群”（bag of words）。举个例子，歌德在构思《少年维特之烦恼》时，会设计不同主题，并用不同的文字进行刻画。作为一部爱情小说，“爱情”一定是核心内容，但歌德也不会排斥对其他主题的描述，否则小说的可读性会降低，对社会的描述也会非常扁平化。因此“自然”、“艺术”或者“社会”等，也是可能的主题。为了描绘这些主题，歌德在写作中会使用相应的词群，如在描绘维特令人心碎的爱情时，一定会高频率地出现“爱情”、“心”等，也会有“拥抱”、“吻”等词语。其他主题也有类似的词群以及频率。基于这样的逻辑，如果我们用统计模型计算词群，就能够把握相应的主题，或者对文本的内容进行分类。

布雷、吴恩达等人于2003年提出了“隐含狄利克雷分布”（Latent Dirichlet Allocation，简称LDA），成为主题模型最常用的算法，后来也出现了基于LDA的改进算法。很多软件，工具包，编程语言都能够实现主题模型，在Python环境下常用的软件包是gensim。针对LDA算法的结果不易解读的问题，还有很多工具包可以实现对主题模型结果的可视化，方便使用者进行探索：pyLDAvis是比较常用的可视化软件包；另一款可视化软件包TOM_lib也独具特色。

了解到这些背景知识后，再来看提出的问题，我们就知道主题模型的方法具有通用性，只要文本的数量足够多，就可以尝试。当然，对中文的文本，特别是cText这样古汉语进行主题模型分析，需要首先完成比较复杂的中文分词的预处理过程，这个结果的好坏，会影响最终主题模型的可读性。有学者对典籍进行过主题模型的研究，可以找王小红等人于2018年在《自然辩证法通讯》上发表的《人文知识发现的计算机实现：对“汉典古籍”主题建模的实证分析》一文来学习。CBDB是一种关系型数据库，海量文本不是它的重点，所以主题模型不是发挥其价值的好选择。

我在2019年清华大学的报告中提到的文本分析平台，还在筹备上线的过程中。不过，不论在研究文学作品时使用情感分析，还是其他NLP的算法，在结果没有被合理解释之前，不过是统计数字或者漂亮的可视化图表而已。要做数字人文的研究，实际上存在不同的推进维度，可以偏重方法论，比如将主题模型的算法不断完善；也可以思考如何将主题模型的算法落实到具体研究。当你发现自己不太理解人文学科的思维模式时，你可以去找一个文学研究者聊一聊，问问TA有什么样的研究需求；你甚至可以诱导TA某个算法非常有趣，能帮助人文学者做研究，然后让TA去发现统计数字背后的学理逻辑。这不是“分界线”的问题，而是我们作为研究者找准定位的问题。这个问题其实是一个灵魂拷问，什么是好的数字人文研究？对这个宏大问题思考，在2019年《澳门理工学报》有一组文章做过相关讨论，可以找来读读。

MALLET是一个很好用的软件包，对于没有编程基础的研究者而言，是非常好展开主题模型研究的选择。不过，由于MALLET开发得比较早，而且主要是面向西文文本，所以对中文的支持不是特别好。不过，或许可以尝试把已经做好中文分词的文本导入MALLET，说不定能够得到不错的结果。这只是我个人的想象，没有实践过，不敢保证有效性。由于我自己的研究是德国历史，所以在刚刚开始接触数字人文的时候，用过MALLET。但是，MALLET比较大的问题是，导出的结果没有进行可视化，解读起来比较费时间。后来，我在学会编程后，就转而使用pyLDAvis这样的软件包了。

国外在主题模型方面的研究比较早，特别是在人文学科领域，有很多应用的实践案例，涉及了许多学科领域，不同的文本。但这样的研究同质化的倾向非常明显，基本的套路是用主题模型的方式远读海量的文本，然后对输出的结果做一番解释。从传统人文研究的角度，其实价值不是特别明显。这是我们后续的研究需要避免的。

据我所知，有一些涉及主题模型的研究，在讨论非常细节的话题，比如提高算法的准确度，讨论主题模型参数K（主题的个数）的最优解等。这些研究有非常显著的技术导向，但也是非常重要的。

我认识一位在德国维尔茨堡大学攻读博士的留学生。他叫杜可立，他的博士研究课题就是主题模型，讨论非常多的细节问题，比如主题模型中算法中各个参数的最优值等。他的研究，应该代表了主题模型在数字人文领域的最新成果。