利用LLM增强的主题建模从定性文本中解锁洞察

通过员工调查、产品反馈渠道、客户之声机制或其他非结构化文本源收集的定性数据，能够提供宝贵的洞察，补充和丰富定量业务智能。然而，分析大量开放式回复所需的手动工作限制了这些洞察的可及性。

潜在狄利克雷分配（LDA）等主题建模方法基于词共现对文档进行聚类，有助于发现大型文本语料库中的主题结构。但LDA和其他标准主题建模技术往往难以完全捕捉自然语言中固有的上下文细微差别和歧义。

在近期与Alex Gil、Anshul Mittal和Rutu Mulkar共同发表的论文中，我们介绍了定性洞察工具（QualIT），这是一种将预训练大语言模型（LLMs）与传统聚类技术相结合的新方法。通过利用LLMs的深度理解和强大语言生成能力，QualIT能够丰富主题建模过程，从自由文本数据中生成更细致且可解释的主题表示。

QualIT框架

我们在20 Newsgroups数据集上评估了QualIT，该数据集是主题建模研究广泛使用的基准。与标准LDA和最先进的BERTopic方法相比，QualIT在主题一致性（70% vs. 基准的65%和57%）和主题多样性（95.5% vs. 85%和72%）方面均表现出显著提升。

层次聚类

QualIT并非简单依赖LLM生成主题和主题词。它采用独特的两阶段聚类方法，既能发现高层次主题洞察，又能识别更细粒度的子主题。首先，模型将LLM提取的关键短语分组为主要聚类，代表语料库中的总体主题。然后在每个主要聚类内应用第二轮聚类以识别更具体的子主题。

QualIT方法的关键步骤包括：

关键短语提取：LLM分析每个文档，识别捕捉最显著主题和话题的关键短语。这相比将每个文档表征为单一主题的替代方法具有关键优势。通过每个文档提取多个关键短语，QualIT能够处理单个文本可能包含一系列相互关联主题和观点的现实情况。

幻觉检查：为确保提取关键短语的可靠性，QualIT计算每个关键短语的一致性分数。该分数评估关键短语与实际文本的对齐程度，作为一致性和相关性的度量。低于特定一致性阈值的关键短语会被标记为潜在"幻觉"并从分析中移除，有助于保持主题建模输出的质量和可信度。

聚类：两阶段聚类方法的层次结构提供了全面且可解释的主题景观视图，使研究者和决策者能够从广泛的总览主题导航到更细致的数据方面。重要的是，QualIT利用关键短语作为聚类基础，而非直接对完整文档进行分组。这减少了噪声和无关数据的影响，使算法能够专注于文本的主题本质。

除了将QualIT与早期主题建模方法进行比较外，我们还邀请人工评审员验证其输出。评审员能够更一致地将QualIT生成的主题分类到已知真实类别中；例如，当至少四分之三的评估者就主题分类达成一致时，QualIT与真实类别的重叠率达到50%，而LDA和BERTopic仅为25%。感兴趣的读者可以在QualIT论文以及早先关于调和定性研究方法论范式的论文中了解更多技术实现细节。

应用场景

定性文本不仅包括调查反馈或焦点小组数据，还包含产品交互数据。例如，类似于QualIT的系统可以分析向AI聊天机器人提出的问题，以了解用户最感兴趣的主题。如果交互数据与客户反馈数据（如点赞/点踩评分）配对，该系统可以帮助解释聊天机器人在哪些主题上表现不佳。

展望未来，对QualIT语言建模能力（如支持英语以外的语言，特别是低资源语言）和主题聚类算法的进一步改进，有望解锁更强大的定性分析能力。随着组织持续认识到定性数据的价值，能够高效且有效呈现有意义洞察的工具将变得至关重要。