利用LLM增强主题建模从定性文本中解锁洞察

通过员工调查、产品反馈渠道、客户心声机制或其他非结构化文本源收集的定性数据，可提供宝贵的洞察，补充和情境化定量业务情报。然而，分析大量开放式回复所需的手动工作限制了这些洞察的可访问性。

潜在狄利克雷分配（LDA）等主题建模方法基于词共现对文档进行聚类，有助于发现大型文本语料库中的主题结构。但LDA和其他标准主题建模技术往往难以完全捕捉自然语言中固有的上下文细微差别和歧义。

在一篇与Alex Gil、Anshul Mittal和Rutu Mulkar合著的论文中，介绍了一种新方法——定性洞察工具（QualIT），该方法将预训练大型语言模型（LLM）与传统聚类技术相结合。通过利用LLM的深度理解和强大语言生成能力，QualIT能够丰富主题建模过程，从自由文本数据生成更细致和可解释的主题表示。

QualIT框架

在20 Newsgroups数据集上评估了QualIT，该数据集是主题建模研究广泛使用的基准。与标准LDA和最先进的BERTopic方法相比，QualIT在主题一致性（70% vs. 基准的65%和57%）和主题多样性（95.5% vs. 85%和72%）方面均表现出显著改进。

分层聚类

QualIT并非简单地依赖LLM生成主题和主题。它采用独特的两阶段聚类方法，以发现高层主题洞察和更细粒度的子主题。首先，模型将LLM提取的关键短语分组为主要聚类，代表语料库中的 overarching 主题。然后在每个主要聚类内应用第二轮聚类，以识别更具体的子主题。

QualIT方法的关键步骤包括：

• 关键短语提取：LLM分析每个文档，识别捕捉最显著主题和话题的关键短语。这是相对于其他方法的关键优势，其他方法仅根据单个主题表征每个文档。通过每个文档提取多个关键短语，QualIT能够处理单个文本可能涵盖一系列相互关联的主题和观点的现实。
• 幻觉检查：为确保提取关键短语的可靠性，QualIT计算每个关键短语的一致性分数。该分数评估关键短语与实际文本的对齐程度，作为一致性和相关性的度量。低于特定一致性阈值的关键短语被标记为潜在“幻觉”，并从分析中移除，有助于维护主题建模输出的质量和可信度。
• 聚类：两阶段聚类方法的分层结构提供了主题景观的全面和可解释视图，允许研究人员和决策者从广泛、 overarching 的主题导航到更细致和详细的数据方面。重要的是，QualIT利用关键短语作为聚类基础，而非直接对完整文档进行分组。这减少了噪声和无关数据的影响，使算法能够专注于文本的主题本质。

除了将QualIT与早期主题建模方法进行比较外，还邀请人工评审员验证其输出。评审员能够更一致地将QualIT生成的主题分类到已知真实类别中；例如，当至少四分之三的评估者同意主题分类时，QualIT与真实类别的重叠达到50%，而LDA和BERTopic仅为25%。感兴趣的读者可以在QualIT论文和一篇关于调和定性研究方法论范式的早期论文中了解更多技术实现细节。

应用

定性文本不仅包括调查反馈或焦点小组数据，还包括产品交互数据。例如，类似于QualIT的系统可以分析向AI聊天机器人提出的问题，以了解用户最感兴趣的话题。如果交互数据与客户反馈数据（如 thumbs-up/thumbs-down 评分）配对，该系统可以帮助解释聊天机器人在哪些话题上表现不佳。

展望未来，对QualIT语言建模能力（如支持英语以外的语言，尤其是低资源语言）和主题聚类算法的进一步改进，有望解锁更强大的定性分析能力。随着组织继续认识到定性数据的价值，能够高效和有效 surface 有意义洞察的工具将变得至关重要。