检测荷兰临床自由文本中的药物不良事件：基于Transformer模型的基准研究

摘要

本研究使用多种Transformer模型、临床场景和针对性性能指标，为荷兰临床自由文本中的药物不良事件（ADE）检测建立了基准。研究采用102份经过丰富标注的荷兰ICU临床病程记录，训练了双向长短期记忆（Bi-LSTM）模型和四种基于Transformer的荷兰语/多语言编码器模型（BERTje、RobBERT、MedRoBERTa(.)nl和NuNER），用于命名实体识别（NER）和关系分类（RC）任务。

数据与方法

重用了一家学术医院重症监护室（ICU）患者的匿名自由文本临床病程记录，以及两家非学术医院内科病房患者的出院信件。ADE RC模型通过金标准（两步任务）和预测实体（端到端任务）进行内部评估。此外，所有模型都在文档级别上进行了ADE检测的外部验证。

结果

鉴于数据集中ADE的不平衡性，报告了微观和宏观平均F1分数。尽管各模型在ADE RC任务上的差异较小，但MedRoBERTa(.)nl表现最佳，使用金标准时宏观平均F1分数为0.63，使用预测实体时为0.62。MedRoBERTa(.)nl模型在外部验证中也表现最佳，使用预测实体时召回率介于0.67至0.74之间，意味着检测到了67%至74%的包含ADE的出院信件。

结论

本基准研究提出了一种稳健且具有临床意义的方法，用于评估临床自由文本中ADE检测的语言模型。研究强调需要使用适合临床自由文本ADE检测任务和未来临床应用的性能指标。

注释：研究共30页，包含5张主论文图和19页补充材料（含2张图）。Rachel M. Murphy和Nishant Mishra为共同第一作者，Joanna E. Klopotowska和Iacer Calixto为共同最后作者。