简介这份资源面向数据挖掘与文本分析方向的学习者尤其是希望掌握医学论文自动分类完整流程的高年级本科生、研究生及算法入门者。内容围绕LDA主题分析与文本特征工程展开解决医学文献主题发现与类别划分的实际问题可作为课程实验、毕业设计或竞赛项目的参考方案。压缩包共7个文件约14.13MB包含Jupyter Notebook分析代码、xlsx与csv格式的标注数据集、docx实验报告、html可视化结果以及停用词表覆盖从数据预处理、主题建模到结果呈现的完整链路。已有78人学习下载。读者可借助5000字实验报告理解建模思路与评估方法通过可运行代码复现LDA主题提取与分类实验并利用可视化页面直观查看主题分布适合作为文本挖掘实战的入门范例。1. 医学论文分类为什么值得用 LDA 做一遍手里攥着五千篇医学论文的标题和摘要想按科室或者研究类型分个类第一反应往往是上深度学习。但真到落地那一步标注数据从哪来、GPU 谁出、模型可解释性怎么跟临床医生解释全是问题。LDA 主题分析加文本分析这套组合恰恰是在标注稀缺、算力有限、又要给非算法同事讲清楚「为什么这篇分到肿瘤科」的场景下最稳的一条路。它不追求 SOTA追求的是可复现、可解释、可交付。这篇笔记就按「数据集怎么洗、LDA 怎么调、分类怎么接、坑在哪」的顺序把一份医学论文分类实验从零跑通。适合手里有几千到几万条文本、想先跑出一个能看的基线、再决定要不要上 BERT 的从业者。2. 医学论文文本预处理从原始摘要到 LDA 能吃的词袋2.1 为什么医学文本不能直接套通用停用词表医学论文摘要里有一批高频但无区分度的词比如「患者」「方法」「结果」「结论」「显著」「统计学意义」。这些词在通用停用词表里往往没有但它们在每篇摘要里都出现留着只会让 LDA 把所有文档都归到同一个主题。我一般会先跑一遍词频统计把出现在超过 80% 文档里的词手动加进停用词表。另外医学缩写要特别处理比如「CT」「MRI」「PCR」这类词不能简单按长度过滤掉它们恰恰是科室分类的关键信号。常见做法是维护一个医学缩写白名单在白名单里的词即使长度小于 3 也保留。import re import jieba from collections import Counter # 医学缩写白名单这些词不参与长度过滤 MED_ABBR {ct, mri, pcr, egfr, her2, tnm, bmi, hba1c} # 基础停用词 医学高频无区分度词 STOPWORDS set( 的 了 和 是 在 有 为 与 及 等 中 对 从 被 将 该 本 研究 方法 结果 结论 患者 显著 统计学 意义 分析 探讨 观察 临床 治疗 疗效 比较 差异 表达 .split()) def clean_text(text): # 只保留中文、英文、数字去掉标点和换行 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9], , text) text text.lower() words jieba.lcut(text) result [] for w in words: w w.strip() if not w: continue if w in STOPWORDS: continue # 长度小于2且不在白名单里的词丢掉 if len(w) 2 and w not in MED_ABBR: continue result.append(w) return result # 假设 docs 是摘要列表 docs [患者行CT检查后EGFR表达显著升高差异有统计学意义, MRI结果显示肿瘤体积缩小HER2阳性患者疗效更好] tokenized [clean_text(d) for d in docs] print(tokenized)这段代码的逻辑分三层先做字符级清洗把标点和换行统一成空格避免 jieba 把「患者行CT」切成奇怪的组合再用 jieba 分词并转小写保证「CT」和「ct」被当成同一个词最后做停用词和长度过滤但白名单里的缩写不受长度限制。参数上STOPWORDS需要根据你的语料跑一遍词频后再补充不要一次写死。MED_ABBR建议从论文关键词字段里抽取比手工列更全。2.2 构建词袋与词典gensim 的 Dictionary 怎么设过滤阈值分词完只是原料LDA 要的是词袋矩阵。gensim 的Dictionary提供三个关键过滤参数no_below、no_above、keep_n。no_below5表示出现少于 5 篇文档的词直接丢掉这些词大概率是拼写错误或者极冷门术语no_above0.5表示出现在超过一半文档里的词也丢掉它们没有区分度keep_n10000表示只保留频率最高的 10000 个词控制矩阵规模。这三个值不是拍脑袋定的我一般会先跑一遍统计看词频分布的长尾在哪里再决定no_below设 3 还是 5。from gensim.corpora import Dictionary # tokenized 是上一步的输出列表的列表 dictionary Dictionary(tokenized) print(过滤前词表大小:, len(dictionary)) # 过滤极低频和极高频词 dictionary.filter_extremes(no_below5, no_above0.5, keep_n10000) print(过滤后词表大小:, len(dictionary)) # 构建词袋 corpus [dictionary.doc2bow(text) for text in tokenized] print(第一篇文档的词袋前10项:, corpus[0][:10])filter_extremes必须在doc2bow之前调用否则词袋里的词 ID 会对不上。no_below设得太高会把一些只在少数论文里出现但很关键的罕见病术语删掉设得太低又会引入噪声。我的经验是如果语料在 5000 篇左右no_below5比较稳如果只有几百篇降到 2 或 3。no_above一般设 0.5 到 0.7医学论文里「治疗」这种词出现率极高必须压掉。2.3 用 pyLDAvis 做主题数初筛别靠困惑度一条路走到黑选主题数 K 是 LDA 最玄学的一步。困惑度perplexity和一致性coherence是两个常用指标但困惑度经常给出偏大的 K一致性又偏小。我一般会先跑 K5 到 K30 的网格同时看两个指标再用 pyLDAvis 可视化人工判断。pyLDAvis 的交互图里每个气泡是一个主题气泡大小表示该主题在语料中的占比气泡之间的距离表示主题之间的相似度。如果两个气泡严重重叠说明 K 选大了主题被拆碎了。import gensim from gensim.models import LdaModel, CoherenceModel import pyLDAvis.gensim_models coherence_scores [] perplexity_scores [] for k in range(5, 31, 5): lda LdaModel(corpuscorpus, id2worddictionary, num_topicsk, random_state42, passes10, alphaauto, etaauto) cm CoherenceModel(modellda, textstokenized, dictionarydictionary, coherencec_v) coherence_scores.append((k, cm.get_coherence())) perplexity_scores.append((k, lda.log_perplexity(corpus))) print(一致性:, coherence_scores) print(困惑度:, perplexity_scores) # 选一个中间值做可视化 lda_vis LdaModel(corpuscorpus, id2worddictionary, num_topics15, random_state42, passes10, alphaauto, etaauto) vis pyLDAvis.gensim_models.prepare(lda_vis, corpus, dictionary) pyLDAvis.save_html(vis, lda_vis.html)passes10表示遍历语料 10 次次数太少模型没收敛太多浪费时间10 到 20 之间比较常见。alphaauto和etaauto让 gensim 自动学习先验参数比自己调省事。一致性分数一般取局部最大值对应的 K但最终还是要打开lda_vis.html看一眼主题词是否可解释。如果某个主题的词是「患者 方法 结果 表达 显著」这种说明这个主题没意义K 需要调整或者停用词还要补。3. 训练 LDA 模型并做主题到科室的映射3.1 训练参数怎么定passes、iterations 与随机种子确定 K 之后正式训练要把passes和iterations调够。iterations是单次遍历里 EM 迭代的最大次数默认 50医学文本词汇量大建议提到 100 到 200。random_state必须固定否则每次跑出来的主题词顺序都不一样实验没法复现。我一般会跑三次不同随机种子看主题词是否稳定如果三次差异很大说明 K 或者预处理有问题。from gensim.models import LdaModel lda_final LdaModel( corpuscorpus, id2worddictionary, num_topics15, random_state42, passes20, iterations200, alphaauto, etaauto, per_word_topicsTrue ) # 打印每个主题的前10个词 for topic_id in range(15): words lda_final.show_topic(topic_id, topn10) print(f主题 {topic_id}: {[w for w, _ in words]})per_word_topicsTrue会额外记录每个词属于哪些主题后面做文档分类时可以用到。passes20配合iterations200在 5000 篇文档上大概跑几分钟可以接受。如果语料超过 5 万篇passes可以降到 10否则训练时间会明显拉长。3.2 文档向量化把每篇论文变成主题分布LDA 训练完之后每篇文档可以用get_document_topics得到一个主题分布向量长度等于 K每个值是该文档属于对应主题的概率。这个向量就是后续分类器的输入特征。注意要设minimum_probability0.0否则概率太小的主题会被丢掉导致向量长度不一致。import numpy as np def doc_to_topic_vector(lda_model, bow, num_topics): topics lda_model.get_document_topics(bow, minimum_probability0.0) vec np.zeros(num_topics) for topic_id, prob in topics: vec[topic_id] prob return vec X np.array([doc_to_topic_vector(lda_final, bow, 15) for bow in corpus]) print(特征矩阵形状:, X.shape)这个矩阵的每一行是一篇论文每一列是一个主题。如果 K15那每篇论文就被压缩成 15 维向量。相比 TF-IDF 的几千维这个维度低得多后续用逻辑回归或者 SVM 分类都很快。代价是信息有损如果两个科室在主题分布上很接近分类器可能分不开这时候要考虑增大 K 或者换用 TF-IDF 拼接。3.3 接一个分类器逻辑回归做科室预测的最小闭环有了主题分布特征接一个逻辑回归就能跑通分类闭环。标签可以用论文的科室字段如果没有现成标签可以先用 LDA 主题做聚类再人工给每个簇打一个科室名。这里假设已经有标签演示训练和评估流程。from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report # y 是科室标签假设已经编码成 0 到 n-1 y np.random.randint(0, 5, sizeX.shape[0]) # 这里用随机标签演示实际替换成真实标签 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) clf LogisticRegression(max_iter1000, multi_classmultinomial) clf.fit(X_train, y_train) y_pred clf.predict(X_test) print(classification_report(y_test, y_pred))multi_classmultinomial表示多分类用 softmax比 one-vs-rest 更适合主题分布这种归一化特征。max_iter1000防止不收敛。如果分类报告里某些科室的 recall 很低回去看 LDA 的主题词大概率是那个科室的主题和别的科室混在一起了需要增加 K 或者补充该科室的特征词。4. 避坑与排查LDA 医学论文分类的五个血泪教训4.1 现象所有文档都被分到同一个主题原因通常是停用词没清干净或者no_above设得太高导致词袋里全是高频无区分度词。解决方法是重新跑词频统计把出现在 90% 以上文档里的词全部加进停用词表同时把no_above降到 0.4 再试。4.2 现象主题词里出现大量人名和机构名医学论文摘要里经常有作者单位和基金名称这些词对分类没用。原因是没有做命名实体过滤。解决方法是加一个规则把包含「大学」「医院」「基金」「项目」的词过滤掉或者用 jieba 的词性标注把 nr人名、nt机构名去掉。4.3 现象每次跑出来的主题词顺序不一样原因是random_state没固定或者passes太少导致模型没收敛。解决方法是固定random_state42把passes提到 20 以上并且跑三次不同种子对比主题词如果差异大就继续加passes。4.4 现象分类器准确率卡在 60% 上不去原因可能是主题分布特征太粗丢失了关键词信息。解决方法是把 LDA 主题向量和 TF-IDF 向量拼接用scipy.sparse.hstack组合再送进分类器。另一个原因是 K 选得太小科室之间的区分度不够可以尝试把 K 增大到 30 再跑一遍。4.5 现象pyLDAvis 打开后气泡全部叠在一起原因是 K 太大主题之间高度相似。解决方法是减小 K或者检查是不是有重复文档没去重。医学论文摘要里经常有同一篇论文的中英文版本如果不去重LDA 会认为它们是同一主题的不同样本导致主题重叠。5. 进阶技巧用主题一致性做模型选择而不是只看困惑度困惑度这个指标在 LDA 里经常被误用。它衡量的是模型对未见文档的预测能力但困惑度低的模型不一定主题可解释。我现在的习惯是先跑 K 的网格算c_v一致性取一致性最高的前三个 K再分别用 pyLDAvis 看主题词人工选一个最好的。一致性分数在 gensim 里用CoherenceModel算coherencec_v是最常用的一种它基于滑动窗口计算词共现比u_mass更接近人的判断。from gensim.models import CoherenceModel def find_best_k(corpus, dictionary, tokenized, k_range): results [] for k in k_range: model LdaModel(corpuscorpus, id2worddictionary, num_topicsk, random_state42, passes10, iterations100) cm CoherenceModel(modelmodel, textstokenized, dictionarydictionary, coherencec_v) results.append((k, cm.get_coherence())) results.sort(keylambda x: x[1], reverseTrue) return results # 在 10 到 40 之间找最佳 K best find_best_k(corpus, dictionary, tokenized, range(10, 41, 5)) print(一致性排名:, best)这段代码会返回按一致性从高到低排序的 K 列表。我一般会取前两名分别训练完整模型导出主题词表然后花半小时人工读一遍。哪个 K 的主题词更像人话就用哪个。这个过程没有捷径但比盲目相信困惑度靠谱得多。还有一个技巧是给主题打标签。LDA 输出的主题词是散乱的可以用show_topic拿到前 20 个词然后人工给每个主题起一个科室名比如「主题 3肿瘤标志物与靶向治疗」。这个标签表可以存成 CSV后续分类器预测出主题分布后直接映射到科室名给非技术同事看的时候非常直观。import pandas as pd topic_labels {} for topic_id in range(15): words [w for w, _ in lda_final.show_topic(topic_id, topn20)] topic_labels[topic_id] .join(words) df pd.DataFrame(list(topic_labels.items()), columns[topic_id, top_words]) df.to_csv(topic_labels.csv, indexFalse, encodingutf-8-sig) print(df.head())最后说一个我自己的习惯每次跑完 LDA我都会把主题词表和 pyLDAvis 的 HTML 一起存档文件名带上日期和 K 值。因为医学论文的语料会更新半年后重新跑主题词可能漂移有历史存档才能对比。这个习惯帮我省过好几次「上次那个 K 到底是多少」的后悔药。希望帮到你。本文还有配套的精品资源点击获取
