医疗NER+知识图谱的医生语义推荐系统实战

简介本资源是一套高分98分毕业设计级医生推荐系统实现方案面向计算机及相关专业本科生毕设、课程设计与项目实战学习者聚焦医疗知识图谱构建与个性化医生推荐两大核心问题。系统融合BERT预训练模型、BiLSTM序列建模与CRF条件随机场完成疾病-症状-医生等实体识别与关系抽取并基于图谱实现语义驱动的精准推荐具备完整工程闭环。压缩包共114个文件含37个Python源码覆盖数据预处理、模型训练、图谱构建、Web接口等模块、18个XML配置与爬虫定义文件、10个JSON格式知识图谱数据及中间结果、8个PNG图表与界面截图整体40.42MB结构清晰、模块解耦度高。已有115人学习下载提供可直接运行的全量代码、详细文档说明、多维度CSV数据集如disease_gaoxueya.csv、doctors_gaoxueya.csv等及调试通过的环境配置显著降低毕设复现门槛与排错成本。1. 这不是个“医生黄页”而是一个能理解“高血压患者该找哪类医生”的语义推荐黑匣子你输入“我妈62岁有高血压、轻度肾功能不全最近头晕得厉害”系统不查拼音首字母、不按科室列表硬匹配而是先拆解出「患者年龄」「基础病高血压肾功能不全」「新发症状头晕」再结合知识图谱里「高血压→易引发脑供血不足→头晕是预警信号」「肾功能不全→慎用ACEI类降压药→需心肾共管医生」这些隐含逻辑最终推荐出3位1位擅长老年高血压合并肾病的主任医师、1位做动态血压联合肾小球滤过率评估的副主任、1位主攻头晕鉴别诊断的神经内科专家——这才是本项目真正跑通的闭环。它不是简单用关键词检索医生简历而是用BERT理解病情描述、用BiLSTMCRF精准抽取医学实体如“轻度肾功能不全”必须整体识别不能拆成“轻度”“肾”“功能”“不全”、再靠知识图谱把疾病、症状、药物、医生专长连成网让推荐有临床依据可追溯。适合正在啃毕设、卡在“NLP怎么落地到医疗场景”这一关的同学也适合想拿一个能讲清技术链路、答辩时能现场演示推理过程的课程设计——毕竟98分不是刷出来的是模型输出每一步都能被你拽出来debug的。2. 项目结构与技术栈三层嵌套架构从数据清洗到图谱查询全链路可见这个项目表面看是“医生推荐”实际是NLP知识图谱业务规则的三明治结构底层是原始医疗文本的结构化BiLSTMCRF干这事中层是实体关系建模Neo4j存图SPARQL查图上层是推荐策略编排Python服务胶水。所有模块都放在一个扁平目录下没有微服务拆分但模块边界清晰——这对毕设非常友好你能一眼看清数据怎么进、特征怎么提、图怎么建、结果怎么出。2.1 目录结构解析5个核心文件夹3类关键配置项目解压后根目录下是典型的PyTorchNLP项目布局├── data/ # 原始数据与预处理后数据 │ ├── raw/ # 原始CSVdisease_gaoxueya.csv, doctors_gaoxueya.csv等 │ └── processed/ # 清洗后数据train_data.json, dev_data.json, entity2id.json ├── models/ # 模型定义与训练脚本 │ ├── bert_bilstm_crf.py # 核心模型BERTEmbedding BiLSTM CRFHead │ ├── train.py # 训练入口加载数据、定义优化器、跑epoch │ └── inference.py # 推理脚本加载训练好的model.bin接收文本返回实体列表 ├── kg/ # 知识图谱构建与查询 │ ├── build_kg.py # 从processed/下的json生成Neo4j Cypher语句 │ ├── neo4j_config.py # Neo4j连接参数host/port/user/pwd默认localhost:7687 │ └── query_engine.py # 封装图查询get_doctors_by_disease(), get_related_symptoms() ├── app/ # Web服务层Flask轻量级API │ ├── main.py # Flask入口/recommend接口接收JSON调用kg.query_engine │ └── templates/ # 简单HTML页面非重点可删 └── requirements.txt # 关键依赖torch1.13.1, transformers4.26.1, py2neo2021.2.3提示data/raw/里的gaoxueya-30992.csv是高血压相关问诊记录3万条doctors_gaoxueya.csv是医生档案姓名、职称、科室、专长描述字段这两个是整个系统的燃料。别急着跑代码——先打开doctors_gaoxueya.csv看一眼“专长描述”列你会发现全是“擅长高血压、冠心病诊治”这类自由文本这正是BiLSTMCRF要啃的硬骨头。2.2 技术选型深挖为什么是BERTBiLSTMCRF而不是纯BERT或LLM很多同学看到“BERT”就直接上HuggingFace AutoModelForTokenClassification结果在医疗实体识别上F1掉到72%。本项目坚持用“BERTBiLSTMCRF”老组合是有血泪经验的BERT负责语义编码用bert-base-chinese做词向量初始化解决“肾功能不全”和“肾衰竭”语义相近但字面不同的问题BiLSTM捕获序列依赖医疗文本中“继发性”“原发性”“难治性”这类前缀必须和后面疾病绑定“高血压”单独出现是病名“难治性高血压”才是完整实体BiLSTM的隐藏状态能记住这种长程依赖CRF层强制标签约束防止模型输出“B-Disease, I-Disease, B-Symptom”这种非法序列症状不能紧跟疾病后CRF的转移矩阵学到了“B-Disease后大概率接I-Disease极少接B-Symptom”的领域规律。# models/bert_bilstm_crf.py 关键片段 class BertBiLstmCrf(nn.Module): def __init__(self, num_tags, dropout0.5): super().__init__() self.bert BertModel.from_pretrained(bert-base-chinese) # 中文BERT self.lstm nn.LSTM( input_size768, # BERT输出维度 hidden_size256, # LSTM隐藏层大小实验调优值 num_layers1, batch_firstTrue, bidirectionalTrue ) self.dropout nn.Dropout(dropout) self.hidden2tag nn.Linear(512, num_tags) # 双向LSTM输出拼接为512 self.crf CRF(num_tags, batch_firstTrue) # CRF层num_tags9B/I-Disease/Symptom/Drug等 def forward(self, input_ids, tagsNone): outputs self.bert(input_ids) # [batch, seq_len, 768] sequence_output outputs.last_hidden_state lstm_out, _ self.lstm(sequence_output) # [batch, seq_len, 512] emissions self.hidden2tag(self.dropout(lstm_out)) # [batch, seq_len, num_tags] if tags is not None: loss -self.crf(emissions, tags, reductionmean) return loss else: decoded self.crf.decode(emissions) # 返回Viterbi最优路径 return decoded这段代码里最值得抄作业的是hidden_size256和num_layers1——不是越大越好。我试过hidden_size512训练loss下降慢验证集F1反而低0.8%因为医疗文本序列短平均50字过大的LSTM容易过拟合。num_layers1也是实测结果加到2层后GPU显存爆了且没带来指标提升。2.3 知识图谱构建逻辑从CSV到Neo4j的3步映射图谱不是凭空画的它严格对应data/processed/里的三个JSON文件entity2id.json{ 高血压: 101, 头晕: 102, 张伟: 201 } —— 所有实体ID化relation2id.json{ 导致: 1, 治疗: 2, 擅长: 3 } —— 关系类型编码triples.json[ [101, 1, 102], [201, 3, 101] ] —— (头实体ID, 关系ID, 尾实体ID)kg/build_kg.py就是把这些三元组转成Cypher语句# kg/build_kg.py 片段 def generate_cypher_triples(triples, entity2id, relation2id): cypher_list [] for h_id, r_id, t_id in triples: h_name get_entity_name_by_id(h_id, entity2id) # 通过ID反查原始名称 t_name get_entity_name_by_id(t_id, entity2id) r_name get_relation_name_by_id(r_id, relation2id) # 生成节点如果不存在 cypher_list.append(fMERGE (h:Entity {{name: {h_name}}})) cypher_list.append(fMERGE (t:Entity {{name: {t_name}}})) # 生成关系 cypher_list.append(fMERGE (h)-[:{r_name}]-(t)) return cypher_list # 输出示例 # MERGE (h:Entity {name: 高血压}) # MERGE (t:Entity {name: 头晕}) # MERGE (h)-[:导致]-(t)注意这里用MERGE而非CREATE——避免重复插入相同节点。kg/query_engine.py里的get_doctors_by_disease(disease_name)方法本质就是执行MATCH (d:Entity {name: 高血压})-[:擅长]-(doc:Entity) RETURN doc.name, doc.title, doc.department所以你改推荐逻辑根本不用碰模型只改Cypher查询就行。3. 环境搭建与运行从pip install到localhost:5000可演示别跳过这步我见过太多人卡在环境上最后以为是代码bug。本项目对CUDA版本、PyTorch编译器有隐式要求必须按顺序来。3.1 依赖安装用conda创建干净环境避开pip地狱项目没提供environment.yml但requirements.txt里藏着坑py2neo2021.2.3要求neo4j-driver5.0.0而新版neo4j包会冲突。正确姿势是# 1. 创建Python3.8环境项目实测兼容性最好 conda create -n medrec python3.8 conda activate medrec # 2. 先装PyTorch指定CUDA版本本项目用11.3 pip install torch1.13.1cu113 torchvision0.14.1cu113 -f https://download.pytorch.org/whl/torch_stable.html # 3. 再装其他依赖顺序不能错 pip install transformers4.26.1 # 必须4.26.14.27会报BERTTokenizerV2错误 pip install py2neo2021.2.3 pip install flask scikit-learn pandas numpy # 4. 验证关键组件 python -c import torch; print(torch.__version__, torch.cuda.is_available()) # 应输出 1.13.1 True python -c from transformers import BertTokenizer; t BertTokenizer.from_pretrained(bert-base-chinese); print(len(t)) # 应输出21128注意如果你用M1/M2 Mactorch1.13.1cpu即可但py2neo要降级到2020.0.0否则连接Neo4j失败。这是Mac用户专属玄学别硬扛。3.2 Neo4j本地启动用Docker一行命令搞定项目文档没写Neo4j怎么装但kg/neo4j_config.py默认连localhost:7687。别去官网下安装包——用Docker最稳# 拉取官方Neo4j镜像社区版足够用 docker run \ --name neo4j-medrec \ -p 7474:7474 -p 7687:7687 \ -d \ -v $PWD/data/neo4j/data:/data \ -v $PWD/data/neo4j/logs:/logs \ -e NEO4J_AUTHneo4j/medrec123 \ neo4j:5.16.0启动后访问http://localhost:7474输入用户名neo4j密码medrec123就能看到Neo4j Browser。首次登录会提示改密码务必记住新密码并同步改kg/neo4j_config.py里的password字段——这是后续所有图查询失败的头号原因。3.3 数据预处理3个脚本串联生成模型可读的JSON原始CSV不能直接喂给模型必须走清洗流水线。项目提供了preprocess.py虽未列在目录但在models/同级执行顺序固定# 1. 清洗原始CSV统一格式修复乱码、去重、标准化字段名 python preprocess.py --raw_dir data/raw/ --output_dir data/processed/ # 2. 构建实体ID映射生成entity2id.json python build_vocab.py --data_dir data/processed/ --output_dir data/processed/ # 3. 生成三元组从医生专长文本中抽医生-擅长-疾病关系 python extract_relations.py --doctor_file data/processed/doctors.json --disease_file data/processed/diseases.json --output_file data/processed/triples.jsonextract_relations.py是关键它用正则匹配医生描述里的“擅长.?高血压”“专治.?糖尿病”再调用models/inference.py对匹配到的句子做细粒度NER确保“继发性醛固酮增多症”这种长病名不被切碎。如果你要扩展到糖尿病科室只需改这个脚本里的正则模式。3.4 模型训练与推理从零开始跑通一个完整周期训练不是一键python train.py就完事。本项目做了早停early stopping和学习率预热warmup参数都在train.py顶部# models/train.py 参数区别手改 args { max_len: 128, # 输入最大长度超长文本会被截断 batch_size: 16, # 显存够就调到24但别超32OOM警告 epochs: 30, # 实测25轮就收敛30轮是保险值 lr: 3e-5, # BERT层学习率必须小 crf_lr: 1e-2, # CRF层学习率可稍大 warmup_ratio: 0.1, # 前10% step线性增大学习率 patience: 5 # 验证loss连续5轮不降就停 }训练命令cd models/ python train.py --data_dir ../data/processed/ --model_dir ../models/saved_model/ --log_dir ../logs/训练完会在../models/saved_model/下生成pytorch_model.bin和config.json。验证是否成功python inference.py --model_path ../models/saved_model/ --text 患者女65岁高血压病史10年近期出现视物模糊 # 正确输出应类似[(高血压, Disease), (视物模糊, Symptom)]4. 避坑指南那些让我重启3次、重装5遍才搞懂的致命细节这章不讲理论只列真实翻车现场。每个坑我都踩过且附带ls -la级别的定位方法。4.1 现象训练时GPU显存爆满CUDA out of memory但nvidia-smi显示显存只用了60%原因batch_size16在你的显卡上太大。本项目默认按RTX 309024G调参而你可能用RTX 306012G或笔记本30504G。更隐蔽的是max_len128导致padding过多——实际文本平均50字但模型给每条都补到128浪费显存。解决先用python -c from transformers import BertTokenizer; tBertTokenizer.from_pretrained(bert-base-chinese); print(t.convert_tokens_to_string([[PAD]]*128))确认padding字符改train.py里max_len64batch_size8在DataLoader里加collate_fn动态padding项目没提供但你可以在dataset.py里加def collate_fn(batch): max_len max([len(x[0]) for x in batch]) # 动态取batch内最大长度 input_ids [x[0] [0]*(max_len-len(x[0])) for x in batch] tags [x[1] [-1]*(max_len-len(x[1])) for x in batch] # -1是CRF忽略标签 return torch.tensor(input_ids), torch.tensor(tags)4.2 现象python app/main.py启动后访问http://localhost:5000/recommend返回500错误日志报ConnectionRefusedError: [Errno 111] Connection refused原因Neo4j没启动或kg/neo4j_config.py里的端口/密码和Docker容器不一致。ConnectionRefusedError明确指向网络层不是代码逻辑错。解决docker ps | grep neo4j确认容器在运行docker logs neo4j-medrec 21 | tail -20看Neo4j启动日志确认最后一行是Started.cat kg/neo4j_config.py检查host,port,user,password是否和docker run命令里的一致终极验证curl -X GET http://localhost:7474/db/data/ -H Accept: application/json返回JSON说明Neo4j通了。4.3 现象模型能识别出“高血压”但图谱查询返回空列表get_doctors_by_disease(高血压)结果为[]原因triples.json里没有(高血压, 擅长, 医生)三元组。根源在extract_relations.py——它只从doctors_gaoxueya.csv的“专长描述”列抽关系但该CSV里很多医生写的是“心血管内科专家”没提“高血压”。图谱缺边推荐就断链。解决打开data/raw/doctors_gaoxueya.csv用grep -i 高血压 *.csv确认数据存在检查extract_relations.py的正则模式当前是r擅长.*?(高血压|糖尿病)但医生写的是“主攻高血压防治”需改成r(擅长|主攻|专治|治疗).*?(高血压|糖尿病)重新跑python extract_relations.py然后python kg/build_kg.py重建图谱。4.4 现象前端页面显示“推荐医生无”但后端日志显示query_engine.py返回了3个医生原因app/main.py里/recommend接口的JSON响应格式和前端JS约定不一致。前端期望{doctors: [...]}但后端返回{result: [...]}JS解析时报undefined。解决查app/templates/index.html里AJAX请求的success回调看它读哪个key改app/main.py第45行return jsonify({doctors: doctors})→return jsonify({result: doctors})或反之更稳妥做法在app/main.py加日志app.logger.info(fReturning {len(doctors)} doctors)确认数据确实传出去了。5. 核心模块代码逐行剖析从一句病情描述到三位医生的完整链路现在我们把我妈62岁有高血压、轻度肾功能不全最近头晕得厉害这句话从输入到输出三位医生拆解成可调试的每一步。这不是demo是你答辩时能指着屏幕说“这里就是模型在思考”的证据链。5.1 文本预处理BERT Tokenizer如何把中文切分成子词输入文本先过BertTokenizer这步决定模型“看到”什么from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese) text 我妈62岁有高血压、轻度肾功能不全最近头晕得厉害 tokens tokenizer.tokenize(text) print(tokens) # 输出[我, 妈, 62, 岁, , 有, 高, 血, 压, 、, 轻, 度, 肾, 功, 能, 不, 全, , 最, 近, 头, 晕, 得, 厉, 害]注意高血压被拆成[高,血,压]肾功能不全被拆成[肾,功,能,不,全]。BERT的子词切分WordPiece对中文不友好但项目用BiLSTMCRF弥补了这点——LSTM能把[高,血,压]的隐藏状态聚合CRF再把它标为一个B-Disease。如果你要提升长病名识别率可以换bert-base-chinese为hfl/chinese-roberta-wwm-ext已集成在transformers里它对中文子词更友好。5.2 NER模型推理BiLSTMCRF如何输出结构化实体inference.py加载模型后对token ids做前向传播# models/inference.py 关键逻辑 def predict(text, model, tokenizer, id2label): inputs tokenizer(text, return_tensorspt, paddingTrue, truncationTrue, max_length128) input_ids inputs[input_ids] with torch.no_grad(): emissions model(input_ids) # 调用forward()返回emissions张量 decoded model.crf.decode(emissions) # Viterbi解码 # decoded是list[list[int]]每个内层list是token的预测label id pred_labels [id2label[i] for i in decoded[0]] # 转成标签名 # 合并B-I标签为实体 entities [] for i, label in enumerate(pred_labels): if label.startswith(B-): ent_type label[2:] start i end i # 向后找所有I-ent_type while i1 len(pred_labels) and pred_labels[i1] fI-{ent_type}: i 1 end i ent_text tokenizer.convert_tokens_to_string(tokens[start:end1]) entities.append((ent_text.strip(), ent_type)) return entities # 对高血压、轻度肾功能不全的输出 # [(高血压, Disease), (轻度肾功能不全, Disease), (头晕, Symptom)]这里id2label来自data/processed/label2id.jsonlabel2id.json是训练时生成的。convert_tokens_to_string()会把[轻,度,肾,功,能,不,全]还原成“轻度肾功能不全”中间空格自动处理——这是HuggingFace tokenizer的贴心设计。5.3 图谱查询引擎如何把“高血压”映射到具体医生kg/query_engine.py的get_doctors_by_disease()方法本质是两步实体消歧高血压可能指疾病、药物复方利血平片旧称“降压药”、症状血压高但entity2id.json里只存了疾病义项的ID。所以先查entity2id.jsondisease_id entity2id.get(高血压) # 返回101Cypher查询用py2neo执行from py2neo import Graph graph Graph(**neo4j_config) # 连接Neo4j # 查询所有擅长该疾病的医生 query MATCH (d:Entity {name: $disease_name})-[:擅长]-(doc:Entity) RETURN doc.name AS name, doc.title AS title, doc.department AS department LIMIT 3 result graph.run(query, disease_name高血压).data() # 返回 [{name: 张伟, title: 主任医师, department: 心内科}, ...]注意LIMIT 3——这是推荐数量的硬编码。如果你想按医生职称排序主任副主任主治改Cypher为MATCH (d:Entity {name: $disease_name})-[:擅长]-(doc:Entity) RETURN doc.name, doc.title, doc.department ORDER BY CASE doc.title WHEN 主任医师 THEN 1 WHEN 副主任医师 THEN 2 ELSE 3 END LIMIT 35.4 推荐策略增强加入症状权重让“头晕”医生排在前面当前推荐只认“擅长高血压”但患者有“头晕”新症状应该优先推神经内科医生。项目预留了扩展点——app/main.py里/recommend接口调用query_engine后有一段注释掉的加权逻辑# app/main.py 第62行取消注释启用 # doctors apply_symptom_weight(doctors, symptoms) # symptoms来自NER结果 def apply_symptom_weight(doctors, symptoms): # 如果症状是头晕给神经内科医生0.5分 weighted [] for doc in doctors: score 1.0 if 头晕 in symptoms and 神经内科 in doc[department]: score 0.5 if 肾功能不全 in symptoms and 肾内科 in doc[department]: score 0.3 weighted.append({**doc, score: score}) return sorted(weighted, keylambda x: x[score], reverseTrue)这就是二次开发最该动的地方不改模型只改业务规则。你可以把symptoms列表传进去根据症状匹配科室动态加权。比训练新模型快10倍且可解释性强。6. 二次开发实战从“能跑”到“能打”的3个改造技巧毕业设计答辩不是秀代码行数是秀你能不能把系统变成自己的。我带过3届毕设学生最容易栽在“只会跑demo一问改造就懵”。下面这3个技巧是我从某高校实验室拿来的真·血泪经验每个都能让你在答辩时多拿5分。6.1 技巧一用Neo4j Browser可视化图谱让答辩老师一眼看懂你的知识库别只在代码里写MATCH把图谱画出来。Neo4j Browser支持:play movies这种彩蛋但对我们有用的是:schema和MATCH可视化启动Neo4j后访问http://localhost:7474在左上角搜索框输入:schema回车——它会生成节点类型和关系类型的图谱概览输入MATCH (n) RETURN n LIMIT 25点击右上角“Graph”按钮所有节点以力导向图展示输入MATCH (d:Entity)-[r]-(t:Entity) WHERE d.name CONTAINS 高血压 RETURN d,r,t你会看到“高血压”节点连出的所有关系导致头晕、治疗药物、擅长医生。提示答辩PPT里放这张图比写100行代码更有说服力。老师会问“你们的知识图谱有多大”你直接截图Neo4j Browser右下角的“Nodes: 1247, Relationships: 3562”——数字比形容词有力得多。6.2 技巧二替换BERT模型用领域微调版提升医疗实体识别准确率bert-base-chinese是通用模型在“醛固酮增多症”这种专业词上表现一般。但项目结构支持无缝替换——只要保持transformers接口一致# models/bert_bilstm_crf.py 第15行 # 原来self.bert BertModel.from_pretrained(bert-base-chinese) # 改为 from transformers import AutoModel self.bert AutoModel.from_pretrained(DMIS-Lab/biobert-v1.1-zh) # 中文生物医学BERTbiobert-v1.1-zh在CMU的CHIP2022医疗NER榜单上F1达89.2%比bert-base-chinese高6.5%。下载地址在HuggingFace Model Hub搜biobert-v1.1-zh下载后解压到models/biobert_zh/改路径即可。注意biobert的tokenizer和bert-base-chinese完全兼容不用改预处理代码。6.3 技巧三增加“推荐理由”字段让医生推荐可解释、可验证当前系统只返回医生列表但答辩时老师必问“为什么推荐这三位依据是什么”项目预留了reason字段但没实现。补上它只需两步在kg/query_engine.py的查询结果里加一条Cypher查路径# 查张伟医生为什么被推荐 path_query MATCH p((d:Entity {name: $disease})-[:擅长]-(doc:Entity {name: $doctor})-[:治疗]-(s:Entity)) WHERE s.name IN $symptoms RETURN nodes(p) AS path path_result graph.run(path_query, disease高血压, doctor张伟, symptoms[头晕]).data() reason 因擅长高血压且治疗头晕症状 if path_result else 因擅长高血压在app/main.py组装返回JSON时把reason塞进去return jsonify({ doctors: [ {name: 张伟, title: 主任医师, department: 心内科, reason: 因擅长高血压且治疗头晕症状}, ... ] })这样前端就能显示“推荐理由擅长高血压且治疗头晕症状”而不是冷冰冰的名字。从那以后我每次做医疗NLP项目都强制走一遍reason字段生成——它逼你把业务逻辑写清楚而不是藏在模型黑盒里。希望帮到你。本文还有配套的精品资源点击获取