眼底图像 AI 辅助诊断系统

研究背景

为什么要做眼底 AI 诊断？

🔍

眼底是"天然窗口"

视网膜血管是全身唯一可以无创直接观察的微血管床，能反映糖尿病、高血压、心血管等全身性疾病的早期变化。

⏱️

人工判读耗时且主观

眼底照片人工阅片耗时长、依赖专科医生、主观差异大，难以在基层医疗机构大规模推广。

❤️

心血管风险预测缺口

现有眼底 AI 多聚焦单病种诊断，缺乏将视网膜生物标志物与系统性心血管风险关联的完整闭环。

系统架构

端到端五阶段推理流水线

🖼️

RETFound 编码

ViT-Large 提取
1024 维特征向量

→

🗄️

向量相似检索

Qdrant 匹配
历史相似病例

→

🧠

9 路 GPU 并行

多维度疾病
分类与分级

→

P3b

📋

规则引擎

5 维 23 条规则
心血管风险评分

→

✍️

LLM 报告生成

本地大模型
结构化诊断报告

全流程平均响应时间 < 30 秒 | 支持双眼同时分析

核心模型

9 路专家模型组合推理

特征骨干

🏛️ RETFound ViT-Large

在 160 万张眼底照片上 MAE 预训练，迁移至多种下游任务。

1024 维 CLS Token 特征
支持彩色眼底 / OCT 两种模态
与 Qdrant 向量库对接实现相似病例检索

血管分析

🩸 AutoMorph

专注视网膜血管形态学定量分析。

动静脉比值 (AVR)、分形维数 (FD)
血管迂曲度、视盘-黄斑间距
VesselMap 分割可视化

疾病分类

🔭 VisionFM

医疗基础视觉模型，ODIR/DDR 多数据集微调。

8 类 ODIR 眼病概率输出
糖尿病视网膜病变 5 级分期
768 维嵌入用于 LAT 检索

DR 分级

🩺 CABNet

Class-Attention-based 糖网精细分级网络。

0–4 级 DR 精确分期
类激活图 (CAM) 可解释性热图
与 VisionFM 双路交叉验证

年龄/性别

🧬 EfficientNet-V2-S 多任务

从眼底图像推断生物学年龄与性别。

5 次 TTA 取均值，校准参数 α=0.9623
8 类 ODIR 眼病联合预测
FastAPI 独立微服务 (端口 8004)

报告生成

🤖 本地 LLM (Ollama)

本地大模型部署，数据不出院。

本地大模型部署
P5a：自然语言病历解析
P5b：结构化中文诊断报告生成

心血管风险

5 维度 · 23 条规则 · 心血管风险评分引擎

将眼底定量参数映射为可解释的心血管风险权重，每条规则均有对应文献证据支撑。

👤 基础人口学

年龄 > 55 岁、男性 LVM 偏倚校正
3 条规则

💊 临床指标

血压分级、糖化血红蛋白、ION/眼压
5 条规则

🩸 血管形态

AVR 降低、FD 减小、迂曲度、静脉扩张
7 条规则

🔬 DR 分期

Grade ≥ 3 升高 CV 风险 40%
4 条规则

🧪 复合因子

DR + 高血压协同、微血管密度降低
4 条规则

风险评分示例（高风险患者）

DR 分期权重+40%

AVR 降低+25%

血压 Grade II+20%

静脉扩张+15%

临床集成

飞书机器人 · 医院即时工作流

🤖 飞书智能助手

医生在飞书中发送眼底图像，即可触发全套 AI 分析流程，结果实时推送至消息卡片。

上传图片 → 自动识别眼侧（左/右）
文本输入患者信息 → LLM 自动结构化
分析完成 → 图文报告卡片推送
支持历史病例相似图检索
报告可一键导出 JSON / Markdown
自动写入飞书多维表格归档

👤

患者张某，65岁男性，糖尿病10年，请分析双眼眼底

🤖

✅ 已接收图像，正在分析中...
预计 25 秒完成

🤖

📊 分析完成
• DR 分级：重度 (Grade 3)
• AVR: 0.62 ↓ (正常 >0.67)
• 心血管风险：高风险
• 已写入多维表格 ✓

数据存储与呈现

结构化病例管理

每次分析结果自动写入病例台账，医生无需额外操作即可实现病例留档、统计筛选与团队共享。

🗂️ 眼底诊断记录表 — 结构化病例台账

📋 患者编号	👤 姓名	🕐 分析时间	👁️ 眼侧	🔬 DR 分级	🩸 AVR	🧬 视网膜年龄	❤️ 心血管风险	🔎 相似病例
`CJFH-2026-0041`	张某某	2026-04-15 09:32	双眼	Grade 3 重度	0.62 ↓	68 岁	高风险	5 例匹配
`CJFH-2026-0042`	李某	2026-04-15 10:14	右眼	Grade 2 中度	0.65 ↓	54 岁	中风险	3 例匹配
`CJFH-2026-0043`	王某某	2026-04-15 11:05	双眼	Grade 0 正常	0.71 ✓	47 岁	低风险	7 例匹配
`CJFH-2026-0044`	陈某	2026-04-16 08:50	左眼	Grade 3 重度	0.60 ↓	72 岁	高风险	4 例匹配
`CJFH-2026-0045`	赵某某	2026-04-16 14:22	双眼	Grade 1 轻度	0.66 ↓	61 岁	中风险	6 例匹配

⚡

自动写入

分析完成后自动写入病例台账，无需手动录入，零额外操作。

🔍

多维筛选

按心血管风险级别、DR 分期、AVR 范围、日期等维度实时过滤，快速定位高危患者。

📊

统计图表

多维表格内置图表视图，实时生成风险分布柱状图、AVR 趋势折线图等统计图表。

👥

团队协作

科室共享表格，医生、技师、管理员各有权限，评论审核全程留痕，方便多人协作。

🔗

关联记录

每行自动关联原始眼底图像、AI 分析 JSON、LLM 诊断报告，一键溯源。

📤

数据导出

支持导出 Excel / CSV，无缝对接科研数据分析工作流与 HIS 系统。