🏥 AI 守护者

📘 技术原理与算法设计

1. 系统工作流程

2. 软件基础信息

3. 核心算法说明

① 眼部反应 (E) — EAR 眼纵横比算法

使用 MediaPipe FaceMesh 定位面部 468 个关键点,左右眼各取 6 个关键点(p1~p6), 计算眼纵横比 EAR(Eye Aspect Ratio):

EAR = (‖p2-p6‖ + ‖p3-p5‖) / (2 × ‖p1-p4‖)

左眼关键点: [33, 160, 158, 133, 153, 144]
右眼关键点: [263, 387, 385, 362, 380, 373]

睁眼时 EAR ≈ 0.30;闭眼时 EAR → 0.10
判定规则: EAR < 0.20 = 闭眼  |  EAR > 0.25 = 睁眼

系统按 三阶段临床协议自动评估:阶段1 观察自主睁眼(5s)→ 阶段2 呼唤患者姓名(5s)→ 阶段3 捏锁骨施加疼痛(5s)。 滑动窗口(15 帧)内睁眼比例 ≥ 25% 且持续 ≥ 2s 即判定为睁眼反应,按出现阶段给出 E4 / E3 / E2,全程未睁眼为 E1。

② 运动反应 (M) — 姿态关键点 + 关节角度/位移分析

使用 MediaPipe Pose 检测 33 个身体姿态关键点(置信度阈值 ≥ 0.5),计算肘关节角度(肩-肘-腕三点) 与膝关节角度(髋-膝-踝三点),并跟踪手腕关键点位移与方向:

肘角 = angle(shoulder, elbow, wrist)    膝角 = angle(hip, knee, ankle)
位移量 mTotal = Σ 每帧手腕关键点移动距离(归一化)
位移方向: 朝向痛源(toward) / 远离痛源(away)

两阶段协议:
  阶段1(8s)指令"请举手" → 手腕高于肩部占比 > 25%  → M6 遵嘱动作
  阶段2(8s)疼痛刺激     → 位移 + 方向 + 角度分析
    · 位移 > 0.4 且朝向痛源占比 > 50%   → M5 疼痛定位
    · 位移 > 0.4 且非朝向             → M4 疼痛躲避
    · 平均肘角 < 95°(屈曲)          → M3 去皮质强直
    · 平均肘角 > 140°(伸展)          → M2 去大脑强直
    · 位移 < 0.05                    → M1 无反应

③ 语言反应 (V) — Whisper 语音转写 + 关键词匹配

浏览器 MediaRecorder 录制 5s 音频(WebM)→ 服务端统一重采样为 16kHz 单声道, 噪声门 -30dB 滤除静音段 → Whisper(base) 模型转写为文本(自动检测中/英文)→ 通过定向关键词 / 混乱指示词匹配与语义分析评分:

定向词(zh): 今天 / 医院 / 名字 / 时间 / 年 / 月 / 我叫 / 知道 / 医生 ...
混乱词(zh): 我在哪 / 怎么回事 / 不知道 / 记不得 / 你是谁 / 这是什么 ...

  · 回答正确定向问题              → V5 定向准确
  · 能说话但回答错乱              → V4 混乱
  · 有词语但不成句(≤3字)          → V3 言语不当
  · 仅有呻吟声,无有效词语          → V2 仅能发声
  · 完全无声音                   → V1 无反应

④ 评分融合与严重度分级

三通道独立完成评分后,前端实时汇总:GCS 总分 = E + M + V(3 ~ 15 分)。 总分映射到严重度分级,作为临床处置参考:

4. 软件系统设计

1. 前后端分离:浏览器逐帧采集图像 → Base64 编码 → POST /api/eye/analyze、/api/motor/analyze;录音 → FormData → POST /api/verbal/record;服务端返回标注帧(JPEG)+ JSON 指标,前端 canvas 实时绘制。
2. 模块化架构:web_server.py(Flask 入口)+ modules/{upload, vision, audio, scoring, report} 五层解耦 —— 视觉分析、语音识别、评分逻辑、报告生成互不依赖,可独立替换。
3. 模型懒加载:FaceMesh / Pose / Whisper 等模型在首次调用时才加载(单例缓存),空闲时零内存占用,服务启动即就绪。
4. 三阶段协议前端驱动:阶段步进条 + TTS 语音提示(Web Speech API)自动引导操作者,阶段计时与判定在浏览器端实时完成,交互延迟低。
5. 生产部署:gunicorn 3 workers + systemd 守护 + nginx HTTPS 反向代理(路径 /gcs/),模型与上传数据落盘 data/{uploads, results, history}。

5. 参数配置

5.1 核心算法参数(config/settings.py)

5.2 GCS 评分标准(格拉斯哥昏迷量表)