直接对着眼前这盒药提问。

这个系统覆盖了从药品导入、信息理解、服药提醒到实际场景下问答的整条链路：监护人负责录入和管理药品信息，老人通过大字界面、语音播报与 AR 交互，在真实环境中获得用药指导。

技术上，难的地方不是把 LLM 接进 App，而是在移动端有限算力、网络时延和隐私约束下，让模型理解“我现在指着的这盒药”。2023 年初多模态模型还不成熟，云端推理成本和延迟也高，所以我设计了一条端云协同的多模态推理管线。

设备端完成 OCR、手势追踪、目标定位和 AR 空间对齐，将相机画面、用户指向意图、药品文本信息与场景上下文压缩为结构化语义上下文，再将最小必要信息送入语言模型生成回答。

这样做的效果是：原本高带宽、不确定的原始画面，变成了结构清晰、延迟低、模型能直接用的上下文。比起直接上传视频流，传输和推理开销都小很多，也更适合医疗场景对隐私和响应速度的要求。