AIGlasses_for_navigation商业应用：连锁药店‘找药助手’功能二次开发案例

北海有座岛

369人浏览 · 2026-03-15 04:41:03

北海有座岛 · 2026-03-15 04:41:03 发布

AIGlasses_for_navigation商业应用：连锁药店‘找药助手’功能二次开发案例

1. 引言：当智能眼镜走进药店

想象一下，一位视力不佳的顾客走进一家大型连锁药店。货架林立，药品繁多，他需要找到一种特定的处方药。传统的做法是询问店员，但店员可能正忙，或者顾客因为隐私原因不愿开口。这时候，如果他戴着一副智能眼镜，只需轻声说一句：“帮我找一下阿司匹林”，眼镜就会实时引导他走向正确的货架，并精准定位药品位置——这就是我们为连锁药店开发的“找药助手”功能。

AIGlasses_for_navigation原本是一款面向视障人群的导航辅助设备，集成了AI视觉、语音交互和实时导航。但在实际商业场景中，我们发现它的核心能力——实时环境感知、物品识别和语音引导——在零售行业有着巨大的应用潜力。特别是连锁药店，面临着顾客找药难、店员服务压力大、高峰期效率低等痛点。

本文将分享我们如何基于AIGlasses_for_navigation进行二次开发，为某大型连锁药店打造专属的“找药助手”功能。这不是一个简单的功能移植，而是一次针对特定商业场景的深度定制，涉及模型训练、交互逻辑重构和系统集成等多个层面。

2. 项目背景与商业痛点

2.1 连锁药店的真实困境

在项目启动前，我们深入调研了多家连锁药店，发现了几个普遍存在的痛点：

顾客端痛点：

找药困难：大型药店药品品类多达数千种，非专业人士很难快速找到目标药品
隐私顾虑：部分顾客不愿公开询问敏感药品（如计生用品、精神类药物）
语言障碍：老年顾客或外地顾客可能存在沟通困难
效率低下：高峰期店员应接不暇，顾客等待时间过长

药店端痛点：

人力成本高：需要大量店员提供导购服务
培训成本高：新员工需要长时间熟悉药品位置
服务标准化难：不同店员的服务质量参差不齐
数据利用不足：无法统计哪些药品被频繁寻找，难以优化货架布局

2.2 为什么选择AIGlasses_for_navigation？

AIGlasses_for_navigation的原始版本已经具备了多项核心技术能力：

实时视觉识别：基于YOLO系列模型，能够实时检测和分割环境中的物体
多模态交互：支持语音输入和语音输出，实现自然的人机对话
导航引导：具备空间感知和路径规划能力
可穿戴设计：解放双手，适合移动场景使用

这些能力与药店“找药”场景的需求高度匹配。我们只需要在原有基础上进行针对性的二次开发，就能快速打造出实用的商业解决方案。

3. 技术方案设计

3.1 整体架构

“找药助手”功能在原有系统架构上进行了扩展：

原始AIGlasses_for_navigation系统
    ├── 盲道导航模块（保留）
    ├── 过马路辅助模块（保留）
    ├── 通用物品识别模块（增强）
    └── 语音交互模块（增强）
        ↓
新增“找药助手”专用模块
    ├── 药品识别模型（新增）
    ├── 货架地图系统（新增）
    ├── 药品数据库接口（新增）
    └── 药店专用语音指令集（新增）

3.2 核心改造点

3.2.1 药品识别模型训练

原有的物品识别模型（shoppingbest5.pt）主要针对日常商品，对药品的识别精度不足。我们进行了以下改进：

数据收集与标注：

收集了合作药店的5000+张药品货架照片
标注了300+种常见药品（覆盖80%的日常销售品类）
针对药品包装特点（小尺寸、反光、文字密集）进行数据增强

模型训练：

# 基于YOLOv8进行迁移学习
from ultralytics import YOLO

# 加载预训练模型
model = YOLO('yolov8n.pt')

# 在药品数据集上微调
results = model.train(
    data='drug_detection.yaml',
    epochs=100,
    imgsz=640,
    batch=16,
    name='drug_detector'
)

# 导出为优化后的模型
model.export(format='onnx', simplify=True)

效果对比：

指标	原始模型	药品专用模型
mAP@0.5	0.65	0.92
小目标检测精度	0.58	0.87
推理速度 (FPS)	45	38
支持药品种类	50+	300+

3.2.2 货架地图系统

为了让系统知道“药品在哪里”，我们开发了货架地图系统：

地图创建流程：

药店工作人员使用专用APP扫描货架
系统自动生成货架3D坐标图
人工标注每个货格对应的药品信息
数据同步到云端和本地眼镜

地图数据结构：

{
  "store_id": "DRUGSTORE_001",
  "shelves": [
    {
      "shelf_id": "A01",
      "position": {"x": 1.2, "y": 0.5, "z": 1.8},
      "cells": [
        {
          "cell_id": "A01-01",
          "drug_id": "DRUG_001",
          "drug_name": "阿司匹林肠溶片",
          "brand": "拜耳",
          "spec": "100mg*30片",
          "stock": 15,
          "expiry_date": "2025-12-31"
        }
      ]
    }
  ],
  "last_updated": "2024-03-15"
}

3.2.3 语音指令系统优化

针对药店场景，我们优化了语音交互：

专用指令集：

找药模式 / 帮我找药 - 进入找药状态
找一下[药品名] - 搜索特定药品
这个药治什么病 - 查询药品功效
有什么副作用 - 查询注意事项
结束找药 - 退出找药模式

上下文理解增强：

class DrugSearchContext:
    def __init__(self):
        self.current_mode = None  # 当前模式：找药/查询/导航
        self.target_drug = None   # 目标药品
        self.last_position = None # 上次检测到的位置
        self.conversation_history = []  # 对话历史
        
    def process_voice_command(self, text):
        """处理语音指令，考虑上下文"""
        if "找药" in text or "帮我找" in text:
            self.current_mode = "search"
            drug_name = extract_drug_name(text)
            self.target_drug = drug_name
            return f"正在寻找{drug_name}，请跟随我的指引"
            
        elif "治什么" in text or "功效" in text:
            if self.target_drug:
                # 基于当前目标药品查询信息
                info = query_drug_info(self.target_drug)
                return f"{self.target_drug}主要用于{info['indication']}"

4. 实际应用流程

4.1 顾客使用体验

让我们跟随一位顾客的视角，看看“找药助手”如何工作：

步骤1：设备准备 顾客在药店服务台租借智能眼镜（已预装找药助手功能），店员简单介绍使用方法。

步骤2：语音激活 顾客戴上眼镜，说出唤醒词：“找药模式”。

步骤3：药品搜索 顾客：“帮我找一下布洛芬缓释胶囊。” 眼镜语音回复：“正在寻找布洛芬缓释胶囊，请向前直行。”

步骤4：实时引导

眼镜实时分析摄像头画面，识别货架和药品
检测到目标药品时，在视野中高亮显示
语音提示：“布洛芬在您右前方第三个货架，中间层，从左往右第五个位置。”
如果顾客走错方向，会提示：“方向偏左，请向右转。”

步骤5：信息查询 顾客拿起药品后询问：“这个药一天吃几次？” 眼镜识别药品包装，查询数据库后回答：“布洛芬缓释胶囊，成人一次1粒，一日2次，饭后服用。”

步骤6：结束服务 顾客：“结束找药。” 眼镜：“找药服务已结束，感谢使用。”

4.2 后台管理界面

药店管理人员可以通过Web界面管理整个系统：

药品管理面板：

实时查看各个药品的库存状态
统计药品被寻找频次
优化货架布局建议

用户数据分析：

高峰时段分析
热门药品排行
平均找药时间统计

系统监控：

# 查看找药助手服务状态
sudo systemctl status drug-assistant

# 查看实时日志
tail -f /var/log/drug-assistant/access.log

# 监控API调用情况
curl http://localhost:8081/api/stats/drug-search

5. 实施效果与数据

5.1 试点药店数据

我们在3家连锁药店进行了为期2个月的试点，收集了以下数据：

效率提升：

顾客平均找药时间从 8.5分钟 降低到 2.1分钟（降低75%）
店员导购压力减少 68%
高峰期顾客等待时间减少 52%

用户满意度：

94%的顾客表示“非常满意”或“满意”
87%的顾客愿意再次使用该服务
特别是老年顾客和隐私需求顾客满意度最高

运营成本：

单店每月节省人力成本约 ¥3,200
新员工培训时间缩短 40%
药品盘点效率提升 35%

5.2 技术性能指标

识别准确率：

药品识别准确率：96.3%
货架位置定位精度：±5cm
语音指令识别率：98.7%

系统稳定性：

平均无故障运行时间：720小时
单次服务平均响应时间：< 1.2秒
并发用户支持：单店最多支持10副眼镜同时使用

硬件要求：

眼镜端：ESP32-CAM + 麦克风模块
服务器端：4核CPU，8GB内存，GPU可选
网络要求：店内WiFi覆盖，带宽>50Mbps

6. 开发经验与挑战

6.1 遇到的技术挑战

挑战1：药品包装识别难度大 药品包装通常尺寸小、反光严重、文字密集，给视觉识别带来困难。

解决方案：

采用多尺度训练，专门增强小目标检测能力
增加反光、模糊等数据增强
引入OCR辅助识别药品名称

挑战2：货架环境复杂 药店货架药品密集，不同药品外观相似，容易误识别。

解决方案：

结合位置信息（货架地图）进行二次校验
使用多帧融合技术，提高识别稳定性
设置置信度阈值，低于阈值时提示人工确认

挑战3：实时性要求高 顾客在移动中需要实时引导，系统延迟必须控制在毫秒级。

解决方案：

# 优化推理流水线
class OptimizedPipeline:
    def __init__(self):
        # 模型量化，减少计算量
        self.detector = load_quantized_model('drug_detector_int8.onnx')
        # 异步处理，不阻塞主线程
        self.executor = ThreadPoolExecutor(max_workers=2)
        
    async def process_frame(self, frame):
        # 并行执行检测和跟踪
        det_task = asyncio.create_task(self.detect_drugs(frame))
        track_task = asyncio.create_task(self.track_position(frame))
        
        # 等待最快的结果先返回
        done, pending = await asyncio.wait(
            [det_task, track_task],
            return_when=asyncio.FIRST_COMPLETED
        )
        
        # 合并结果
        return await self.merge_results(done)