LTAI_L 机器视觉检测平台 —— 详细使用说明

本文档适用于 LTAI_L 机器视觉检测平台 V3.1.4 专业版，全面介绍软件功能、节点操作、实时检测、模型配置及典型应用场景。
软件安装教程请参考：【LTAI_L 机器视觉检测平台安装教程】

---

目录

1. 软件概述
2. 主界面布局
3. 算子库与节点操作
4. 流程编辑详解
5. 核心节点功能说明
6. 实时检测模式
7. 模型加载与参数配置
8. 结果统计与数据保存
9. 串口通信配置
10. 日志功能
11. 帮助文档系统
12. 快捷键列表
13. 典型应用案例
14. 文件目录与配置说明

---

1. 软件概述

LTAI_L 机器视觉检测平台是一款专业级工业视觉检测平台，基于可视化节点编程架构，用户无需编写代码即可通过拖拽节点、连接端口的方式构建完整的检测流水线。

1.1 核心功能

功能模块	详细说明
可视化流程编辑	67 个算子节点，六大类别，拖拽连线即可构建检测流程
深度学习推理	支持 .ltbin（高精度）和 .engine（TensorRT 加速）两种模型格式
多任务类型	目标检测、语义分割、图像分类、旋转框检测（OBB）、姿态估计（Pose）
多品牌相机支持	大华/华睿（GigE/USB3.0）、大恒、迈德威视三大品牌工业相机
三种触发模式	自由拉流、硬触发、软触发，适配不同产线节拍；低帧率自动切换软触发
实时检测优化	智能帧丢弃、GPU 显存回收、跳过不必要计算、图像显示缩放优化，确保低延迟稳定运行
GPU 内存管理	推理批次自动清理、周期性 GPU 缓存回收（每 500 帧）、CUDA 异常自动恢复与模型重载
结果筛选与判定	基于置信度、面积、尺寸、类别等条件过滤，输出 OK/NG
数据统计与导出	实时统计 OK/NG 次数、检出率，支持 CSV 报告导出
自动图像保存	分别设置自动保存 OK/NG 图像到 Results/ 目录
串口通信联动	检测结果自动打包为 LTSTxxxxxxxxLTED 格式发送至 PLC
灵活页面布局	1 / 1×2 / 2×2 / 2×3 / 3×3 五种分屏，最多 9 路同步，YAML 格式自动保存
节点复制粘贴	Ctrl+C / Ctrl+V 快速复用已配置节点
算子悬浮提示	鼠标悬停显示算子详细说明
图像显示交互	滚轮缩放、右键拖拽平移、实时坐标与 RGB 值跟踪
默认流程加载	设置默认检测方案，下次启动自动加载
安全授权验证	启动时自动完成主板序列号绑定的 ECDSA 数字签名授权验证

1.2 适用场景

• 缺陷检测：划痕、脏污、缺件、变形、裂纹等
• 尺寸测量：基于轮廓算法的精确几何量测
• 目标定位：OCR 字符识别、条码读取、特征点定位
• 图像分类：产品型号识别、良品/不良品分拣
• 旋转目标检测（OBB）：带角度目标的检测与定位
• 姿态估计（Pose）：人体/物体关键点检测与骨骼连线
• 级联检测：大图目标检测定位 → ROI 切图 → 小图精确分割的级联流水线
• 实时产线检测：与 PLC 联动，实现全自动在线检测

---

2. 主界面布局

软件主界面分为三大区域，采用水平分割布局：

2.1 左侧：算子库面板

元素	说明
搜索框	输入关键词过滤算子，快速定位目标节点
六大类别	输入节点、输出节点、数学运算、图像处理、轮廓处理、深度学习
算子列表	每个算子显示名称和端口信息 [输入; 输出]
悬浮提示	鼠标悬停约 1 秒后显示该算子的详细功能说明

2.2 中央：流程编辑画布

功能	操作方式
添加节点	双击算子库中的算子
连接节点	从输出端口拖拽到输入端口
移动节点	按住节点标题栏拖动
选择节点	单击选中单个，框选多个
复制粘贴	Ctrl+C 复制选中节点，Ctrl+V 粘贴到鼠标位置
删除节点/连线	选中后按 Delete 键

2.3 右侧：控制面板

检测控制

• 实时检测模式开关
• 软件锁定开关
• 全局启动/停止相机和检测
• 页面布局切换（1 / 1×2 / 2×2 / 2×3 / 3×3）
• 存储布局按钮（保存为 YAML 格式）
• 设备状态（相机、串口连接状态）
• 最新检测结果（OK/NG）和实时帧率

数据与保存

• 统计信息（总帧数、OK、NG、检出率）
• 导出统计报告（CSV）
• 清空统计
• 保存当前图像
• 自动保存 OK/NG 图像开关

日志

• 实时检测日志（带毫秒时间戳）
• 清空日志按钮

2.4 顶部菜单与工具栏

菜单/按钮	功能
文件	新建流程 / 打开流程 / 保存流程 / 流程另存为
帮助	使用说明（中英文切换）/ 算子库说明 / 关于
删除所有节点	一键清空画布（红色按钮）
删除选中节点	删除当前选中的节点或连线（红色按钮）
检测方案默认项	将当前流程设为默认，下次启动自动加载（绿色按钮）；若已是默认则显示「取消默认方案」

---

3. 算子库与节点操作

3.1 算子库总览

软件内置 67 个专业视觉处理算子，分为六大类别：

类别	数量	功能定位
输入节点	15	图像采集、数据生成、参数输入
输出节点	7	结果显示、数据输出、串口通信
数学运算	11	数值计算、逻辑判断、统计分析
图像处理	20	几何变换、滤波降噪、边缘检测、色彩处理、ROI 裁剪
轮廓处理	10	轮廓提取、筛选、测量、拟合
深度学习	4	模型推理、结果处理、可视化

3.2 搜索与过滤

在算子库顶部的搜索框中输入关键词，算子列表将实时过滤。例如：

• 输入「轮廓」→ 显示所有轮廓处理相关算子
• 输入「阈值」→ 显示「阈值分割」「自适应阈值」等算子
• 输入「检测」→ 显示「检测推理」「边缘检测」等算子

3.3 算子悬浮提示

将鼠标悬停在任意算子上约 1 秒，会弹出悬浮提示框，显示该算子的：

• 功能说明
• 输入端口定义及数据类型
• 输出端口定义及数据类型
• 配置参数说明
• 典型应用场景
  

---

4. 流程编辑详解

4.1 添加节点

方法一：双击算子库中的算子名称，节点自动出现在画布中央。

方法二：使用<ctrl + c><ctrl + v>将已有节点进行复制粘贴

4.2 连接节点

每个节点左侧为输入端口（接收数据），右侧为输出端口（发送数据）。

1. 鼠标移到输出端口上，光标变为十字。
2. 按住左键拖拽到目标节点的输入端口。
3. 释放鼠标，建立数据连接（显示为蓝色连线）。

连线规则：

• 一个输出端口可连接多个输入端口
• 一个输入端口只能接收一个连接
• 数据类型不匹配时无法建立连接

4.3 复制与粘贴节点

复制：选中一个或多个节点（框选或 Ctrl+单击多选），按 Ctrl+C。

粘贴：在画布空白处点击定位鼠标位置，按 Ctrl+V。粘贴的节点保留原有配置参数。

4.4 删除节点与连线

• 删除选中项：选中节点或连线，按 Delete 键。
• 删除节点时：自动删除与其相连的所有连线。
• 删除所有节点：点击工具栏「删除所有节点」按钮（红色）。

4.5 保存与打开流程

操作	快捷键	说明
新建流程	Ctrl+N	清空画布，会提示是否保存当前流程
打开流程	Ctrl+O	选择 .flow 文件，恢复所有节点和连线
保存流程	Ctrl+S	保存到当前文件
流程另存为	Ctrl+Shift+S	保存到新文件

流程文件（.flow）采用 JSON 格式存储，包含所有节点位置、配置参数和连线关系。

---

5. 核心节点功能说明

以下按类别详细介绍常用节点的配置方法和输入输出。

5.1 输入节点

开始检测

功能：检测流程的启停开关，控制数据流是否向后传递。
配置：点击「开始检测」按钮切换状态。
输出：图像数据（向下游传递）

相机

功能：连接工业相机，采集实时图像。支持华睿（Dahua API）、大恒（Dahen API）和迈德威视（Mind API）三品牌相机。
配置项：

• 搜索相机：扫描系统中可用的相机设备（自动枚举两个 SDK 的相机并去重）
• 相机下拉框：选择目标相机
• 连接/断开：建立或断开与相机的通信
• 触发模式：自由拉流 / 硬触发 / 软触发
• 自由拉流：相机持续输出图像，可设置帧率（0.01~120 fps）和曝光时间（1~1000000 μs）
• 硬触发：等待外部硬件信号触发
• 软触发：软件发送触发命令，单帧采集
• 帧率：仅自由拉流模式有效，小于 1 fps 时底层自动切换为软触发+定时器模式（低帧率保护）
• 曝光：相机曝光时间，单位微秒
• 设置：将帧率和曝光值写入相机
• 启动/停止：控制图像采集；软触发模式下按钮变为「软触发」

输出：图像数据（Image 类型）

加载图像 / 加载图像集

功能：从本地磁盘加载单张图像或批量加载文件夹内所有图像。
配置：点击「打开」选择文件或文件夹。支持 jpg、png、bmp、tiff、gif、webp 格式。
输出：单张图像 / 图像集

创建点 / 创建尺寸

功能：将两个数值组合为坐标点（x, y）或尺寸数据（width, height）。
输入：两个数值
输出：点坐标 / 尺寸数据

常量 / 数值输入 / 文本输入

功能：提供固定数值、可调节浮点数或自定义字符串。
配置：在节点内直接编辑数值或文本。

• 常量：π、e、φ（黄金分割比）、√2、√3
• 数值输入：范围 -1e6 ~ 1e6，最多 5 位小数
• 文本输入：单行文本编辑

输出：常量值 / 数值 / 字符串

数据生成器

功能：生成一个空的数据对象，可设定数据类型（Number、String、List、Size、Point、Image、Images、Contour、Contours、LTAIResults、LTAIFilter）。
配置：下拉选择数据类型。
输出：所选类型的空数据

创建图像

功能：创建一幅纯色图像，可指定尺寸和颜色（彩色/灰度）。
配置：图像类型下拉框 + 颜色选择按钮（弹出 QColorDialog）。
输入：可选 1 个尺寸（Size），不连接则默认 400×400
输出：图像

创建核

功能：生成形态学操作的核（kernel），可指定尺寸和形状（矩形/十字/椭圆）。
输入：可选 1 个尺寸（Size），不连接则默认 3×3
输出：核图像

5.2 输出节点

数值显示 / 数据显示

功能：在节点内显示数值或任意数据类型的值。
配置：可自定义显示名称。
输入：数值 / 任意数据

图像显示

功能：在节点内显示图像，支持丰富的交互操作。

交互：

• 滚轮缩放图像（以鼠标位置为中心缩放）
• 右键拖拽平移视图
• 显示鼠标位置 RGB 值和坐标
• 实时模式下自动禁用像素颜色读取以提升性能

输入：图像

图像集显示

功能：显示图像集，提供「上一张/下一张」按钮浏览全部图像。
输入：图像集

端口显示

功能：双端口输入，同时接收数值型和字符串型结果，给出最终判断（OK/NG）。
输入：1 个数值（Num）、1 个字符串（Str）
配置：可为数值和字符串分别自定义显示名称
输出：无（节点内部显示结果）
实时叠加：在实时检测模式下，端口显示的内容会叠加在图像左上角。

串口发送

功能：通过串口发送数据，自动打包为固定协议格式。
配置：

• 刷新：扫描可用串口列表
• 串口号：选择 COM 口
• 连接/断开：建立或关闭串口连接（波特率 9600，数据位 8，无校验，停止位 1）

输入：数值
输出协议：LTST + 8位零填充数字 + LTED
示例：

• 输入值 1 → 发送 LTST00000001LTED
• 输入值 0 → 发送 LTST00000000LTED

结果图

功能：保存检测结果图像，供实时检测界面获取并显示。
特点：

• 该节点本身无界面显示，仅作为数据存储节点
• 实时检测线程会自动查找并获取该节点中的图像用于显示
• 通常连接「结果绘制」节点的输出

输入：图像（绘制检测结果后的图像）

5.3 数学运算节点

节点	功能	输入	输出
符号变换	正负数转换、绝对值、负绝对值	数值	数值
精度修约	向上/向下/四舍五入/保留小数	数值	数值
取余取模	取余（%）和取模（//）运算	两个数值	数值
四则运算	加 / 减 / 乘 / 除	两个数值	结果数值
三角函数	sin / cos / tan / 反函数	数值	数值
幂运算	x 的 y 次幂	底数、指数	结果数值
自然对数	ln(x)	数值	数值
常用对数	log₁₀(x)	数值	数值
比较器	> / >= / == / <= / <，输出 1/0 和 OK/NG	两个数值	数值 + 字符串
列表统计	最大 / 最小 / 平均 / 总和	数值列表	数值
多路逻辑	与(&) / 或(|)，最多 10 路输入	最多 10 个数值	数值 + 字符串

5.4 图像处理节点

节点	主要参数	输入	输出
获取尺寸	无	图像	宽度、高度、通道数
缩放	目标宽高 或 fx/fy 缩放因子	图像	缩放后图像
旋转	角度(°)、填充/裁剪模式	图像 + 角度	旋转后图像
色彩空间	BGR↔Gray、BGR↔RGB、BGR↔HSV 等	图像	转换后图像
颜色范围	颜色下限、上限（每通道 0~255）	图像	掩膜图像
通道合并/分离	无	多个单通道 / 多通道图像	多通道 / 单通道图像
线性变换	对比度 alpha、亮度 beta	图像	调整后图像
伽马校正	Gamma 值（0.1~10）	图像	校正后图像
直方图均衡	全局 / CLAHE 自适应	图像	均衡后图像
加权叠加	权重 α、β、gamma	两幅图像	混合图像
阈值分割	OTSU / 固定 / 反二值化 / 取零等	图像	二值图
自适应阈值	均值/高斯、块大小、C 值	图像	二值图
滤波平滑	均值 / 中值 / 高斯 / 双边	图像	滤波后图像
边缘检测	Sobel / Scharr / Laplacian	图像	边缘图
Canny 边缘	双阈值、Sobel 核大小	图像	边缘图
形态学处理	腐蚀/膨胀/开/闭/顶帽/黑帽/梯度/击中不击中	图像 + 核	处理后图像
图像锐化	反高斯 / 拉普拉斯	图像	锐化后图像
极坐标变换	极坐标↔笛卡尔坐标	图像 + 中心点 + 半径	变换后图像
ROI 切图	矩形ROI / 圆形ROI / 深度ROI	图像 + 检测结果	图像或图像集

ROI 切图

功能：对输入图像进行感兴趣区域裁剪，支持三种切割模式，是级联检测流水线的关键节点。

三种切割模式：

模式	参数	说明
矩形 ROI	X, Y, W, H	以 (X, Y) 为左上角，裁剪 W×H 的矩形区域；参数自动限定在图像边界内
圆形 ROI	cX, cY, R	以 (cX, cY) 为圆心、R 为半径生成圆形蒙版，裁剪圆形外接矩形区域
深度 ROI	W, H	读取检测推理结果中每个缺陷框的中心坐标，以该中心为矩形中心，自动裁剪 W×H 尺寸的子图

输入端口：

• 端口 0：图像（单图模式）
• 端口 1：检测结果（仅深度 ROI 模式需要，来自「检测推理」节点）
• 端口 2：图像集（多图模式）

输出端口：根据切割模式和输入类型自动匹配输出类型（单张图像或图像集）

典型应用场景：大图目标检测快速定位 → ROI 切图裁剪缺陷小图 → 语义分割精确检测的级联流程

5.5 轮廓处理节点

节点	功能	输入	输出
查找轮廓	从二值图像提取轮廓	二值图	轮廓集 + 层次结构
轮廓筛选	按面积、长短边、层级过滤	轮廓集	过滤后轮廓集
轮廓近似	Douglas-Peucker 算法简化	轮廓集	近似轮廓集
凸包检测	计算轮廓凸包	轮廓集	凸包轮廓集
绘制轮廓	在原图绘制轮廓/外接矩形/最小外接矩形	图像 + 轮廓集	绘制后图像
按轮廓裁剪	根据轮廓边界矩形裁剪子图像，支持旋转到水平	图像 + 轮廓集	裁剪后图像集
轮廓平移	将轮廓移动到以边界矩形左上角为原点	轮廓集	平移后轮廓集
选择轮廓	按面积最大/最小或指定索引选择单个轮廓	轮廓集	单个轮廓
轮廓测量	测量轮廓与直线（P1-P2）交点间距离	轮廓 + 两点坐标	距离数值
拟合圆	对轮廓点进行圆拟合，支持离群点过滤	轮廓	圆心、距离列表

5.6 深度学习节点

加载参数

功能：加载 YAML 格式的过滤参数配置文件和骨骼参数配置文件，分别用于「结果筛选」和「结果绘制」节点中的姿态估计骨骼连线。
配置：

• 选择筛选参数：加载 .yaml 过滤配置文件（包含各缺陷类别的置信度、面积、长短边范围）
• 选择骨骼参数：加载 .yaml 骨骼配置文件（定义姿态估计中各关键点的连接关系）
• 各自的「清除」按钮
  输出：
• 端口 0：过滤参数数据（Filter）
• 端口 1：骨骼配置数据（Skeleton）

检测推理

功能：加载 .ltbin 或 .engine 模型，执行目标检测、语义分割、图像分类、旋转框检测（OBB）或姿态估计（Pose）推理。
配置项：

• 模型类型：高精度模型（.ltbin）/ 加速模型（.engine）
• 高精度模型：使用原生格式，精度优先
• 加速模型：使用 TensorRT 格式，速度优先，需 GPU 支持
• 任务类型：目标检测 / 语义分割 / 图像分类 / 旋转框检测（OBB）/ 姿态估计（Pose）
• 图像尺寸（imgsz）：推理时缩放尺寸，默认 640；对 .ltbin 模型会自动根据图像宽高比动态计算高度（32 像素对齐）
• 批次大小（batch_size）：GPU 批量推理分片大小，默认 4（8GB 显存推荐 2~4，更大显存可适当提高）
• 添加模型：选择模型文件（支持多模型融合，结果自动合并）
• 移除模型：从列表中移除模型

输入：图像（单张或图像集）
输出：

• 端口 0：检测结果数据（Results，包含任务类型、类别名、检测框、关键点、旋转矩形等）
• 端口 1：数值结果（1=OK，0=NG）
• 端口 2：字符串结果（“OK” / “NG”）
  高级特性：
• 独立推理线程，不阻塞主界面
• 结果缓存（按图像 ID），避免重复推理
• 推理时自动将输入图像缩放到模型所需尺寸
• 姿态估计输出关键点坐标
• OBB 输出带角度的旋转矩形
• 实时模式下自动帧丢弃：当推理线程繁忙时丢弃新帧，防止帧堆积导致卡死
• CUDA 错误自动恢复：检测到 GPU 内存异常时，自动停止推理线程、清理 GPU 缓存、重载模型并重启推理

结果筛选

功能：根据过滤参数筛选检测结果，输出 OK/NG 判定。
配置项：

• 默认结果：无检测结果时的输出标签
• 真值标签：判定为 OK 的类别名称
• 运算方式：&（所有结果满足条件才 OK）/ |（任一结果满足即 OK）
• 分类任务：可下拉选择默认结果标签和比较运算符（相同/不相同）
  输入：
• 端口 0：检测结果
• 端口 1：过滤参数
  输出：
• 端口 0：筛选后的检测结果
• 端口 1：OK=1 / NG=0（数值）
• 端口 2：“OK” / “NG”（字符串）
  分类任务：
• 自动从模型输出中提取类别名称列表
• 默认结果：下拉选择基准类别
• 真值标签：显示当前推理得到的类别
• 运算方式：「相同」/「不相同」
  • 「相同」：真值标签与默认结果一致时输出 OK
  • 「不相同」：真值标签与默认结果不一致时输出 OK
    输入：
• 端口 0：检测结果（LTAIResults）
• 端口 1：过滤参数（LTAIFilter）
  输出：
• 端口 0：筛选后的检测结果
• 端口 1：OK=1 / NG=0（数值）
• 端口 2：“OK” / “NG”（字符串）

结果绘制

功能：根据过滤参数筛选检测结果，输出 OK/NG 判定。
配置项：

• 默认结果：无检测结果时的输出标签
• 真值标签：判定为 OK 的类别名称
• 运算方式：&（所有结果满足条件才 OK）/ |（任一结果满足即 OK）
• 分类任务：可下拉选择默认结果标签和比较运算符（相同/不相同）
  输入：
• 端口 0：检测结果
• 端口 1：过滤参数
  输出：
• 端口 0：筛选后的检测结果
• 端口 1：OK=1 / NG=0（数值）
• 端口 2：“OK” / “NG”（字符串）

6. 实时检测模式

6.1 进入实时检测模式

点击右侧「检测控制」标签页中的 「开启实时检测模式」 按钮，软件执行以下操作：

1. 性能优化：
   • 禁用自动垃圾回收（GC），避免间歇性卡顿；改为每 100 帧手动触发一次 GC，每 500 帧额外清理 GPU 显存缓存
   • 释放 GPU 显存
   • 清理所有节点缓存
   • 跳过不必要计算（全局实时模式标志通知所有节点）
2. 界面切换：自动切换到「实时检测」标签页，禁用流程编辑画布
3. 分区生成：根据布局模式生成对应数量的独立显示分区
4. 数据联动：每个分区绑定对应的相机节点，实时显示图像和检测结果

退出实时检测模式：再次点击按钮（变为「关闭实时检测模式」），恢复流程编辑功能，重新启用 GC。

6.2 相机控制面板

每个相机分区包含以下控件：

控件	功能
分区标题	显示分区编号（分区 1、分区 2…）
相机下拉框	选择要绑定的相机（来自流程中的相机节点）
原图/结果图切换	切换显示原始图像或带检测结果的图像
启动/停止相机	控制相机拉流（软触发模式下变为「软触发」按钮）
开始/停止检测	启动/停止该分区关联的检测推理节点
图像显示区域	实时显示图像，支持滚轮缩放、右键平移
坐标标签	显示鼠标位置 X、Y 坐标和 RGB 值（实时模式下禁用）

6.3 全局控制

「检测控制」标签页顶部提供两个全局按钮：

• 全局启动/停止相机：一键控制所有已绑定相机的拉流
• 全局开始/停止检测：一键控制所有检测节点的启停

按钮文本会根据当前状态自动变化，避免重复点击产生冲突。

6.4 布局管理

实时检测标签页支持以下分屏布局：

布局	画面数	适用场景
1	1	单相机全屏检测
1×2	2	左右双相机对比
2×2	4	四相机同步检测
2×3	6	六相机监控
3×3	9	九相机全景监控

切换布局：点击布局按钮组中的对应按钮，分区会重新排列，已绑定的相机关系按索引保留。

存储布局：点击「存储布局」按钮，当前布局模式保存到 layout_config.yaml，下次启动自动恢复。

6.5 实时数据显示

在实时检测模式下，「端口显示」「数值显示」「数据显示」节点的内容会自动叠加显示在对应分区图像的左上角，便于实时监控。文字采用 PIL 高质量渲染，带黑色描边，绿色高亮，清晰可读。

6.6 图像显示交互

实时检测界面和图像显示节点均支持以下交互：

操作	功能
滚轮缩放	向上滚动放大图像，向下滚动缩小图像
右键拖拽	按住右键拖动平移图像视图
坐标跟踪	鼠标移动时显示当前像素坐标和 RGB 值（非实时模式）
自适应适配	图像尺寸变化时自动适配视图（用户手动缩放后保持当前比例）

6.7 帧率控制与异常恢复

实时检测模式下，软件采用以下机制确保长时间稳定运行：

机制	说明
智能帧丢弃	当推理线程处理速度跟不上相机采集帧率时，自动丢弃新帧，防止帧堆积导致内存溢出
周期性 GPU 缓存回收	每 500 帧自动清理 GPU 显存碎片，防止长期运行后显存耗尽
CUDA 异常自动恢复	检测到 GPU 错误时，自动停止推理线程、清理 GPU 缓存、重载模型并重启推理，无需人工干预
连续错误熔断	连续 3 次推理失败时，自动停止推理线程并触发模型重载，避免在异常状态下继续运行

---

7. 模型加载与参数配置

7.1 模型格式说明

格式	类型	特点	适用场景
.ltbin	高精度模型	精度优先，推理速度较慢	复杂缺陷检测、高精度测量
.engine	TensorRT 加速模型	速度优先，GPU 推理优化	高速产线实时检测

重要：模型文件必须由配套 LTAI 深度学习模型训练软件 导出，与检测软件版本需匹配。

7.2 任务类型

V3.1.4 版本支持以下五种深度学习任务类型：

任务类型	说明	输出内容
目标检测	检测图像中目标的类别和位置	类别、置信度、边界框、轮廓
语义分割	像素级分类，精确分割目标区域	类别、掩码、边界框
图像分类	判断整张图像所属类别	类别、置信度
旋转框检测	检测带旋转角度的目标	类别、带角度的旋转矩形、轮廓
姿态估计	检测人体/物体关键点	类别、关键点坐标、骨骼连线索引

7.3 配置检测推理节点

1. 双击「检测推理」节点打开配置面板。
2. 选择「模型类型」：高精度 或 加速。
3. 选择「任务类型」：需与模型训练时一致。
4. 设置「图像尺寸（imgsz）」：通常与训练时一致（默认 640）。
5. 设置「批次大小（batch_size）」：根据 GPU 显存调整（默认 4，8GB 显存推荐 2~4）。
6. 点击「添加模型」，选择 .ltbin 或 .engine 文件。
7. 可添加多个模型，推理结果会自动合并。

7.4 配置过滤参数

1. 双击「加载参数」节点。
2. 点击「选择筛选参数」，选取配套的 .yaml 过滤配置文件。
3. 若使用姿态估计任务，点击「选择骨骼参数」加载骨骼 YAML 文件。
4. 确保 YAML 文件中定义了每个检测类别的过滤条件：
   • min_confidence：最小置信度阈值
   • min_short / max_short：短边长度范围
   • min_long / max_long：长边长度范围
   • min_area / max_area：面积范围

7.5 配置结果筛选

1. 将「检测推理」输出连接到「结果筛选」的端口 0。
2. 将「加载参数」输出连接到「结果筛选」的端口 1。
3. 双击「结果筛选」节点：
   • 检测/分割/OBB/Pose 任务：设置过滤参数，软件自动根据面积、长短边、置信度筛选
   • 分类任务：设置「真值标签」和比较运算符（相同/不相同），输出 OK/NG

---

8. 结果统计与数据保存

8.1 统计信息

在「数据与保存」标签页中实时显示：

指标	说明
总处理帧数	累计处理的图像数量（去重，同一帧只计一次）
OK 次数	检测通过的次数
NG 次数	检测失败的次数
检出率	OK 次数 / 总帧数 × 100%

8.2 导出统计报告

点击「导出统计报告」按钮，生成 CSV 文件，包含：

• 总处理帧数
• OK 次数
• NG 次数
• 检出率
• 导出时间

8.3 图像保存

功能	说明
保存当前图像	手动保存当前选中分区显示的图像（原图或结果图）
自动保存 NG 图像	每次 NG 时自动保存到 Results/NG/ 目录，带时间戳
自动保存 OK 图像	每次 OK 时自动保存到 Results/OK/ 目录，带时间戳

自动保存的文件名格式：OK_YYYYMMDD_HHMMSS_ffffff.png 或 NG_YYYYMMDD_HHMMSS_ffffff.png

---

9. 串口通信配置

9.1 通信协议

串口发送节点将输入的整数数值自动打包为固定格式：

LTST + 8位零填充数字 + LTED

示例：

• 输入值 1（NG）→ 发送 LTST00000001LTED
• 输入值 0（OK）→ 发送 LTST00000000LTED
• 输入值 42 → 发送 LTST00000042LTED

9.2 配置步骤

1. 在流程中添加「串口发送」节点。
2. 双击节点，选择 COM 口号。
3. 点击「连接」按钮，状态变为「已连接」。
4. 将「结果筛选」节点的端口 1（数值 OK/NG）连接到「串口发送」的输入端口。
5. 进入实时检测模式，检测结果变化时串口自动发送数据。

9.3 硬件接线

1. 使用 USB 转串口模块（如 CH340/CP2102/FT232）连接计算机。
2. 串口模块的 TX 引脚连接 PLC 的 RX 引脚，GND 连接 GND。
3. 确保 PLC 端配置相同的波特率（默认 9600，数据位 8，无校验，停止位 1）。

📷 截图位置 29：此处插入串口发送节点配置面板截图。

📷 截图位置 30（建议补充）：串口调试助手收到 LTST00000001LTED 数据的截图。

---

10. 日志功能

「日志」标签页实时记录每次检测结果，格式为：

[2026-06-26 12:36:38.453] OK
[2026-06-26 12:36:39.459] OK
[2026-06-26 12:36:40.453] NG

• 时间戳精确到毫秒
• 自动滚动，始终显示最新记录
• 点击「清空日志」可重置所有记录

---

11. 帮助文档系统

V3.1.4 版本内置了完整的帮助文档系统，可通过顶部菜单「帮助」访问。

11.1 使用说明

点击 「帮助」→「使用说明」，打开使用说明对话框：

• 支持中文和英文切换
• 显示 Readme.md 或 Readme_en.md 内容
• 支持 Markdown 格式渲染和外部链接点击

11.2 算子库说明

点击 「帮助」→「算子库说明」，打开算子库说明对话框：

• 显示 算子库说明.md 的完整内容
• 包含 67 个算子的功能概述、输入输出定义、配置参数、应用场景

11.3 关于对话框

点击 「帮助」→「关于」，显示软件版本信息和主要特性：

• 版本号：V3.1.4（专业版）
• 支持模型格式：.ltbin / .engine
• 主要特性列表

11.4 悬浮提示

将鼠标悬停在算子库中的任意算子上约 1 秒，自动弹出该算子的详细说明悬浮框，内容与帮助菜单中的文档完全一致。

---

12. 快捷键列表

快捷键	功能	适用场景
Ctrl + N	新建流程	清空当前画布
Ctrl + O	打开流程	加载已保存的 .flow 文件
Ctrl + S	保存流程	保存到当前文件
Ctrl + Shift + S	流程另存为	保存到新文件
Ctrl + C	复制选中节点	选中单个或多个节点后复制
Ctrl + V	粘贴节点	在鼠标位置粘贴复制的节点
Delete	删除选中节点/连线	删除当前选中的元素
Ctrl + Q	退出软件	关闭程序

注意：当焦点在文本输入控件（如 QLineEdit、QTextEdit）中时，Ctrl+C / Ctrl+V 保持默认的文本复制粘贴行为，不会影响节点操作。

---

13. 典型应用案例

案例 1：深度学习实时检测（缺陷检测）

目标：使用工业相机实时采集图像，通过深度学习模型检测「划痕」缺陷，输出 OK/NG 信号并通过串口发送至 PLC。

流程拓扑：

相机 → 开始检测 → 检测推理 → 结果筛选 → 端口显示 → 串口发送
                                              ↓
                                       结果绘制 → 结果图

节点配置：

1. 相机节点：

   • 触发模式：自由拉流
   • 帧率：30 fps
   • 曝光：10000 μs

2. 检测推理节点：

   • 模型类型：高精度（.ltbin）
   • 任务类型：目标检测
   • 图像尺寸：640
   • 批次大小：4
   • 添加模型：选择训练好的划痕检测模型

3. 加载参数节点：

   • 选择划痕检测的过滤参数 .yaml 文件

4. 结果筛选节点：

   • 真值标签：「划痕」
   • 运算方式：|（任一划痕满足条件即 NG）

5. 端口显示节点：显示 OK/NG 结果

6. 串口发送节点：选择 COM3，连接后发送 NG 信号

7. 结果绘制节点：在图像上绘制检测框和标签

---

案例 2：传统视觉尺寸测量

目标：使用传统图像处理算法（阈值分割 + 轮廓处理）测量工件外径，输出精确数值并通过串口发送。

流程拓扑：

加载图像 → 色彩空间(灰度化) → 阈值分割 → 查找轮廓 → 轮廓筛选 → 轮廓测量 → 数值显示
                                              ↓
                                       按轮廓裁剪 → 图像显示

节点配置：

1. 加载图像节点：选择待测工件图像

2. 色彩空间节点：BGR → Gray（灰度化）

3. 阈值分割节点：

   • 模式：OTSU 自动阈值
   • 获取最佳二值化效果

4. 查找轮廓节点：提取所有轮廓

5. 轮廓筛选节点：

   • 面积范围：过滤噪声小轮廓
   • 长短边范围：筛选目标工件轮廓

6. 轮廓测量节点：

   • 输入两点坐标定义测量基准线
   • 输出轮廓与直线的交点距离

7. 数值显示节点：显示测量结果

---

案例 3：姿态估计实时检测

目标：使用工业相机实时采集图像，通过姿态估计模型检测人体关键点，绘制骨骼连线并输出结果。

流程拓扑：

相机 → 开始检测 → 检测推理(Pose) → 结果筛选 → 端口显示
                                         ↓
                                  结果绘制 + 骨骼配置 → 结果图

节点配置：

1. 相机节点：

   • 触发模式：自由拉流
   • 帧率：30 fps

2. 检测推理节点：

   • 模型类型：高精度（.ltbin）
   • 任务类型：姿态估计（Pose）
   • 图像尺寸：640
   • 添加模型：选择训练好的姿态估计模型

3. 加载参数节点：

   • 选择筛选参数 .yaml 文件
   • 选择骨骼参数 .yaml 文件（定义关键点连接关系）

4. 结果筛选节点：过滤不符合条件的关键点

5. 结果绘制节点：

   • 输入图像 + 结果数据 + 骨骼配置
   • 自动绘制关键点和骨骼连线

6. 结果图节点：将绘制后的图像传递至实时检测界面

---

案例 4：级联检测（目标检测定位 + ROI 切图 + 语义分割）

目标：先用目标检测模型在大图上快速定位缺陷区域，通过 ROI 切图裁剪子图，再用语义分割模型对子图进行精确分割，实现「粗定位 → 精检测」的级联流水线。

流程拓扑：

相机 → 开始检测 → 检测推理(目标检测) → ROI切图(深度ROI) → 检测推理(语义分割) → 结果筛选 → 端口显示
                                                                              ↓
                                                                       结果绘制 → 结果图

节点配置：

1. 相机节点：自由拉流，帧率 30 fps

2. 第一个检测推理节点（目标检测）：

   • 任务类型：目标检测
   • 加载目标检测模型，用于快速定位缺陷区域

3. ROI 切图节点（深度 ROI 模式）：

   • 模式：深度 ROI
   • W、H：设置为语义分割模型的输入尺寸
   • 自动以每个检测框中心为基准裁剪子图

4. 第二个检测推理节点（语义分割）：

   • 任务类型：语义分割
   • 加载语义分割模型，对子图进行精确分割

5. 结果筛选节点 + 结果绘制节点 + 端口显示节点

---

案例 5：批量图像离线检测

目标：对文件夹内所有图像进行批量检测，统计 OK/NG 数量并导出报告。

流程拓扑：

加载图像集 → 选择图像 → 检测推理 → 结果筛选 → 数值显示（OK/NG 计数）
                                   ↓
                            结果绘制 → 图像显示

操作步骤：

1. 「加载图像集」节点选择包含待检图像的文件夹。
2. 「选择图像」节点从图像集中逐张选择。
3. 连接检测推理、结果筛选、数值显示节点。
4. 不进入实时检测模式，直接在流程编辑界面运行。
5. 在「数据与保存」标签页查看统计结果。
6. 点击「导出统计报告」生成 CSV 文件。

---

14. 文件目录与配置说明

14.1 配置文件说明

文件	用途	是否可手动编辑
layout_config.yaml	保存实时检测界面的布局模式（YAML 格式）	不建议
default_flow.yaml	保存默认流程文件路径	不建议
算子库说明.md	算子库文档，用于悬浮提示和帮助菜单	可编辑（保持格式）
Readme.md / Readme_en.md	中英文使用说明文档	可编辑

14.2 流程文件（.flow）

.flow 文件为 JSON 格式，包含：

• 所有节点的类型、位置、配置参数
• 节点之间的连线关系
• 场景缩放和平移状态

备份建议：定期备份 .flow 文件，以便快速恢复工作环境。

---

文档版本：V3.1.4 | 最后更新：2026-06-26