教一只灵巧手,和你猜拳
从一张手势图,到用自己的程序完成一局对弈。
先选你出的拳
选择一个手势,看看它会如何回应。
教学模型预演
选好手势,点击“先试一拳”查看示例规则。
这里先给定输入,接下来再教它看懂图片。
图片怎样成为识别结果
六个驱动轴怎样形成手势
什么时候出拳,什么时候等待
定义要识别的类别,加入自己的图片,再编写和测试回应规则。
创建自己的应用一张手势图,在机器眼里是什么?
移动取样框,看看一小块画面里的颜色数值。
示例手势图
放大看:画面由像素组成
点一下像素,读取它的三个颜色通道。
正在准备示例图片。
一张图会被分成很多像素,每个像素都有红、绿、蓝三个数值。
再了解一点:像素、特征和模型有什么区别?
像素是图片中的颜色数值。特征是从这些数值中提取的线索,例如边缘、形状或纹理。模型通过训练图片学习这些线索与类别之间的关系。
只看过少数图片的模型,不一定认得换了距离或背景的手势。下一步用训练、验证和未见测试图片,分别检查“学过的”和“没见过的”输入。
示例图片来源
本页使用生成的三种手势示例,只用于观察像素;不会加入你的训练图片,也不代表识别质量或真实试学结果。
换一张手势图,它还认得吗?
训练时认得,不代表换个人、换个背景后也认得。先把用于检查的图片留出来。
哪些图片,适合留到最后检查?
同一张图的副本、同次连拍的近似图,都可能让结果显得过好。先按人或采集批次分组,再划分用途。
三组图片分开使用。同一原图、同次连拍及其变换版本放在同一组,避免图片泄漏。
看到“0.88”,就能放心了吗?
把模型的回答与图片的真实类别逐项对照。分数高,也可能认错;分数低时可以先等待。
这是手工设定的讲解记录,未运行识别模型。假设本例低于0.60时等待;分数不是识别正确的保证。
如果用测试图反复改模型,会怎样?
这批图已经参与了调整,就不能再证明对未见图片的识别表现。改用验证集选择设置,并重新保留一批独立测试图。记录每类的正确、错误与等待,别只看总分。
六个轴,怎样配成一个手势?
五根手指不等于五个轴:拇指有外展和屈曲两个驱动轴,其余四指各有一个屈曲轴。
选一个手势,对照模型与六项目标
每一行对应一个驱动轴。点选一行,再拖动它,观察蓝色部位怎样变化。
教学目标对应的模型姿态
进入本课后加载教学模型。
六个轴的目标值
0—4095是教学目标编码,不是角度、实测反馈或真机安全范围。
模型与轴序从哪里来?
沿用平台第三方开源RH2右手模型及教学轴映射。蓝色表示所选轴下的联动部位;拇指的两个轴属于同一根手指,转轴不同。模型姿态来自目标值,不是现场测量或设备动作。
动手配一次:从石头变成剪刀
以“石头”为起点,选择需要改成伸展目标的轴。拇指保持这个示例中的原目标。
同一个轴可能带动多个联动关节。六轴一起改变形成整手动作,但目标已发出并不代表动作已完成。
看到石头,程序会怎样回应?
先预测,再运行;只改一个条件,观察回应怎样变化。
读一条输入,预测程序回应
识别结果只是输入。程序还要检查条件,再按你定义的规则返回目标。
给定记录用于理解规则,不是现场识别或真机动作。记录年龄是本例输入的新旧程度。
程序的判断流程
- 输入记录
- 检查条件运行后,查看首先通过或未通过的条件。
- 返回目标先选你的预测,再运行。
返回目标是程序的决定;是否实际到位,还要检查动作计划和反馈。
对照这次实际使用的规则
本页直接调用工程中的同一决策函数。这里只改变配置,不训练模型,也不运行学生源码。
只改一个条件,再试一次
保持这条输入的类别与分数,只改门槛或记录年龄。先重新预测,再运行,看看第一处差异在哪里。
换个需求,我来定义规则
仍用同一模型结果,改变“看到某个类别后怎样回应”。先写需求,再改映射并回到上方比较;模型分数会保持原值。
规则只改变本页练习;自己的工程需要由你另行修改和测试。