谷歌开源MediaPipe Hands:
终端设备上的实时手部跟踪 手掌检测器+手部关键点检测(21个骨骼关键点),其中关键点检测在iPhone11上速度高达909 FPS!在三星S20上速度高达179 FPS!
作者团队:Google Research
我们提出了一种在终端设备上实时的手部跟踪pipeline,该pipeline可以预测用于AR / VR应用的单个RGB摄像机的手部骨骼。 Pipeline包括两个模型:1)手掌检测器,2)手部关键点模型。 它是通过MediaPipe(一个用于构建跨平台ML解决方案的框架)实现的。 所提出的模型和流水线架构演示了在移动GPU上的实时推理速度和较高的预测质量。
PS:
MediaPipe 是一个基于图形的跨平台框架,用于构建多模式(视频,音频和传感器)应用的机器学习管道。
MediaPipe 可在移动设备、工作站和服务器上跨平台运行,并支持移动 GPU 加速。使用 MediaPipe,可以将应用的机器学习管道构建为模块化组件的图形。基于C/C++
《MediaPipe Hands: On-device Real-time Hand Tracking》
博客:https://google.github.io/mediapipe/solutions/hands