浙大的SAMTrack,自动分割和跟踪视频中的任何内容

Meta发布的SAM之后,Meta的Segment Anything模型(可以分割任何对象)体验过感觉很棒,既然能够在图片上面使用,那肯定能够在视频中应用,毕竟视频就是一帧一帧的图片的组合。

果不其然浙江大学就发布了这个SAMTrack,就是在SAM基础上的能够分割视频中的对象而且能够实时追踪,开源地址:Segment-and-Track-Anything 看来在AI领域真的是日新月异啊,技术的更新迭代之快前所未有。

上传图片或视频之后会识别里面的所有对象,也可以进行单个与多个的选择和取消

 

 

 

代码的执行如下:

#克隆SAMTrack仓库
!git clone https://github.com/z-x-yang/Segment-and-Track-Anything.git
%cd /content/Segment-and-Track-Anything

#安装相关依赖库
!bash script/install.sh

#下载ckpt
!mkdir ./ckpt
!bash script/download_ckpt.sh


#运行WEB界面
!pip install gradio

#最后执行python文件之后,将出现URL地址进行测试
!python app.py

然后就是上传视频,进行任何对象的分割与追踪了,还可以将转换之后的视频进行下载!

这里对视频的处理,所以对硬件会有一定的要求,一般的配置估计都比较老火,最好在云上面运行,里面有直接在谷歌云中进行上传处理的界面,需科学上网!

最后来看个直观的视频,看下这个分割与追踪的效果

浙大的SAMTrack视频分割对象和实时追踪

猜你喜欢

转载自blog.csdn.net/weixin_41896770/article/details/130439123