一、什么是Segment Anything开源项目(Introduction)
We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1
billion
masks on 11M licensed and privacy respecting images. The model is designed and trained to be promptable, so it can transfer zero-shot to new image distributions and tasks. We evaluate its capabilities on numerous tasks and find that its zero-shot performance is impressive – often competitive with or even superior to prior fully supervised results.
(个人总结翻译)Segment Anything项目是一个应用于图像分割的新的工作任务、模型和数据的集合体。它具有千万量级图片及物体掩码图片的数据集并且模型被设计训练得敏捷,以至于能够完成泛化训练零样本—zero-shot(模型从未训练过的标签数据)图片的全新物体目标分割。
二、Segment Anything开源项目Web端使用
(一)SAM高效和灵活的设计
SAM旨在高效地为其数据引擎提供动力,并且在网络浏览器中运行处理的时间为毫秒级。SAM被解耦为两部分,分别为一次性图像编码器和轻量级掩码解码器。
(二)SAM的数据引擎
SAM的高级功能是基于一种model-in-the-loop方法的数据引擎及千万数量级的图片与物体掩码图片的训练结果。研究者们不断使用图片及标注图片更新SAM模型,这种model-in-loop方法将会不断重复提高SAM数据集及其自身训练模型。
(三)Web端使用示例
参考资料:
FacebookResearch——segment-anything——Github
Segment Anything(论文原文)
Segment Anything Research by Meta AI (网页端)