【导读】Facebook 工程团队发布了Segment Anything Model (SAM)。SAM 具有很高的“零样本”泛化能力,这意味着它可以准确地检测算法没有见过或没有专门训练过的物体。我们在项目中(主要是农业、AEC 和能源领域)中测试 了SAM,下面我会通过3个例子说明SAM的具体应用。
农田界线数字化
精准农业和农业分析工具从根本上依赖于数字化农作物的边界。这是因为农业经营往往在田间层面进行定义——种植、土壤肥沃、作物轮作和改良都是逐田管理的。
虽然不同的作物类型对人类来说在视觉上是显而易见的,但为了自动化分析,机器需要知道每种作物的边界以过滤掉无关信息。
田地边界数字化通常是手工完成的,使用卫星图像作为参考逐点绘制田地边界。
我们开始测试 Segment Anything Model,并使用商用卫星图像描绘田地边界,并取得了可喜的成果。下图显示了 SAM 自动掩码算法的原始结果,没有任何预处理或参数调整:
未屏蔽的原始图像
被 SAM 遮盖的 Mapbox 卫星图像图块
虽然 SAM 的默认掩码生成器未检测到某些区域,但后续测试表明,可以通过一些手段提高检测率,以捕获每个区域的可信度。当然,我们在测试中发现,非农业地块也将被分割,因此现实世界的用例需要进一步处理,以屏蔽某些组件,确定它是一块田地还是一片树木、宅基地等。
土木工程中的基础设施识别
从商用无人机收集图像是 AEC 行业(尤其是土木工程)中一种快速扩展分析和建模技术。
可以将基础设施的高质量图像输入统计和机器学习模型,以做出有关基础设施健康状况的决策。即使是高质量的图像,也需要将基础设施与其背景隔离开来,以便算法可以滤除相邻对象和背景对象的噪声。
通过无人机捕获的桥面,以及相应的蒙版版本,使用 SAM 的蒙版生成器生成
使用 SAM 生成,实现了桥面与背景的分割。我们使用 SAM 在 RGB 光栅图像中隔离大桥桥面表面取得了高质量的结果。其他图像(例如热成像)可以对原始照片进行地理参考,并且蒙版也可以应用于该图像,而无需重新计算。
用于缺陷检测的快速数据集标记
应用计算机视觉面临的最大挑战之一是缺乏高质量的标记数据集。许多公司已经发现了自动化来识别和分类缺陷(有问题的样本较少,样本不均衡),无论是在停车场、太阳能电池阵列还是桥面板表面。实际项目中,我们可能需要大量的缺陷图像,并且需要手动标记它们来训练算法。
Facebook 工程团队强调的主要用例之一是使用 SAM 生成标签的速度。虽然为高效注释而设计的工具并不是一个新概念。之前我们公司也使用labelGO(基于YOLOV5的智能标注)。
SAM 的智能多边形工具 VS 手绘多边形
SAM 团队的基准测试具有突出的优势。通过广义零镜头方法,SAM 能够在非常多样化的应用程序集中生成Mask(即训练标签)。
本公众号只做干货,分享实际项目中的点点滴滴
希望您阅读后有所收获
同时,也希望您能在下方给个赞赏
您的赞赏
是我持续创作的最大动力!
非常感谢!
2、中国市级行政区shp(WGS84)【2022 · 最新数据共享】
4、IntelliJ IDEA 2022.3.1 专业版破解
9、Segment Anything 模型的 3 个地理空间和遥感用例
12、QGIS软件安装包下载
点分享
点点赞
点在看