OpenLane数据集介绍
官方介绍 OpenLane是迄今为止第一个真实世界和最大规模的3D车道数据集。我们的数据集从公开感知数据集中收集有价值的内容,为1000个路段提供车道和最近路径物体(CIPO)注释。简而言之,OpenLane拥有20万帧和超过88万条精心标注的车道。我们已经公开发布了OpenLane数据集,以帮助研究社区在3D感知和自动驾驶技术方面取得进步。详见 论文。
OpenLane数据集是在自动驾驶领域的主流数据集上构建的。在1.0版本中,我们在Waymo开放数据集上发布了注释。将来我们会更新nuScenes上的注释。OpenLane数据集侧重于车道检测和CIPO。我们注释了每一帧中的所有车道,如果中间没有路边,则包括相反方向的车道。除了车道检测任务,我们还注释:(a)场景标签,例如天气和位置;(b)CIPO,被定义为最受关注的目标w.r.t. ego车辆;除了感知的一整套对象之外,这样的标签对于随后的模块(如规划/控制)是非常实用的。关于坐标系的介绍可以在这里找到。
OpenLane包含20万帧、超过88万条实例级车道、14个车道类别(单白色虚线、双黄色实体、左/右路边等),以及场景标签和路线邻近目标(CIPO)注释,以鼓励开发3D车道检测和更多与产业相关的自动驾驶方法。
如表是OpenLane和其他基准线的比较:
车道线标注(Lane Annotation)
我们用下面的格式注释车道线。
- 车道形状。每个2D/3D车道被表示为一组2D/3D点。
- 车道类别。每个车道都有一个类别,如双黄线或路缘。
- 车道属性。一些车道具有诸如右、左的属性。
- 车道追踪ID。除路缘外,每条车道都有唯一的id。
- 停车线和路缘。
除上述官方说明外,标注内容还包括车辆的pose
关于更多的注释准则,请参考 Lane Anno Criterion.
Lane Annotation的 .json 文件中包含相机内参、外参、车道线类别、每个点的可见性、像素坐标系下点的2D坐标(u, v)、相机坐标系下点的3D坐标(x, y, z)、车道的左右属性、车道的跟踪ID以及文件的相对路径。lane_lines中有k条车道线,对应k组内容数据。
"intrinsic": <float> [3, 3] -- camera intrinsic matrix
"extrinsic": <float> [4, 4] -- camera extrinsic matrix
"lane_lines": [ (k lanes in `lane_lines` list)
{
"category": <int> -- lane category
0: 'unkown',
1: 'white-dash',
2: 'white-solid',
3: 'double-white-dash',
4: 'double-white-solid',
5: 'white-ldash-rsolid',
6: 'white-lsolid-rdash',
7: 'yellow-dash',
8: 'yellow-solid',
9: 'double-yellow-dash',
10: 'double-yellow-solid',
11: 'yellow-ldash-rsolid',
12: 'yellow-lsolid-rdash',
20: 'left-curbside',
21: 'right-curbside'
"visibility": <float> [n, ] -- visibility of each point
"uv":[ <float> [2, n] -- 2d lane points under image coordinate
[u1,u2,u3...],
[v1,v2,v3...]
],
"xyz":[ <float> [3, n] -- 3d lane points under camera coordinate
[x1,x2,x3...],
[y1,y2,y3...],
[z1,z2,z3...],
],
"attribute": <int> -- left-right attribute of the lane
1: left-left
2: left
3: right
4: right-right
"track_id": <int> -- lane tracking id
},
...
],
"file_path": <str> -- image path
}
CIPO/场景注释(CIPO/Scenes Annotation)
我们用下面的格式注释CIPO和场景。
- 具有代表对象重要性级别的类别的2D Bounding Box。
- 场景标签。它描述了在何种情况下收集该帧。
- 天气标签。它描述了在什么天气下收集该帧。
- 小时标签。它标注了该帧是在什么时间收集的。
更多注释准则,请参考 CIPO Anno Criterion.
{
"results": [ (k objects in `results` list)
{
"width": <float> -- width of cipo bbox
"height": <float> -- height of cipo bbox
"x": <float> -- x axis of cipo bbox left-top corner
"y": <float> -- y axis of cipo bbox left-top corner
"id": <str> -- importance level of cipo
"trackid": <str> -- tracking id of cipo, unique in the whole segment
"type": <int> -- type of cipo
0: TYPE_UNKNOWN
1: TYPE_VEHICLE
2: TYPE_PEDESTRIAN
3: TYPE_SIGN
4: TYPE_CYCLIST
},
...
],
"raw_file_path": <str> -- image path
}
以下是场景标签注释的数据格式。
{
"segment-xxx": <str> -- segment id
{
"scene": <str>
"weather": <str>
"time": <str>
}
... (1000 segments)
}