2023年5月11日，北京市高級別自動駕駛示范區(以下簡稱示范區)聯合清華大學智能產業研究院(AIR)、北京車網科技發展有限公司、百度Apollo、北京智源人工智能研究院，推出全球首個基于真實道路場景的時序車路協同數據集V2X-Seq，向境內用戶提供下載使用。該數據集填補了目前業界真實道路場景車路協同時序數據集的空白，有效加速車路協同時序感知和車路協同軌跡預測研究。
2022年2月發布的第一期車路協同數據集DAIR-V2X，受到了學術界和產業界的廣泛關注。截至目前，DAIR-V2X數據集已經在國內注冊用戶中積累了超過2000人，下載量近3萬次。基于DAIR-V2X數據集的研究已經有多項成果發表在CVPR、NeurIPS、ICLR、ICRA等人工智能領域的頂級會議上。這些成果的發表，不僅展示了DAIR-V2X數據集的研究價值，也充分說明了其在人工智能領域的影響力。
本次發布的第二期時序車路協同數據集V2X-Seq，由車路協同時序感知數據集和車路協同軌跡預測數據集組成，旨在支撐車路協同時序感知和車路協同軌跡預測研究。通過自研的時空軌跡匹配算法，V2X-Seq數據集提供了高質量的協同軌跡真值，為車路協同跟蹤和車路協同軌跡預測相關研究提供了評測基準。同時，基于V2X-Seq數據集，定義了車路協同3D跟蹤、車路協同軌跡預測相關的三個研究任務，并提供了豐富的算法基準。該數據集及相關算法成果已被CVPR2023正式接受。
車路協同時序感知
車路協同時序感知數據集，包含超過1.5萬對車端與路端協同視角下的時序圖像和點云數據，并提供了完備的3D目標及Tracking ID標注，用于支持車路協同3D檢測和跟蹤任務。
車路協同軌跡預測
車路協同軌跡預測數據集，覆蓋28個真實路口，包含超過20萬個片段(涵蓋目標軌跡、紅綠燈信號等)，其中路端與車端協同視角片段約5萬個，每個片段時長10秒，按照10HZ提供8類常見障礙物目標的軌跡，用于車路協同軌跡預測任務研究。
針對目前自動駕駛數據采集制作成本過高的問題，示范區利用現有建設成果，集合“車、路、云、網、圖”五大要素，全方位、多模態、多視角地收集大量數據，為學術界和產業界的研究者提供了豐富的數據資源。這些資源有助于促進車路協同自動駕駛技術的應用與優化，同時相關研究也將有助于城市提升交通運行效率和減少交通事故的發生。
數據采集
A. 場景設置
路側設備：基于北京市高級別自動駕駛示范區，選擇若干交通場景復雜路口，路側部署相機和激光雷達，完成GPS授時同步，并完成相應的內參外參標定。
自動駕駛車輛：利用配置好相機和激光雷達的自動駕駛車輛，完成GPS授時同步，并完成相應的內參外參標定。
設置路線并采集數據：當自動駕駛路線經過路側設備附近區域時，分別保存該時段路側傳感器和自動駕駛傳感器數據。
截取數據：從保存的傳感器數據截取20s以上片段作為車路協同數據。
B. 路端采集設備
在每個路口安裝至少一對相機和激光雷達，其中每對相機和激光雷達安裝在相同方位，同時對該相機和激光雷達進行標定，并對圖像去畸變。路側傳感器型號如下：
300線LiDAR
- 采樣幀率：10Hz
- 水平FOV：100° ，垂直FOV：40°
- 最大探測范圍：280m
- 探測距離精度：<=3cm
Camera
- 傳感器類型：1英寸全局曝光CMOS
- 采樣幀率：25Hz
- 圖像格式：RGB格式，按1920x1080分辨率壓縮保存為JPEG圖像
C. 車端采集設備
自動駕駛車配備1個頂端激光雷達1個前視攝像頭，同時對該激光雷達和前視攝像頭進行標定，并對圖像去畸變。頂端激光雷達和前視攝像頭型號如下：
Hesai Pandar40線LiDAR
- 采樣幀率：10Hz
- 水平FOV：360° ，垂直FOV：40°，-25°~15°
- 最大探測范圍：200m；反射率：10%；最小垂直分辨率：0.33°
Camera
- 采樣幀率：20HZ
- 水平FOV：128° ，垂直FOV：77°
- 圖像格式：1920x1080分辨率
D. 標定和坐標系
為了達到不同傳感器之間的空間同步，車路協同需要使用傳感器參數信息進行坐標系轉換，其中為方便研究人員使用和數據隱私保護，路端LiDAR相關數據統一旋轉到與地面平行的虛擬LiDAR坐標系，世界坐標系統一旋轉平移到虛擬世界坐標系。各坐標系之間的關系如下圖：
-虛擬世界坐標系
虛擬世界坐標系是以地面某一隨機位置為原點，x 軸、y 軸與地面平行，z 軸垂直于地面豎直向上，符合右手坐標系規則。
-LiDAR坐標系
LiDAR坐標系是以LiDAR傳感器的幾何中心為原點，x 軸水平向前，y 軸水平向左，z軸豎直向上，符合右手坐標系規則。
-虛擬LiDAR坐標系
虛擬LiDAR坐標系是以LiDAR傳感器的幾何中心為原點，x 軸平行地面向前，y 軸平行地面向左，z 軸垂直于地面豎直向上，符合右手坐標系規則。由于路端LiDAR與地面存在俯仰角，為方便研究，通過路端LiDAR外參矩陣，統一將路端LiDAR坐標系轉到虛擬LiDAR坐標系，同時將路端點云全部轉到虛擬LiDAR坐標系。
-相機坐標系
相機坐標系是以相機光心為原點，x 軸和y 軸與圖像平面坐標系的x 軸和y 軸平行，z軸與相機光軸平行向前、與圖像平面垂直。通過LiDAR到相機的外參矩陣，可以將點從LiDAR坐標系轉到相機坐標系。
-圖像坐標系
圖像坐標是以相機主點(即相機光軸與圖像平面的交點，一般位于圖像平面中心)為原點，x 軸水平向右，y 軸水平向下的二維坐標系。相機內參可以實現從相機坐標到圖像坐標的投影。
-定位系統
利用GPS/IMU等定位和慣性系統，可實時獲取自動駕駛車輛在全球定位系統的位置以及朝向角。為保護數據安全和研究方便，將真實世界定位系統得到的定位轉換到虛擬世界坐標系下。
E. 時間同步
時間同步是為實現車路協同針對路端和車端傳感器所做的同步操作。利用GPS授時以同步各傳感器時間，并在采集每幀數據時得到相應的時間戳。時間戳可通過時間轉換得到相應的標準時間。
數據標注
數據抽樣
當自動駕駛車輛經過路端設備所在路口時，車端路端傳感器同步采集車路協同序列數據，從中抽取約100段時長20s左右的多模態序列數據，按照10HZ頻率分別對車端和路端序列進行抽樣得到離散幀。
單端3D標注
針對采樣得到的路端和車端數據，利用2D&3D聯合標注技術，標注圖像和點云數據中的道路障礙物目標的2D和3D框，同時標注障礙物類別、遮擋、截斷、軌跡ID等信息。提供兩套3D標注，分別以Camera和LiDAR時間戳為基準。
- 障礙物類別：一共10類，包括行人、機動車等
-障礙物截斷：從[0, 1, 2]中取值，分別表示不截斷、橫向截斷、縱向截斷
-障礙物遮擋：從[0, 1, 2]中取值，分別表示不遮擋、0%～50%遮擋，50%～100%遮擋
-2D box：圖像中2D bounding box框
-3D box：點云上3D bounding box，車端基于 LiDAR坐標系，路端基于虛擬LiDAR坐標系；包括 (height, width, length, x_loc, y_loc, z_loc, rotation)，其中rotation表示障礙物繞Z軸旋轉角度
-軌跡ID：不同的目標賦予不同的軌跡ID。除靜態目標交通錐筒(Trafficcone)，其它9類檢測框都被標注軌跡ID。遮擋前后的目標共享相同的軌跡ID。
車路協同3D標注
車路協同3D標注基于自主研發的時空同步算法和軌跡匹配算法，對車路數據進行協同檢測、跟蹤標注，并進行人工二次矯正得到高質量的車路協同標注。
數據集文件結構
