雷鋒網(wǎng) AI 研習(xí)社按，日前，伯克利發(fā)布了迄今最大、最多樣化的帶有豐富注釋的駕駛視頻數(shù)據(jù)集 BDD100K。大家可以訪問 http://bdd-data.berkeley.edu 獲取該數(shù)據(jù)集。同時(shí)，他們也在 arXiv 上發(fā)布了關(guān)于該數(shù)據(jù)集的報(bào)告，大家也可以利用該數(shù)據(jù)集參加他們主辦的的 CVPR 2018 挑戰(zhàn)賽。

關(guān)于該數(shù)據(jù)集的詳細(xì)信息雷鋒網(wǎng) AI 研習(xí)社整理如下：

自動駕駛將隨時(shí)改變社區(qū)中人們的生活方式。然而，最近發(fā)生的一系列事故表明，當(dāng)在真實(shí)世界使用駕駛系統(tǒng)時(shí)，尚不清楚這種人造感知系統(tǒng)如何避免看起來非常明顯的錯誤。

作為計(jì)算機(jī)視覺研究人員，我們對探索自動駕駛的前沿感知算法非常感興趣，我們想讓自動駕駛更加安全。為了設(shè)計(jì)和測試具有潛力的算法，我們想要利用真實(shí)駕駛平臺收集的數(shù)據(jù)信息。這種數(shù)據(jù)有四個主要特性：大規(guī)模、多樣性、在道路上收集、具備時(shí)間信息。

數(shù)據(jù)多樣性對測試感知算法的魯棒性尤為重要。然而，當(dāng)前的開放數(shù)據(jù)集并不能涵蓋到上面描述的所有屬性。因此，在 Nexar 的幫助下，我們發(fā)布了 BDD100K 數(shù)據(jù)集，這是迄今為止計(jì)算機(jī)視覺研究中最大、最多樣化的開放駕駛視頻數(shù)據(jù)集。 

從該數(shù)據(jù)集的名字 BDD100K 就可以猜到它有多大，這一數(shù)據(jù)集包含 10 萬段視頻。每段視頻時(shí)長大約為 40 秒，格式為 720p、30 fps。視頻中還包括手機(jī)記錄的 GPS/IMU 信息，可以顯示出大致的駕駛軌跡。這些視頻是在美國不同地方收集的，如下圖所示。

圖：視頻采集點(diǎn)

數(shù)據(jù)集中有很多不同天氣，包括晴天、陰天和雨天，還有一天中的不同時(shí)間段，如白天和夜晚。下表總結(jié)了與之前數(shù)據(jù)集的比較，可以看到這一數(shù)據(jù)集更大、更多樣。

圖：與其他道路場景數(shù)據(jù)集的對比

這些視頻和視頻中的軌跡對于駕駛策略的模仿學(xué)習(xí)很有用，正如我們 CVPR2017 的一篇的論文所示。為了助于在大數(shù)據(jù)集上進(jìn)行計(jì)算機(jī)視覺研究，我們也在視頻關(guān)鍵幀上提供基本注釋，大家可以在 http://bdd-data.berkeley.edu下載數(shù)據(jù)和注釋。

注釋

我們在每段視頻的第 10 秒進(jìn)行關(guān)鍵幀采樣，并為這些關(guān)鍵幀加上注釋。主要有這些標(biāo)記：圖像標(biāo)簽、道路對象邊界框、可駕駛區(qū)域、車道標(biāo)記和全幀實(shí)例分割。這些注釋將幫助我們理解不同類別場景中數(shù)據(jù)和對象統(tǒng)計(jì)信息的多樣性。我們將在另一篇博文中討論標(biāo)注過程。

大家可以在這篇文章中看到更多關(guān)于注釋的信息。

圖：注釋概覽

道路目標(biāo)檢測

我們?yōu)檫@ 10 萬個關(guān)鍵幀中經(jīng)常出現(xiàn)在道路上的對象標(biāo)上邊界框，以了解對象的分布及其位置。下面的條形圖顯示了對象數(shù)目。也有其他處理注釋中統(tǒng)計(jì)信息的方法。例如，我們可以比較不同天氣條件或不同場景下的對象數(shù)目。這張圖還顯示了數(shù)據(jù)集中的不同對象集以及數(shù)據(jù)集的規(guī)?！^ 100 萬輛汽車。提醒下大家，這些是具有不同的外觀和環(huán)境背景的物體。

圖：不同類型對象的統(tǒng)計(jì)信息

這一數(shù)據(jù)集也適用于某些特定領(lǐng)域的研究。例如，如果你對在街道上檢測和避免行人感興趣，那么你也可以研究這一數(shù)據(jù)集，因?yàn)樗吮戎暗膶I(yè)數(shù)據(jù)集更多的行人實(shí)例，如下表所示。

圖：與其他行人數(shù)據(jù)集在訓(xùn)練集上的比較

車道標(biāo)記

車道標(biāo)記是對司機(jī)重要的道路指示。當(dāng) GPS 或地圖沒有準(zhǔn)確全面覆蓋時(shí)，它們也是自動駕駛系統(tǒng)把握駕駛方向和定位的關(guān)鍵線索。我們根據(jù)車道標(biāo)記指示的不同將其劃分為兩種類型：垂直車道標(biāo)記 (在下圖中用紅色表示) 表示沿著車道行駛方向的標(biāo)記，平行車道標(biāo)記 (在下圖中用藍(lán)色表示) 表示需要停車。我們還提供了一些屬性，例如 solid vs. dashed、 double vs. single。

下面是與現(xiàn)有車道標(biāo)記數(shù)據(jù)集的比較。

可駕駛區(qū)域

是否能在道路上行駛不僅取決于車道標(biāo)記和交通設(shè)施，還依賴與道路上其他對象間的復(fù)雜交互。最后，重要的是能知道哪些區(qū)域可以駕駛。為了研究這一問題，我們還提供了可駕駛區(qū)域的分割注釋，如下圖所示。我們基于車輛的軌跡將可駕駛區(qū)域分為兩類：可駕駛和選擇性駕駛。可駕駛用紅色標(biāo)記，意味著車輛享有道路優(yōu)先權(quán)，可以在那個區(qū)域駕駛。選擇性駕駛用藍(lán)色標(biāo)記，意味著汽車可以在該地區(qū)行駛，但必須謹(jǐn)慎，因?yàn)樵撥囕v在這條道路上不具有道路優(yōu)先權(quán)。

全幀分割

Cityscapes 數(shù)據(jù)集顯示，全幀精細(xì)實(shí)例分割可以大大支持預(yù)測和目標(biāo)檢測研究。由于這次公開的視頻在不同領(lǐng)域，我們提供了實(shí)例分割注釋，也通過不同的數(shù)據(jù)集來比較相關(guān)的域轉(zhuǎn)移。要實(shí)現(xiàn)像素級分割非常昂貴和費(fèi)力，幸運(yùn)的是，我們自己的標(biāo)簽工具可以將標(biāo)簽成本降低 50%。最后，我們對這 10K 圖像集的一個子集進(jìn)行全幀分割。為了更易研究數(shù)據(jù)集之間的域轉(zhuǎn)移，我們的標(biāo)簽集與 Cityscapes 中的訓(xùn)練注釋可兼容。

自動駕駛挑戰(zhàn)賽

基于這一數(shù)據(jù)集，我們在 CVPR 2018 自動駕駛研討會上主辦了三個挑戰(zhàn)賽：道路目標(biāo)檢測、可駕駛區(qū)域預(yù)測和語義分割域適應(yīng)。檢測任務(wù)要求算法找出測試圖像中所有的目標(biāo)對象，可駕駛區(qū)域預(yù)測需要分割出汽車可以行駛的區(qū)域。在域適應(yīng)挑戰(zhàn)上，測試數(shù)據(jù)是在中國采集的，因此，這非常挑戰(zhàn)，基于來自美國的數(shù)據(jù)訓(xùn)練的模型需要能用于北京擁擠的街道。大家可以登錄如下網(wǎng)站提交結(jié)果：

http://bdd-data.berkeley.edu/login.html

（完）

via：bair.berkeley.edu/blog

雷鋒網(wǎng) AI 研習(xí)社編譯整理。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。