自動駕駛汽車既令人著迷，又令人恐懼，因為它們必須準確評估和駕馭快速變化的環(huán)境。計算機視覺使用計算從圖像中提取信息，是自動駕駛的一個重要方面，其任務范圍從低級（例如確定給定位置距離車輛有多遠）到更高級（例如確定道路上是否存在行人）。

據(jù)外媒報道，圣路易斯華盛頓大學（Washington University in St. Louis）麥凱維工程學院（McKelvey School of Engineering）計算機科學與工程教授Nathan Jacobs和研究生團隊開發(fā)出聯(lián)合學習框架，以優(yōu)化兩個低級任務：立體匹配和光流。立體匹配會生成兩幅圖像之間的差異圖，是避免障礙物的深度估計的關(guān)鍵步驟。而光流旨在估計視頻幀之間的每像素運動，對于估計對象如何移動以及攝像頭相對于對象如何移動非常有用。

圖片來源：圣路易斯華盛頓大學

最終，立體匹配和光流都旨在了解圖像的像素位移，并使用該信息來捕獲場景的深度和運動。Jacobs團隊的聯(lián)合培訓方法利用它們固有的相似性，同時解決這兩項任務。

Jacobs稱，這些任務的訓練模型面臨的一大挑戰(zhàn)是獲取高質(zhì)量的訓練數(shù)據(jù)，既困難又昂貴。該團隊方法利用計算機生成的合成圖像和真實圖像域之間圖像到圖像轉(zhuǎn)換的有效方法。這種方法使他們的模型能夠在現(xiàn)實場景中表現(xiàn)出色，同時僅根據(jù)合成圖像的真實信息進行訓練。

Jacobs表示：“新方法克服了光流和立體匹配方面的重要挑戰(zhàn)之一，獲得了準確的地面實況。由于我們可以獲得大量模擬訓練數(shù)據(jù)，因此我們可以獲得比僅在可用的標記真實圖像數(shù)據(jù)集上進行訓練更準確的模型。更準確的立體匹配和光流估計可以減少錯誤，避免錯誤通過自動駕駛管道系統(tǒng)的其余部分進行傳播，；例如避障系統(tǒng)�！�