近年來,隨著人工智能技術的迅速發(fā)展,傳統(tǒng)汽車行業(yè)與信息技術結合,在汽車自動駕駛技術方面的研究取得了長足進步,業(yè)內很多大公司都在此領域投入巨資進行研發(fā),如國外的谷歌、豐田,國內的百度、比亞迪等公司都推出了自動駕駛汽車,且實驗結果令人滿意:
谷歌的自動駕駛汽車已經安全行駛超過14萬英里;
豐田則宣布旗下自動駕駛系統(tǒng)將于2020正式量產;
百度在2015年底宣布,其自動駕駛汽車計劃三年商用五年量產,比亞迪已與百度深化合作,共同研發(fā)無人駕駛汽車。
可以預見,在不遠的將來,隨著技術不斷發(fā)展完善,自動駕駛技術將進入實用階段,普及到千家萬戶,人們可以自由出行而無需擔心人為駕駛事故,如無證駕駛、超速、疲勞駕駛、酒駕等人為引起的交通事故。因此,自動駕駛技術有著廣闊的應用前景。
1自動駕駛技術
自動駕駛技術分為基于傳統(tǒng)特征和基于深度學習駕駛技術。
在現(xiàn)有的基于傳統(tǒng)特征的自動駕駛中,目標識別是核心任務之一,其包括道路及道路邊沿識別、車道線檢測、車輛識別、車輛類型識別、非機動車識別、行人識別、交通標志識別、障礙物識別與避讓等等。目標識別系統(tǒng)利用計算機視覺觀測交通環(huán)境,從實時視頻信號中自動識別出目標,為實時自動駕駛,如啟動、停止、轉向、加速和減速等操作提供判別依據。
由于實際路況極度復雜,基于傳統(tǒng)目標檢測的輔助駕駛技術性能難以得到大幅提升,現(xiàn)有的自動駕駛技術,一般依賴于先進的雷達系統(tǒng)來彌補,顯著增加了系統(tǒng)實施的成本。隨著技術的發(fā)展,采用卷積神經網(ConvolutionalNeuralNetworks,CNN)可以直接學習和感知路面和道路上的車輛,經過一段時間正確駕駛過程,便能學習和感知實際道路情況下的相關駕駛知能,無需再通過感知具體的路況和各種目標,大幅度提升了輔助駕駛算法的性能。
2基于傳統(tǒng)特征的自動駕駛技術
自動駕駛技術中傳統(tǒng)的特征指的是人工提取的特征,如HOG(梯度直方圖)特征、SIFF(尺度不變特征變換)特征和CSS(顏色自相似)等特征。
目前,主流自動駕駛技術都基于視頻分析。交通場景下捕捉到的視頻序列中包含各種不同視頻目標,如行人、汽車、路面、障礙物、背景中的各種物體等,需要在測試圖像中標識出感興趣類別的目標對象,用來提供給車輛控制系統(tǒng)作為決策依據。
特征的檢測與表示是關鍵步驟,涉及到如何編碼描述目標圖像信息的問題,比較理想的特征表示方法要能適應各種干擾因素的影響,比如尺度、外觀、遮擋、復雜背景等情況。
2.1道路與車道識別
道路與車道識別是自動駕駛技術的基礎內容,如Caltechlanedetector中論述。常見的道路的識別算法基于圖像特征進行計算,其分析圖像中表示車道線或道路邊界等的灰度,顏色,紋理等特征,通過神經網絡、支持向量機、聚類分析和區(qū)域生長等方法便可以分割出路面區(qū)域。這類方法對道路曲率的變化有很好的魯棒性。
最近基于條件隨機場的道路檢測方法取得了重要的進展。由于道路及邊沿的種類繁多,紛雜的車輛以及路邊雜物的遮擋,樹木以及建筑物的陰影干擾等,使得最基本的道路檢測存在需要進一步提升的空間。
2.2車輛檢測技術
車輛檢測技術為自動駕駛領域研究的熱點之一。前向車輛碰撞預警系統(tǒng)是一種有效降低主動事故發(fā)生率的技術,其廣泛采用車輛定位的方法實現(xiàn),可以利用車輛自身的圖像特征,如陰影、對稱性、邊緣等,例如常用的底部陰影以及車輛的兩個縱向邊緣構成的U型特征等,快速定位車輛感興趣的區(qū)域,再利用多目標跟蹤算法對檢測的車輛進行跟蹤。
2.3行人檢測及防碰撞系統(tǒng)
以「行人保護」為目的的行人檢測及防碰撞系統(tǒng)也成為自動駕駛領域的研究熱點。目前統(tǒng)計學習方法在行人檢測中應用最為廣泛,特征提取和分類定位是基于統(tǒng)計學習方法的兩個關鍵問題。
基于統(tǒng)計學習的行人檢測主要包含基于生成式模型(局部)的檢測方法和基于特征分類(整體)的檢測算法:
基于生成式模型的檢測方法通常采用局部特征或者肢體模型來描述局部屬性,結合局部特征的空間結構特性或分布模型進行分類。
基于特征分類的檢測方法目的是找到一種能夠很好地描述行人特征的方法。通過提取行人的灰度、邊緣、紋理、顏色等信息,根據大量的樣本構建行人檢測分類器,從樣本集中學習人體的不同變化,把視頻圖像中的行人目標從背景中分割出來并精確定位。
2005年Dalal提出梯度直方圖(HistogramofOrientedGradient,HOG)是一個最基本的特征,具有非常強的魯棒性,其他很多行人檢測的算法都是在使用HOG的基礎上,加上其它特征,如尺度不變特征轉換(Scale-invariantFeatureTransform,SIFT)、局部二值模式(LocalBinaryPattern,LBP)、顏色自相似(ColorSelf—Similarity,CSS)、多通道等等。
Cheng等人觀察到物體都有閉合邊緣,基于HOG特征提出了一種二進制歸一化梯度特征(BING)來預測顯著性窗口的方法,該方法運行速度非???,可以達到300fps。趙勇等在HOG的基礎上提出了一個具有較好的尺度不變特征eHOG,將HOG中梯度直方圖中每個bin的特征重構成一個位平面,再計算其HOG特征。實驗表明,在計算量沒有大幅度增加的情況下,正確率比原HOG高3~6個百分點。HOG特征存在一個問題,即整個HOG特征被拉長成一個矢量,弱化了原來在二維平面局部空間的梯度特征之間的局部關聯(lián)特性。
張永軍等人提出的I-HOG采用多尺度的特征提取算法和構建梯度直方圖之間的關聯(lián),增強了行人邊緣信息在二維平面空間的局部關聯(lián),I-HOG特征相較于原HOG特征較大幅度的提高了檢測率。SIFT是一種檢測局部特征的算法,該算法通過求一幅圖中的特征點及其有關尺度和方向的描述得到特征并進行圖像特征點匹配,用于檢索或者標準圖庫類別的識別時,其不僅具有尺度不變性,即使改變旋轉角度,圖像亮度或拍攝視角也能夠得到非常好的檢測效果。
3基于深度學習的自動駕駛技術
基于視頻分析的目標檢測與識別技術經歷了從傳統(tǒng)特征,如:HOG、SIFT、Bagofvisualwords和Fisher核矢量到深度學習的過渡過程。
HOG得到的描述保持圖像的幾何和光學轉化不變性。Fisher核矢量能統(tǒng)一各類特征的維度、壓縮時精度損失很小等,這些傳統(tǒng)直觀的特征,在目前階段取得了很好的使用效果。但由于目標的種類繁多,變化較大,以及視角的變化等等,使得傳統(tǒng)基于特征的目標檢測遇到了很難超越的瓶頸。
近年來,深度學習的興起,使得大量多類多狀態(tài)下目標檢測與識別的性能可以大幅度提升到擬人水平,甚至在許多方面超越人類。深度學習特征為從大量訓練數據中自動學習到的特征,較傳統(tǒng)特征相比,更能刻畫目標的本質。
深度學習有多個常用模型框架,如自動編碼器、稀疏編碼、限制波爾茲曼機、深信度網絡、卷積神經網絡等。其中基于卷積神經網絡(ConvolutionNeuralNetwork,CNN)的深度學習模型是最常用的模型和研究熱點之一。
20世紀60年代,Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經元時發(fā)現(xiàn)其獨特的網絡結構可以有效地降低反饋神經網絡的復雜性,繼而提出了CNN。K.Fukushima在1980年提出的新識別機是CNN的第一個實現(xiàn)網絡。隨后,目標檢測通過掃描窗來學習并進行檢測,大大提高了多類檢測目標識別的效率。最具有代表性的是深度學習鼻祖Hinton的工作,作者訓練深度神經網絡來對LSVRC-2010和LSVRC-2012的120萬張圖像進行1000種以上的分類,獲得當時最高的檢測率。這種基于掃描窗的方法主要缺點是:掃描窗的大小和位置組合太多,導致計算量過大而難以實現(xiàn)。
CNN思路近年來經過不斷改進,其精確度和計算效率得到極大提升。2014年Girshick等人提出了R-CNNL,其思想為將每個圖片分為約2000個區(qū)域輸入CNN訓練,從預選框中通過CNN提取出固定長度的特征,最后通過特定類別的支持向量機(SVM)來分類。由于需將每一個候選區(qū)域分別送人到Alexnet中進行檢測,導致檢測速度很慢,因此何覬名等人提出SPPnet。SPPnet改變以往使用剪裁一幅圖片使其尺寸滿足Alexnet輸入要求,而是使用任意尺寸圖片作為輸入。
Fast-RCNN在SPPnet的基礎上,使用顯著性檢測方法在原始圖像上提取出預選區(qū)域,并將每一個區(qū)域坐標映射到特定圖上,在進行目標檢測時,使用ROI池化層選取映射的坐標區(qū)域,部分卷積圖像送人分類器,無需對每一個預選區(qū)進行卷積運算,大大提高了檢測速度。
2015年Ren等提出Faster-RCNN,在之前的基礎上使用一個RPN網絡,使用卷積運算一次得到卷積特征圖像,F(xiàn)aster-RCNN是對Fast-RCNN的進一步加速。在2015年12月的ICCV國際會議上,鄒文斌博士在R-CNN的基礎上,提出了基于RCNN的多層次結構顯著性目標檢測方法,在MSRA-B,PASCAL-1500和SOD三個數據集上的實驗表明,其檢測率達到當時業(yè)界最高水平。在該會議上,Kontschieder舊引等提出了在CNN各層輸出的特征基礎上,采用隨機森林,在公開的數據集MNIST和Imagenet上,獲得了較高的檢測率。
CNN和多通道處理結合的方法在圖像識別上也有不錯的效果:
2011年PierreSermanet等人提出多尺度CNN算法,將原始圖像和其子取樣的卷積結果通過線性分類器分類,其GTSRB數據集上精確度達到98.97%。
2012年DanCiresan等人提出使用多通道深度神經網絡的方法識別交通信號。該方法將訓練圖片同時輸入N個深度神經網同時訓練,進行預測時,計算輸入圖像的N個深度神經網預測結果的平均值作為最終結果,其預測結果準確率達到99.46%,超過了人工識別精度。
2014年KarenSimonyan釗等人將連續(xù)視頻分為空間流和時間流,使用不同的CNN處理同一段視頻的物體特征和行為特征,并將二者結合進行行為判別,也極大地提升了識別的精確度。
在輔助駕駛和自動駕駛中,需要識別和估計的目標繁多,包括前方機動車、非機動車、行人、道路標識、道路本身、車道線等等,導致基于目標監(jiān)測與識別的學習算法變得十分復雜。在自動駕駛與機器人導航中,另一種方法直接從視頻圖像中學習前進方向的角度來尋找路徑和繞開障礙物,以及YannLecun的工作,即通過端到端學習,以實現(xiàn)非道路上的障礙物避讓,使用6層的CNN學習人的駕駛行為,可以在穿越視野內區(qū)域的同時學習低層和高層特征,消除人工的校準、矯正、參數調整等等,該系統(tǒng)主要的優(yōu)點是對各種不同環(huán)境下的非道路環(huán)境有非常好的魯棒性。
圖1深度駕駛算法架構
以上工作均為通過深度學習直接將圖像映射到行駛的角度下進行的。在這一思想的影響下,在ICCV2015上,普林斯頓大學提出了深度駕駛算法,其算法架構如圖1所示,通過深度神經網絡直接感知駕駛操控(drivingaffordance),不僅大大簡化了算法的復雜度,而且大大提高了自動駕駛的魯棒性和智能化水平,是自動駕駛技術上的一個重大突破。
深度駕駛的技術,通過采用CNN來直接學習和感知一段時間正確駕駛過程以后,就能學習和感知到實際道路情況下的相關駕駛智能,無需通過感知具體的路況和各種目標,大幅度提升了輔助駕駛算法的性能。
4總結與展望
自動駕駛技術是未來汽車智能化的研究熱點之一。從綜述的文章中可以得出,基于傳統(tǒng)目標檢測最有效HOG特征、SIFT特征、CSS等特征的自動駕駛技術已經取得了不錯成績。
由于實際路況極度復雜,基于傳統(tǒng)目標檢測的輔助駕駛技術性能難以得到大幅度提升,現(xiàn)有的自動駕駛技術,一般依賴于先進的雷達系統(tǒng),顯著增加了系統(tǒng)實施的成本。深度駕駛技術能同時感知道路和道路上的各類目標,為自動駕駛系統(tǒng)提供駕駛邏輯支持,是未來自動駕駛技術研究的方向之一。
在具體的輔助駕駛算法中,如果對路況和目標缺乏整體感知,則很難達到實用化和商用化水平。吸取傳統(tǒng)自動駕駛技術中的精華,借鑒深度學習研究的最新成果,整合傳統(tǒng)特征和深度學習特征,以提供更多信息,不失為一個較好的解決方法。設計自動駕駛技術的新算法,進一步提升深度駕駛的擬人化和實用化水平,是一條值得去繼續(xù)探索的道路。
|