深度解析:告訴你自動駕駛成功的關鍵是什么

2017-07-14 15:07:41 來源: 網易智能 作者:

【網易智能訊7月11日消息】自動駕駛汽車有三大主要系統功能:(1)汽車傳感器相關系統功能;(2)汽車計算相關功能,也就是人們所認為的人工智能;(3)汽車控制相關的功能,控制油門、剎車、方向盤等。

今天我將主要討論傳感器和傳感器數據使用方面的問題,即傳感器融合。雖然今天只談這一個方面,但同時也要意識到三大系統必須協同運作,這一點十分關鍵。就算車上裝了最好的傳感器,但人工智能和控制系統都很弱的話,那肯定不是一輛好開的自動駕駛汽車。但如果你有很棒的人工智能和控制系統,但配的傳感器很糟糕的話,同樣還是會碰到問題,因為如果傳感器不靈的話,汽車就沒辦法感知所處的周遭環境,繼而撞上附近的物體。

作為CyberneticSelf-DrivingCarInstitute的執行董事,我對傳感器融合特別感興趣,因此我認為,可以就這一話題提供一些見解。但是,正如我之前所提到的,另外兩個系統對于擁有一輛能正常運作的自動駕駛汽車同樣重要。

自動駕駛汽車需要有能探測所處環境的傳感器,此外還需要有專門的子系統來控制傳感器以及處理傳感器收集到的數據。這些傳感器可以是攝像頭,收集圖形數據;可以是雷達,通過無線電波探測物體,也可以是利用激光光波的激光雷達,還可以是超聲波傳感器,等等。傳感器可以分為主動傳感器和被動傳感器兩種:被動傳感器,諸如攝像頭,只能接收外部的光,形成圖像;主動傳感器的一例則是雷達,雷達可以發出無線電磁波,并接收反射回的電磁波,探測是否有物體在附近。

為了解讀所收集到的數據,需要通過某種方式將各類數據整合在一起,這一過程被稱為為傳感器融合。通常,整個人工智能處理系統會模擬出汽車周圍環境,人工智能系統同時還會不斷接收新的傳感器數據,更新模型。傳感器數據融合之后,人工智能需要決定應該采取何種行動,然后向汽車的控制系統發出合適的指令,執行這些命令。可以類比人類身體的運作方式。人的眼睛在接收了視覺圖像后,接收到的圖片會送到人的大腦。你的大腦將構建一個周圍世界的模型。基于收到的新圖像,大腦會更新模型,并推斷出身體下一步該做什么。

假設現在你在巴塞羅那奔牛節現場。站在街轉角,等著瘋狂公牛的到來。大腦建立了一個周圍街道和行人的模型。突然你看見公牛朝著你沖了過來。公牛沖鋒的畫面會傳到你的大腦,隨后大腦更新當下情況的模型,認為你應該“撒開腳丫子跑”。然后,大腦就命令你的動起來,開始逃命。大腦命令你沿著街道逃跑,遠離公牛。

在這個類比中,我們有一個傳感器,也就是人的眼睛。眼睛收集視覺圖像。眼睛本身不會處理收集到的圖像。主要功能就是收集圖像。你的眼球有一定的容錯性:即使遮住一部分視線,眼睛還是可以捕捉到圖像。就算視線被類似紗布的東西完全遮住了,眼睛的功能還是正常的,但是它也會意識到有什么地方不對。這一信息一樣會傳到大腦。

就解讀圖像來說,眼球本身不具備處理圖像的功能。據目前所知,眼球無法識別出朝著你沖過來的是公牛。參與識別的是大腦,在接受到眼睛收集到的圖像后,大腦嘗試解讀圖片的內容和意義。大腦會對周圍環境進行監控。當你站在巴塞羅那的時候,大腦知道你在奔牛節活動現場。大腦建立的這種模型能結合環境對公牛沖鋒的圖像進行解讀。因為它意識到了,在所處的這個環境里,有可能出現公牛朝著人沖過來的情景。

假設你是站在紐約時代廣場上。模型里可能不會包含有公牛沖過來的情景。就算如此,大腦還是能處理這樣一張圖片,只不過和紐約時代廣場的模型不兼容。朝你沖過來的可能會是一輛出租,也可能是一個穿著蜘蛛俠外衣的怪咖,但是絕不會是一頭公牛。

人類有多種感官。人的大腦除了利用視覺,還會利用觸覺、能察覺怪味的嗅覺、味覺,還有聽覺來。與人類五感配套的,還有身上的各種器官。例如,耳朵是聽覺傳感裝置。耳朵接收到聲音后,將信息傳給大腦。大腦試圖找出這些聲音的含義。

回到剛才巴塞羅那的那個例子,在公牛出現在街轉角之前,你可能就已經聽到了公牛的蹄聲。聽到蹄聲后,大腦會立即更新模型,加入“公牛在附近”的信息。甚至還可能命令你開始跑路。但它也可能會命令你先等著,通過眼睛確定公牛是不是朝著你沖過來。

在接收到某一感官的信息后,大腦可能需要另一感官的數據來進行對照和確認。在自動駕駛汽車上,可能只有一種傳感裝置,比如說雷達。也就是說,這類自動駕駛汽車只能通過雷達探測收尾環境。就像人類只有視覺,而失去其他感官一樣。

自動駕駛汽車還可以搭載多種傳感裝置——例如雷達、激光雷達、超聲波傳感器。自動駕駛汽車上既有搭載單一類型的,也有搭載多種類型傳感器的。拿特斯拉舉例,一輛特斯拉在前保險杠下方裝雷達單元的同時,還有有六個超聲波探測器單元,分別分布于車外殼或者車里。

每種類型的傳感器都有不同的用途。眼睛用來看,耳朵用來聽,不同類型傳感器功能也不一樣。例如,雷達用于距離探測和物體的速度,探測范圍通常在500英尺左右。超聲波傳感器則用于近距離探測,探測范圍在距車3到6英尺內。這種雷達多用于常見的駕駛情景之中,檢測無人駕駛汽車前方是否有其他車輛。而超聲波傳感器則用來輔助停車,因為停車時汽車需要知道附近車輛的位置。超聲波傳感器還可以輔助變道,在變道的時候,傳感器可以探測到視覺盲區里的車輛。

之前提過,眼睛有一定的容錯率,即使在有障礙的情況下也能獲取部分圖片。自動駕駛汽車上的傳感器也同樣如此。一個雷達裝置可能會檢測到電磁波沒發出或者反射回來的電磁波信號不穩定。這有可能是雷達本身出了問題。也有可能是所探測的物體超出正常探測范圍,比方說探測范圍是500英尺,但物體距離是600英尺,所以反射回來的雷達波信號很弱。雷達也就無法確定物體到底在不在那。

也有可能會出現“鬼影”,也就是傳感器探測到有物體,但實際上沒有的情況。想象你身處一間非常暗的房間里,然后覺得眼前出現了什么東西漂浮在空中。那到底是真的有什么東西,還是眼睛的錯覺呢?眼球會欺騙我們的大腦,基于虛假信息對大腦進行刺激。

類似的,已經有研究人員證明了,可以愚弄自動駕駛汽車上傳感器。利用一些圖片,研究人員愚弄了自動駕駛汽車上的攝像頭,讓他們誤以為自己處在一個和現實不相符的場景里。想象你在巴塞羅那,但我在你眼前舉著一張紐約時代廣場的圖片,于是你的大腦會試著弄清楚到底發生了什么:眼前的究竟是一張圖片呢?還是時空錯亂了?

研究人員還戲弄了雷達。可能大家已經聽說過,很多年前就有人借助違規設備,糊弄警車雷達測速儀的事情。有了這種裝置后,警車雷達測速儀顯示的速度遠低于汽車實際駕駛速度。那些設備都涉嫌違法。

傳感器的探測結果可能會出現“假陽性”的情況。“假陽性”是指傳感器探測到實際不存在的物體的情況。假設雷達探測到車輛正前方有另一輛車停在路上。自動駕駛汽車的人工智能系統或許會緊急剎車。但車載攝像頭傳輸的畫面卻顯示前方沒有車輛,與雷達偵測到的數據沖突。這個時候,人工智能系統需要決定哪個才是正確的,是顯示有車輛的雷達,還是顯示沒有車輛的攝像頭。也許是因為那個物體攝像頭拍不到,但是雷達能偵測到。又或許雷達只是謊報,應該相信攝像頭,因為攝像頭拍攝的照片里沒有任何物體。

如果雷達是正確的,而且物體確實在那,但是攝像頭的照片里卻沒有物體,那么攝像頭報告的結果就是“假陰性”。“假陰性”是指傳感器顯示沒有,但是實際上卻有物體存在的情況。任何傳感器在任何情況下都可能會匯報“假陰性”或者“假陽性”的情況。自動駕駛汽車的人工智能則需要弄明白哪個是真的,哪個是假的。這對人工智能來說很難做到。

人工智能通常會把所有的傳感器數據都列舉出來,判斷是否有哪一個傳感器出錯了。一些人工智能可能會預先設定好,認為某些傳感器比其他傳感器更準確,所以出現沖突的時候就依賴優先級高的傳感器。其他可能會啟用投票機制,比方說有X個傳感器判斷有東西在那兒,然后又Y個傳感器顯示沒有東西,若X大于Y的話,那么人工智能就斷定有東西在那。另一種流行的方法是隨機抽樣一致性算法(RANSAC)。

考慮到交通道路的風險問題,相比之下,在一個不存在的物體前停下來,比汽車撞上一個沒有偵測到的物體要的情形要好得多。這就是傳感器融合發揮作用的時候。傳感器融合包括收集各種傳感器數據,并試圖理解它們。

在一些汽車中,例如特斯拉的某些型號中,雷達和攝像頭數據在輸入至人工智能之前,會被整合在一起。然后,人工智能接收到的數據就是經這兩個單元融合之后的數據,而且還會與其他類型傳感器收集到的數據整合在一起,比方說超聲波傳感器。

之所以提到這一點,是因為對自動駕駛汽車而言,沒有必須將哪幾類傳感器數據融合在一起的說法。傳感器數據間的融合可以有多種組合。這一點很重要。想象一下,如果你的大腦接收到的不是來自眼睛和耳朵的原始數據,而是一些預預先處理過的。處于中間過程的傳感器融合將會產生各種假設和轉變,以至于大腦對這些假設和轉變形成依賴。

自動駕駛汽車內部有一套允許設備間進行自由數據交換的網絡。汽車工程師協會(theSocietyofAutomotiveEngineers)已經制定了一套稱為“控制器區域網絡”(ControllerAreaNetwork,C.A.N.)的普適標準。該網絡不需要計算機主機,且允許設備在網絡中自由發送信息。網絡上的設備會一直處于隨時準備接收信息的狀態,也就是說設備會一直檢查是否有指向該設備的信息。這些設備通常被稱為電子控制單元(ElectronicControlUnits,ECU),被視為該網絡中的節點。

控制器區域網絡類似于TCP-IP協議,允許在設備之間進行異步通信,并且每個消息都包含在一個信封中,除了表示消息的ID,還包括錯誤校正代碼和消息本身。

傳感器融合通常被稱為多傳感器數據融合(Multi-SensorDataFusion,MSDF)。獲取了多個傳感器的數據之后,會有一個低層級的分析,確定哪些傳感器運作正常,哪些傳感器可能有問題。MSDF將通過范例或一套方法來判斷哪些傳感器可能出現故障,哪些是正常的。最終,它將發送原始傳感器數據整理成的轉換信號,附帶關于這些傳感器數據的一些結論,一齊傳送至無人駕駛汽車的大腦——人工智能。人工智能系統或者處理系統會更新環境模型,并在更高、更抽象的層級上作出決定如何處理的決定。結果通常是對汽車進行控制,比如加速、減速、左轉、右轉等等。

視野(Field-of-View,FOV)對自動駕駛汽車了解外部世界而言至關重要。例如,汽車前安全杠的雷達裝置通常會發出類似風扇的雷達探測波,但它只能偵測到汽車前方的物體。如果物體和汽車角度偏移的話,車前雷達是偵測不到的。同樣,車前雷達也無法偵測到車兩旁或者是車后的物體。人工智能系統需要意識到,車前雷達所提供的信息僅僅是關于車政策前方路況的。也就是說,僅依靠車前雷達,自動駕駛汽車完全看不到車兩旁和車后的車輛。今天的自動駕駛汽車上,可以使用激光雷達來360度模擬周圍的環境。激光雷達利用激光脈沖,會360度不斷旋轉。如此一來,激光雷達便可全方位探測汽車周圍的物體。

當激光雷達和前置雷達、前置攝像頭以及汽車側面的超聲波傳感器相結合時,可建立并維持一個更貼近現實的環境模型。你可能會想,為什么不在無人駕駛汽車上裝一堆這樣的傳感器呢?難道不是傳感器越多模型也就越精確?理論上這樣做是可行的,但實際上這種做法會導致汽車成本、重量和體積增大。

自動駕駛汽車制造商都在想方設法搞清楚用多少傳感器、用哪些傳感器、傳感器如何又該如何搭配,才能滿足自動駕駛汽車的需要。傳感器越多,意味著數據也越多,但是也伴隨著計算量增大、硬件成本升高。同理,傳感器越少、數據以及運算也就越少,成本也就越低。我之前提到過,特斯拉的埃隆·馬斯克說他不相信自動駕駛汽車需要激光雷達,所以特斯拉的車都沒有用激光雷達。他的說法對不對呢?目前我們還不知道。時間會告訴我們答案。

行業發展到某一程度后,會出現這樣一種局面:一些自動駕駛汽車是安全的,另一些不安全,或者說一些自動駕駛汽車比另一些自動駕駛汽車更安全。

這就是為什么我一直預測未來我自動駕駛汽車行業會進行洗牌。那些不那么安全的傳感器搭配方案會被淘汰出局。目前我們還不知道什么是正確的組合。從理論上講,自動駕駛汽車的公路測試會揭露哪種方案是最安全的,但希望結論不是建立在人命之上。

基于傳感器數據,通常需要進行多目標跟蹤(Multi-TargetTracking,MTT)。需要對原始數據進行檢查,以確定數據特征,并執行所謂的特征提取。

借助攝像機的圖片,傳感器融合技術發現一位行人正站在離車幾英尺遠的地方。如果擔心行人可能會走到汽車行駛路徑上的話,人工智能可能會決定追蹤該行人。隨后,當照相機再次拍攝到行人的照片時,人工智能便會將該行人歸類為需要追蹤的“目標”物體。如果車馬上就要撞上行人了,人工智能可能會進行緊急制動。

人工智能系統需要從動態和靜態兩個角度來解讀傳感器數據。從靜態的角度來說,傳感器數據顯示了汽車周圍的物理空間。比方說車前方有一輛車,右側有一位行人,左側有一堵墻。從動態的角度來說,人工智能需要意識到,隨著時間的推移,事情會發生變化。例如,之前的行人現在已經從車的右邊移到了左邊。之前在前方的車已經不在前面了,因為剛才它停在路邊了。隨著各種傳感器數據流入人工智能系統,它將對數據進行實時分析。人工智能系統出了有靜態模塊外,還需要動態模塊。

處于A位置的物體正在向B位置移動,那么當物體到達位置B時,自動駕駛汽車應該如何應對?

所以說自動駕駛汽車不光要能識別當下環境,還必須能夠預測未來。人類司機再開車的時候也是這樣的。假設我們看到一位滑滑板的少年。他在人行道上快速移動。我估計他會從路邊跳下來,滑到我車的行駛路徑上。因此,我決定提前轉左轉彎,避免在他跳到機動車道的時候我撞上他的情況。如果我乘坐的是一輛自動駕駛汽車的話,汽車也會收集關于這名少年的各類數據,而且在其構建的環境模型里作出同樣的預測。

對于那些了解微處理器處理速度的人來說,他們可能會想,每一秒都會有大量的傳感器數據產生并涌入人工智能系統,那自動駕駛汽車是如何做到對這些數據進行實時分析并及時作出各種決定的呢?

這確實需要大量高速處理器同時運轉。

具體說來,流程應該是這樣的。首先有一幅雷達圖像被捕獲,負責雷達單元的電子控制單元(ECU)花很短的時間對捕捉到的圖像進行預處理。然后借助控制區域網絡(CAN),把圖像發送到傳感器融合中心。在區域網絡傳輸圖像,以及接受信息都要花時間。同時傳感器融合中心也會接受來自攝像頭、超聲波傳感器和激光雷達傳感器的數據。傳感器融合處理了所有這些數據,又需要短暫時間。最終結果被傳到人工智能上。人工智能需要對其進行處理,并更新環境模型。這需要時間。然后,通過控制區域網絡(CAN),人工智能向汽車控制系統發出指令,這需要時間來完成。然后,控制系統接收命令,明確它要做什么,繼而采取實際行動。

這一切都需要時間。如果處理器的速度不夠快,導致從傳感器接受數據到最終汽車作出反應之間的延遲過長的話,可能會成為一起自動駕駛汽車事故,導致有人因此喪命。

這不僅與處理器的原始速度有關,而且也與處理的內容有關。例如,如果人工智能計算的時間過長的話,就算最終得到的決定是正確的,也沒有時間來執行。

你肯定有過這種經歷:坐在一臺有人類開的車里,司機猶豫要怎么開,然后在路口的地方突然轉向。猶豫讓他們陷入了兩難的困境:他們要么是在紅燈之前加速沖過路口,要么是在路口緊急剎車。不管哪種情況,由于它們的猶豫不決,都提高了自己和周圍人的風險。自動駕駛汽車也會陷入完全一樣的困境之中。

下面是一些關于傳感器和傳感器融合需要考慮的因素:成本、體積、重量、可拓展性、可靠性、制冷、安裝、空間、故障自檢、報告、容錯性、靈活性、冗余性、反戲弄。

傳感器融合是自動駕駛汽車發展中的一個重要方面。對于在做的軟件工程師或計算機科學家的讀者來說,你們有很多機會來提出新思路和創新方式來改進傳感器融合。

自動駕駛汽車制造商知道,良好的傳感器融合對一款正常運轉的自動駕駛汽車至關重要。大多數消費者不知道傳感器融合正在進行,也不知道它是如何進行的。他們只想知道,自動駕駛汽車有多神奇,能不能安全地把他們從Y點帶到Z點。傳感器融合得越好,用戶們就越難以察覺其存在,我們的自動駕駛汽車也會越安全。

責任編輯: 范琪
頂級大咖 更多>>

馬云力挺貴陽數博會:30...

馬云說:如果大家錯過了三十年前廣東、浙江的投資機遇,...

潘云鶴院士:AI2.0時代的...

中國新一代AI的重點方向將從數據智能、群體智能、跨媒體...

姚期智:中國AI不能滿足...

作為圖靈獎唯一的華人獲獎者,大名鼎鼎的“清華姚班”創...

譚鐵牛院士:向生物學習...

當前,一些面向特定任務的模式識別已取得突破性進展,有...

2017數博會:騰訊將攜大...

騰訊將連續第三年深度參與數博會,帶來大數據可視交互系...

行業對話 更多>>

抗擊疫情 人工智能大數據...

2月4日,工信部發出倡議:充分發揮人工智能賦能效用,協...

眾“智”成城,AI助力戰...

一場突如其來的疫情,打亂了人們2020年春節的很多計劃。...

浙江突破AI診斷技術:疑...

針對新型冠狀病毒的AI診斷技術,將在浙江大規模應用!2月...

5G+遠程醫療 云南開出首...

清晰的圖像,無延時語音和動作,多學科專家互動……屏幕...

可穿戴設備走進工作場所

近日,IDC發布了2019年第三季度中國可穿戴設備市場報告,...

异域狂兽登陆
江苏快3推荐一定牛 彩票下载就送彩金 东北东北四人单机麻将 吉林时时计划软件手机版下载 大发pk10双面盘规律 竞彩比分直播 三肖三肖六码免费公开长期 海南麻将怎么打教学 亿客隆彩票首页 pk10为什么一押大就输 广东麻将什么牌最大 卡五星麻将猜牌心得 新浪体育录播 玩扎金花技巧顺口溜 广东快乐十分预测技巧 河南快3专家预测