面對(duì)高溫暴雨的天氣，四周堆砌的集裝箱，港口的自動(dòng)駕駛卡車仍要保持24小時(shí)不間斷的作業(yè)計(jì)劃。夜間的安全運(yùn)輸，無疑對(duì)任何一輛自動(dòng)駕駛卡車來說，挑戰(zhàn)巨大。這就需要一雙智慧的“眼睛”精準(zhǔn)識(shí)別并避開障礙物。

卡車的“慧眼”功能來自于3D檢測(cè)技術(shù)。在自動(dòng)駕駛領(lǐng)域，它是實(shí)現(xiàn)環(huán)境精準(zhǔn)感知的關(guān)鍵支柱，為車輛運(yùn)行做出安全決策?，F(xiàn)有的3D檢測(cè)方案中，單目攝像頭因?yàn)椴渴鸷?jiǎn)單、成本較低而通用，但難以估算復(fù)雜場(chǎng)景中的深度信息，存在一定安全隱患。而采用立體攝像頭，也并非完美。

3D檢測(cè)技術(shù)助力 自動(dòng)駕駛車輛“理解”并“感知”周圍環(huán)境

雖然它模仿人類雙眼成像原理，通過“視差”計(jì)算深度信息解決部分問題。但面對(duì)強(qiáng)光變化或動(dòng)態(tài)物體的干擾，對(duì)于遠(yuǎn)距離或小物體的感知精度欠佳。這好比車輛會(huì)常常因?yàn)?ldquo;視力不佳”影響作業(yè)安全與效率。因此，提升深度感知的精度和魯棒性，成為3D檢測(cè)技術(shù)的重要挑戰(zhàn)。

一場(chǎng)“視力”升級(jí)的考驗(yàn)

假如這項(xiàng)技術(shù)難題被攻克，帶來的不僅僅是安全性、自動(dòng)化效率，還能創(chuàng)造降本，加速智能化的進(jìn)程。這無疑是一項(xiàng)值得探索的創(chuàng)新行動(dòng)。對(duì)此，西井科技聯(lián)合同濟(jì)大學(xué)，研發(fā)了一種全新的3D檢測(cè)法——立體金字塔變壓器（Stereo Pyramid Transformer，SPT），為自動(dòng)駕駛的“慧眼”賦予了全新的視角以及更清晰的視野。

在今年的IROS（IEEE/RSJ國(guó)際智能國(guó)際智能機(jī)器人與系統(tǒng)會(huì)議）學(xué)術(shù)會(huì)議上，雙方共同就研究成果發(fā)布了一篇論文《3D Object Detection via Stereo Pyramid Transformers with RichSemantic Feature Fusion》（《通過立體金字塔變換器和豐富語義特征融合的3D目標(biāo)檢測(cè)》），并被IROS官方收錄及正式發(fā)表。

榮獲IROS官方收錄及正式發(fā)表 并在IROS 2024國(guó)際頂尖學(xué)術(shù)會(huì)議上廣受關(guān)注

SPT的創(chuàng)新在于多層“金字塔”結(jié)構(gòu)，通過逐層提取和融合圖像特征，使模型具備深入理解和處理復(fù)雜信息的能力。這一結(jié)構(gòu)使得每一層都能專注于特定的圖像區(qū)域，捕捉到更細(xì)致的場(chǎng)景細(xì)節(jié)。同時(shí)，語義注意力機(jī)制幫助模型理解物體之間的空間關(guān)系，為自動(dòng)駕駛車輛規(guī)劃最優(yōu)路徑提供有力支持。

定性結(jié)果表明 SPT檢測(cè)算法準(zhǔn)確地定位了物體

此外，SPT還創(chuàng)新地結(jié)合了雙目檢測(cè)與單目深度預(yù)測(cè)，將雙目攝像頭與單目攝像頭的數(shù)據(jù)融合，以更高的深度感知精度應(yīng)對(duì)復(fù)雜環(huán)境。即便在大雨或或霧霾等惡劣天氣，它依然能夠整合多視角的圖像數(shù)據(jù)，保持穩(wěn)定高效的檢測(cè)性能。

技術(shù)驗(yàn)證的里程碑成果

在KITTI和自有數(shù)據(jù)集上的測(cè)試表明，SPT在復(fù)雜環(huán)境中的表現(xiàn)力遠(yuǎn)超以往的3D檢測(cè)技術(shù)。它的檢測(cè)準(zhǔn)確率達(dá)到85.14%的mAP3D，足以證明其在多種環(huán)境中的穩(wěn)定性。在嚴(yán)苛的消融實(shí)驗(yàn)中，我們的研發(fā)人員明確了各模塊的貢獻(xiàn)，進(jìn)一步明確了“深度信息”對(duì)于模型構(gòu)建的重要性。

注：KITTI公開基準(zhǔn)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

注：消融實(shí)驗(yàn)結(jié)果

即使在極端測(cè)試條件下，如嚴(yán)重遮擋和復(fù)雜光照下，SPT仍能精準(zhǔn)識(shí)別目標(biāo)物體，顯示出其對(duì)動(dòng)態(tài)環(huán)境的強(qiáng)適應(yīng)性。同時(shí)，我們深度誤差分析表明，SPT的像素平均深度估算誤差顯著低于其他模型，從0.25降至0.1567米，為空間位置估計(jì)提供了可靠的技術(shù)支持。

西井新能源自動(dòng)駕駛重卡E-Truck應(yīng)用于海港運(yùn)輸

西井新能源無人駕駛牽引車Q-Tractor應(yīng)用于機(jī)場(chǎng)貨站運(yùn)輸

西井無人駕駛重卡Q-Truck 參與工廠及園區(qū)運(yùn)輸作業(yè)

在實(shí)際海港場(chǎng)景應(yīng)用中，SPT的檢測(cè)能力得到了充分發(fā)揮。有了它的助力，西井自研的新能源商用車E-Truck（自動(dòng)駕駛重卡）、Q-Truck（無人駕駛重卡）以及Q-Tractor（無人駕駛牽引車）等，不僅能看清遠(yuǎn)方的環(huán)境情況，還能及時(shí)識(shí)別周圍空間并做出精準(zhǔn)判斷。這些車輛可以在空港、陸港、鐵路港、工廠及工業(yè)園區(qū)等復(fù)雜場(chǎng)景中流暢運(yùn)行，有效避免潛在的車輛或設(shè)備碰撞風(fēng)險(xiǎn)，確保運(yùn)輸任務(wù)的安全高效完成。

產(chǎn)學(xué)研驅(qū)動(dòng)自動(dòng)駕駛向前

西井科技與同濟(jì)大學(xué)的產(chǎn)學(xué)研合作，是理論技術(shù)與實(shí)際應(yīng)用的有效結(jié)合，確保了這項(xiàng)3D檢測(cè)新技術(shù)的可靠性。這一創(chuàng)新方案在成本控制與精準(zhǔn)度上取得了良好平衡，為未來的大規(guī)模應(yīng)用奠定了基礎(chǔ)。

目前，SPT主要搭載在西井科技自主研發(fā)的雙目攝像頭，除了安裝在自動(dòng)駕駛及無人駕駛重卡上，還被應(yīng)用于場(chǎng)景化智能識(shí)別的貨物檢測(cè)。隨著軟件系統(tǒng)不斷迭代，這雙敏銳的眼睛也將不斷進(jìn)化，提升感知識(shí)別的精準(zhǔn)度及自動(dòng)化效率。也對(duì)環(huán)境安全、可持續(xù)發(fā)展做出重要貢獻(xiàn)。

西井科技自研雙目攝像頭應(yīng)用于車端及場(chǎng)景智能識(shí)別

在全球大物流領(lǐng)域，西井科技以“智能化、綠色化”為目標(biāo)，不斷加強(qiáng)新智能、新能源的技術(shù)創(chuàng)新與場(chǎng)景應(yīng)用，推動(dòng)多場(chǎng)景的可持續(xù)轉(zhuǎn)型與環(huán)保升級(jí)。SPT的實(shí)踐成果，不但代表了西井在自動(dòng)駕駛研發(fā)的競(jìng)爭(zhēng)力，更是為綠色物流的高效進(jìn)化提供了強(qiáng)大動(dòng)力與安全保障。