近年來，同步定位與地圖構(gòu)建 (SLAM) 技術(shù)已在自動駕駛、智能機器人、增強現(xiàn)實 (AR) 和虛擬現(xiàn)實 (VR) 等廣泛應(yīng)用中盛行。使用最流行的三種傳感器（例如視覺傳感器、LiDAR 傳感器和 IMU）的多傳感器融合在 SLAM 中變得無處不在，部分原因是互補的感知能力以及獨立傳感器在具有挑戰(zhàn)性的環(huán)境中不可避免的不足（例如，低精度和長期漂移）。
同步定位與地圖構(gòu)建 (SLAM) 是一種估計機器人狀態(tài)（例如位置、方向、速度、傳感器偏差和校準(zhǔn)參數(shù)）的技術(shù)，同時使用機器人上的傳感器感知的數(shù)據(jù)構(gòu)建機器人移動環(huán)境的模型。
雖然全球?qū)Ш叫l(wèi)星系統(tǒng) (GNSS) 可以提供絕 對位置，但在隧道、洞穴、城市峽谷等環(huán)境中并不總是可用或準(zhǔn)確的。低成本輕量級的 IMU 已被廣泛使用，但其測量結(jié)果受到噪聲和偏差的影響，因此無法為長期導(dǎo)航提供可靠的位姿估計。單目相機存在尺度漂移問題，而 LiDAR 在無結(jié)構(gòu)環(huán)境中會失效。因此，通過多傳感器融合，可以彌補獨立傳感器的不足，并提供更可靠的估計。
在導(dǎo)航系統(tǒng)中，我們希望估計傳感平臺的六個自由度 (DOF) 姿態(tài)（方向和位置）。IMU 因其體積小、重量輕、成本低，以及最重要的是能夠以高頻測量其剛性連接的傳感平臺的三軸角速度和線性加速度而廣泛應(yīng)用于導(dǎo)航系統(tǒng)。然而，僅使用 IMU 的導(dǎo)航系統(tǒng)會因 IMU 測量與偏差和噪聲的結(jié)合而遭受無限誤差，無法為長期導(dǎo)航提供可靠的姿態(tài)估計。需要額外的傳感器來克服這個問題。小型輕便的單目攝像頭可提供良好的跟蹤和豐富的地圖信息，這些信息有關(guān)傳感平臺周圍的環(huán)境，可以作為 IMU 的理想補充傳感器之一。IMU 和攝像頭的融合產(chǎn)生了視覺慣性導(dǎo)航系統(tǒng) (VINS)，在過去二十年中引起了廣泛關(guān)注。通常，VINS 算法可以根據(jù)數(shù)據(jù)融合的類型分為基于優(yōu)化的方法和基于過濾的方法。
近年來，人們越來越關(guān)注 LiDAR-慣性融合算法，因為 IMU 以高頻率測量瞬時運動，可用于從高度動態(tài)的運動失真中恢復(fù)點云并預(yù)測兩個 LiDAR 幀之間的相對姿態(tài)。根據(jù)傳感器融合類型，LiDAR-慣性融合算法可分為松耦合方法或緊耦合方法。松耦合方法對運行時間有吸引力，分別考慮 LiDAR 的估計和 IMU 的估計，導(dǎo)致信息丟失和估計不準(zhǔn)確。而緊耦合方法旨在實現(xiàn)準(zhǔn)確估計，在基于優(yōu)化或基于過濾的框架中融合點云和 IMU 測量值，計算成本更高。
LOAM是一種經(jīng)典的 3D LiDAR SLAM 方法，其結(jié)構(gòu)由三個主要模塊組成，即特征提取、里程計和地圖構(gòu)建?，F(xiàn)有工作通常沿用該結(jié)構(gòu)。在 LOAM 中，從當(dāng)前掃描的增長點云中提取的邊緣點和平面點用于在上一次掃描中查找對應(yīng)關(guān)系，以更新上一次遞歸中的位姿變換。假設(shè)在一次掃描期間角速度和線速度恒定，可以通過對上一次遞歸中的位姿變換進行線性插值來計算一次掃描中不同時間的位姿變換。然而，當(dāng)速度變化較快時，LOAM 的精度較低，而 IMU 可以緩解這一問題。集成 IMU 測量值可提供一次掃描期間不同時間的位姿，可以有效補償運動失真，從而大大提高精度和魯棒性。
LION是一種松耦合的 LiDAR 慣性里程計算法，它與 LOAM 共享類似的里程計，無需特征提取和映射，從而降低計算成本。條件數(shù)在 LION 中用作可觀測性度量，以確定是否需要使用其他更可靠的里程計源。為了更好地利用歷史幀信息，緊耦合的 LiDAR-慣性方法通常采用掃描到局部地圖配準(zhǔn)，其中局部地圖由少量最近的 LiDAR 幀組成。
LIOM為受視覺慣性啟發(fā)的緊耦合 LiDAR 慣性融合方法提供了第 一個開源實現(xiàn)。與 LOAM 一樣，LiDAR 運動假設(shè)成立，通過對 IMU 傳播預(yù)測的 LiDAR 運動進行線性插值，可以校正掃描過程中每個點的位置。LIOM 維護一個由當(dāng)前 LiDAR 掃描和最近掃描組成的滑動窗口，其中樞軸 LiDAR 掃描的幀用作局部幀，窗口中的所有掃描都轉(zhuǎn)換到局部幀以獲得局部地圖。LIOM 僅在滑動窗口中通過包含邊緣化先驗項的成本函數(shù)以及相對 LiDAR 約束和 IMU 約束的殘差來優(yōu)化樞軸 LiDAR 位姿和后續(xù)位姿，而不是當(dāng)前位姿。在局部窗口內(nèi)進行非線性優(yōu)化之前，通過 VINS-mono 中的方法初始化 IMU 狀態(tài)在初始化步驟中使用 LOAM 提供的 IMU 測量值和 LiDAR 姿態(tài)。為了提高運行時效率，LINS引入了迭代 ESKF 和機器人中心公式。在 LIO-SAM 中，LiDAR-慣性里程表是在因子圖上制定的，特別適合多傳感器融合。
固態(tài) LiDAR 通常具有非重復(fù)和不規(guī)則的掃描模式，且 FoV 較小，常見的特征提取方法不太適合。為了解決這個問題，LILI-OM提出了第 一個緊耦合固態(tài) LiDAR-慣性融合算法，通過在時間域中對小點塊分割進行特征分解，開發(fā)了一種新的特征提取方法。此外，在滑動窗口優(yōu)化中使用關(guān)鍵幀方案來確保實時性能，因為利用所有傳感器讀數(shù)非常耗時。LILI-OM 采用與 LOAM 類似的方法來補償運動失真，而在 FAST-LIO2，進行反向傳播過程。FAST-LIO2 不提取任何特征，而是直接將原始點注冊到增量 kd 樹數(shù)據(jù)結(jié)構(gòu)維護的地圖中。kd 樹建議支持樹上的下采樣，確保地圖的稀疏性和快速 k-最近搜索。Faster-LIO基本上是在FAST-LIO2的基礎(chǔ)上發(fā)展而來的，提出了一種基于稀疏和增量體素的LiDAR-慣性里程計，用于快速跟蹤。
視覺傳感器（例如單目攝像機）通常價格低廉，并且通過提取視覺特征可以實現(xiàn)回環(huán)檢測。然而，基于視覺的導(dǎo)航系統(tǒng)對光照變化和紋理缺陷很敏感。激光雷達作為一種主動傳感器，在變化的環(huán)境中表現(xiàn)出更好的精度和魯棒性，但在長廊等無結(jié)構(gòu)場景中，即使存在豐富的紋理信息，也會受到影響。由于這兩類傳感器的優(yōu)勢互補，已提出了一些工作，可分為兩類：松耦合方法和緊耦合方法。一些工作側(cè)重于前端集成，而另一些工作則注重后端優(yōu)化，下面將對它們進行詳細討論。
張等人在 DEMO 中利用 LiDAR 深度信息增強視覺里程計。他們利用相機的估計姿勢來注冊深度圖，其中添加了來自相機前方點云的新點。地圖點被轉(zhuǎn)換為球面坐標(biāo)系，并基于兩個角度坐標(biāo)存儲在 2D kd 樹中。然后，對于每個特征，可以通過將其投影到由 kd 樹中特征的三個最近點形成的平面面片上來獲得深度。該方法沒有充分利用 LiDAR 信息。此外，沒有提到 LiDAR 點云的不失真性。該方法未考慮的回環(huán)檢測在后面的參考文獻 [ 中進行了討論。通過應(yīng)用 ORB 特征和詞袋。Shin 等人。采用了和 DEMO 類似的策略，利用 LiDAR 的深度信息來增強視覺 SLAM。他們沒有像 DEMO 那樣從圖像中提取特征，而是在 DSO 內(nèi)部解決問題[75]框架通過將 LiDAR 點投影到圖像上作為特征。然后執(zhí)行與 DSO 相同的多幀光度優(yōu)化來估計關(guān)鍵幀的姿勢。Yan 等人。簡單地結(jié)合了最 先進的視覺里程計和 LiDAR 里程計以松散耦合的方式，僅當(dāng)視覺里程計失敗時才使用 LiDAR 里程計。
為了應(yīng)對具有挑戰(zhàn)性的環(huán)境，人們已經(jīng)利用了學(xué)習(xí)方法。LIMO利用深度學(xué)習(xí)的力量去除動態(tài)物體的特征。LIV-LAM提出了一種用于對象發(fā)現(xiàn)的無監(jiān)督學(xué)習(xí)方法，并使用檢測到的對象特征作為界標(biāo)特征。
張和辛格基于他們之前的研究成果 DEMO 和 LOAM 提出了 V-LOAM，而無需借助 IMU 測量來補償快速運動。在 V-LOAM 中，攝像機的頻率遠高于 LiDAR，因此可以使用具有可觀測尺度的增強型視覺里程計來去畸變 LiDAR 點云。此外，用掃描內(nèi)的線性運動對視覺里程計的漂移進行建模可以提高去畸變程序的性能。然后將未失真的點云匹配并注冊到當(dāng)前構(gòu)建的地圖以細化估計的位姿。然而，消除畸變主要依賴于視覺里程計的結(jié)果，這使其容易受到無紋理或動態(tài)環(huán)境的影響，而視覺里程計可能會在這些環(huán)境中失敗。此外，由于其幀間運動估計。
為了提高姿態(tài)估計的準(zhǔn)確性和魯棒性，最近的研究利用了其他環(huán)境結(jié)構(gòu)特征，如線特征和平面特征。黃等人介紹了一種新的視覺激光雷達里程計方法，利用線段檢測器檢測到的點和線特征并由線帶描述符.黃等人提出了一種基于網(wǎng)格的方法，從點云中明確檢測場景平面，以在光度項中包含盡可能多的像素信息。為了減少遮擋點的惡化，他們利用一種新方法來預(yù)測哪些 LiDAR 點會在視點變化期間被遮擋。Seo 和 Chou嘗試以一種新穎的方式充分利用視覺和 LiDAR 測量數(shù)據(jù)，以避免將 LiDAR 的深度分配給不對應(yīng)的視覺特征的潛在問題。他們分別維護視覺和 LiDAR 測量數(shù)據(jù)，并構(gòu)建兩個不同的地圖，即 LiDAR 體素圖和視覺圖，在求解殘差進行姿態(tài)估計時一起使用它們。Wang 等人。提出了一種直接視覺LiDAR融合SLAM框架，類似于DVL-SLAM 。為了在各種復(fù)雜環(huán)境中獲得更好的魯棒性，他們的框架采用了幀到幀的跟蹤策略、基于LiDAR的掃描到地圖匹配方法以及并行全局和局部搜索環(huán)路閉合檢測（PGLS-LCD）模塊。
相機-激光雷達外部校準(zhǔn)通常在現(xiàn)有工作中被忽略，但在最近的工作中得到了考慮。TVL-SLAM [二十九]是一種緊耦合的視覺-激光雷達融合算法，其中視覺和激光雷達測量在前端獨立使用，而不是通過彼此增強，而所有測量都以緊耦合的方式納入后端優(yōu)化中。假設(shè)激光雷達點云和立體圖像對是在同一時間戳獲取的，并且在全局光束調(diào)整之前已知并固定相機-激光雷達外部參數(shù)，從而可以通過求解一束優(yōu)化來使用所有視覺和激光雷達殘差來細化位姿。當(dāng)檢測到視覺或激光雷達環(huán)路時，在全局光束調(diào)整中估計相機-激光雷達外部參數(shù)，并將每個視覺地圖點與最近的激光雷達體素匹配以創(chuàng)建約束，確保良好的收斂。還討論了在走走停停場景中的運動物體移除，但只考慮了視覺特征。孟等人。[三十]還在類似 TVL-SLAM 的統(tǒng)一框架中聯(lián)合優(yōu)化了視覺和 LiDAR 測量，只不過視覺特征通過 LiDAR 深度信息得到了增強。
僅使用 LiDAR 的方法容易受到幾何形狀退化環(huán)境的影響，例如長隧道或?qū)掗煹目臻g。IMU 測量可以很好地補充僅使用 LiDAR 的方法，但是它們只能在幾秒鐘內(nèi)提供可靠的姿態(tài)估計。因此，LiDAR-慣性方法也容易受到退化情況的影響，尤其是對于視場較小的固態(tài) LiDAR。為了解決這些問題，與其他傳感器（尤其是提供豐富視覺信息的相機）融合是必要的，并且越來越受到關(guān)注。為了保持一致性，我們還將 LiDAR-視覺-慣性方法分為上述兩類。
邵等人提出了一種 VIL-SLAM，它使用立體攝像機作為視覺傳感器，以在某些退化情況下實現(xiàn)更好的性能，例如穿越隧道，而純 LiDAR 系統(tǒng)通常會在這種情況下失效。通過在緊密耦合的固定滯后平滑中融合立體匹配和 IMU 測量，立體 VIO 輸出 IMU 速率和攝像機速率 VIO 姿勢，用于消除運動失真并在 LiDAR 測繪中執(zhí)行掃描到地圖的配準(zhǔn)。他們使用純視覺信息來檢測回環(huán)并構(gòu)建初始回環(huán)約束估計，并通過 LiDAR 測量進一步完善。Wang 等人也提出了類似的工作。并額外考慮了模塊故障。Camurri 等人提出了一種用于在現(xiàn)實場景中運行的腿式機器人的松耦合框架，Khattak 等人提出了一種用于地下環(huán)境中空中機器人姿態(tài)估計的互補多模態(tài)傳感器融合方法。
張和辛格提出了一種順序、多層處理流程，其中首先通過 IMU 測量預(yù)測運動，然后通過視覺慣性里程計估計運動，最后通過掃描到地圖配準(zhǔn)進行細化。為了補償不同步傳感器之間可能出現(xiàn)的校準(zhǔn)差異，Zuo 等人。在 MSCKF 框架內(nèi)提出了一種輕量級處理流程，稱為 LIC-Fusion。為了高效、穩(wěn)健地處理 LiDAR 測量數(shù)據(jù)，他們還在 LIC-Fusion 中引入了一種新穎的平面特征跟蹤算法，并提出了 LIC-Fusion 2.0，其中在消除 IMU 測量的失真后，從 LiDAR 點中提取平面點，并通過考慮 LiDAR 掃描變換的不確定性，采用異常值拒絕標(biāo)準(zhǔn)在滑動窗口內(nèi)進行跟蹤，以實現(xiàn)更高質(zhì)量的數(shù)據(jù)關(guān)聯(lián)。
松耦合方法具有簡單性、可擴展性和低計算需求的特點，而緊耦合方法在準(zhǔn)確性和魯棒性方面表現(xiàn)出更好的性能。為了結(jié)合松耦合方法和緊耦合方法的優(yōu)點，提出了超級里程計采用以 IMU 為中心的數(shù)據(jù)處理流程，由三部分組成：IMU 里程計、視覺慣性里程計和 LiDAR 慣性里程計。IMU 偏差受視覺慣性里程計和 LiDAR 慣性里程計提供的位姿先驗約束，后者接收來自 IMU 里程計的運動預(yù)測。此外，還應(yīng)用了動態(tài)八叉樹以確保實時高性能。其設(shè)計背后的關(guān)鍵見解是，如果偏差漂移受到其他傳感器的良好約束，則 IMU 里程計的估計會非常準(zhǔn)確，因為 IMU 產(chǎn)生的測量結(jié)果平滑，噪聲小，但異常值少。
通過整合 VINS-mono 和 LIO-SAM，Shan 等人提出了一個公開可用的系統(tǒng) LVI-SAM，該系統(tǒng)建立在因子圖之上，由兩個子系統(tǒng)組成，即視覺慣性系統(tǒng) (VIS) 和激光雷達慣性系統(tǒng) (LIS)。與超級里程計不同，在 LVI-SAM 中，可以使用深度關(guān)聯(lián)方法從激光雷達掃描中選擇性地提取特征深度，然后首先由 VIS 識別用于回環(huán)的候選匹配，然后由 LIS 進一步優(yōu)化。因子圖用于聯(lián)合優(yōu)化來自 VIS、LIS、IMU 預(yù)積分和回環(huán)的所有約束。
為了實現(xiàn)實時性能，Lin 等人提出了一種誤差狀態(tài)迭代卡爾曼濾波器框架，其中 LiDAR 點到平面殘差、圖像重新投影誤差和 IMU 傳播緊密融合。對于每個攝像機輸入圖像，使用視覺地標(biāo)圖檢測和跟蹤快速角點以計算重新投影誤差。此外，利用因子圖優(yōu)化進一步提高局部滑動窗口內(nèi)視覺測量的準(zhǔn)確性。鄭等人沒有從 LiDAR 點云和圖像中提取特征，而是提出了 FAST-LIVO ，由兩個直接里程計子系統(tǒng)組成：一個直接改編自 FAST-LIO2 的 LIO 子系統(tǒng)以及與 Ref. [ 類似的 VIO 子系統(tǒng)。LIO 構(gòu)建的地圖點會附加圖像塊，然后用于通過最小化直接光度誤差在 VIO 中對齊新圖像，從而節(jié)省后端時間。R3LIVE 采用了類似的框架并附加了 Perspective-n-Point (PnP) 投影誤差。以上三種方法均未啟用環(huán)路閉合，并且 LiDAR 傳感器為固態(tài) LiDAR。
盡管近年來已經(jīng)提出了許多具有不同框架的多傳感器融合算法，但仍然存在一些挑戰(zhàn)，例如傳感器到傳感器的校準(zhǔn)、有效的數(shù)據(jù)關(guān)聯(lián)、良好的初始化和動態(tài)環(huán)境。
在相機到 IMU 校準(zhǔn)方面，早期的方法依賴于人工標(biāo)記或準(zhǔn)確的初始化。為了解決這些問題，楊和沈提出了一種能夠即時獲得精 確的相機-IMU 外部校準(zhǔn)的方法。然而，他們的方法假設(shè)可以跟蹤足夠的特征。對于相機-LiDAR 校準(zhǔn)，Geiger 等人。提出了一種通過檢測和匹配攝像頭和 LiDAR 視場中的特殊標(biāo)記板，使用單次拍攝的自動方法。在參考文獻中介紹了一種通過最 大化傳感器測量的表面強度之間的相互信息來進行無標(biāo)記校準(zhǔn)的方法。為了確保良好的收斂，Chou 和 Chou 通過在視覺地圖點和 LiDAR 體素圖之間進行配準(zhǔn)，添加純幾何約束，使外部變量成為全局光束調(diào)整中的可調(diào)變量，但該方法需要良好的初始值，而純視覺方法可能無法為視覺地圖點提供準(zhǔn)確的比例。
更多數(shù)據(jù)可以帶來更高的準(zhǔn)確率，但通常需要更多的計算資源。如圖所示，超級里程計由三部分組成：IMU 里程計、視覺慣性里程計和 LiDAR 慣性里程計，這意味著在資源有限的平臺上無法保證實時性。融合里程計的結(jié)果可能比直接關(guān)聯(lián)傳感器數(shù)據(jù)花費更多的時間。LVI-SAM利用精 確的 LiDAR 深度信息極大地促進了視覺慣性里程計初始化和 R3LIVE 直接利用 LiDAR 點云對圖像進行特征跟蹤，而無需特征提取和三角測量，這顯著加速了視覺慣性里程計。然而，當(dāng)使用機械 LiDAR 時，這種方法可能會失敗。在 LiDAR-Visual-Inertial 融合算法中，更通用和高效的數(shù)據(jù)關(guān)聯(lián)仍然具有挑戰(zhàn)性。
由于視覺慣性方法的非線性，不良的初始化會對其性能產(chǎn)生巨大影響。通過利用短期 IMU 預(yù)積分中的相對旋轉(zhuǎn)，參考文獻提出了一種不考慮陀螺儀偏差的線性估計器初始化方法，當(dāng)視覺特征遠離傳感器套件時，導(dǎo)致初始化不可靠。在參考文獻中推導(dǎo)出了視覺慣性運動結(jié)構(gòu) (SfM) 問題的閉式解。 并在參考文獻 [ 中進行了改進 通過對陀螺儀偏差進行建模。建立在 ORB-SLAM 之上，參考介紹了一種 IMU 初始化方法，該方法需要幾秒鐘才能完成尺度收斂。為了實現(xiàn)快速而穩(wěn)健的初始化，Qin 和 Shen 對齊度量 IMU 預(yù)積分與僅視覺的 SfM 結(jié)果以獲取初始值。Cheng 等人不使用 SfM，而是使用使用 ORB-SLAM 實現(xiàn)更快的收斂。此外，新方法最近出現(xiàn)，以實現(xiàn)更快、更準(zhǔn)確的初始化。
大多數(shù)現(xiàn)有的融合算法都假設(shè)環(huán)境是靜態(tài)的；然而，在現(xiàn)實世界中情況并非總是如此。例如，行走的人和移動的車輛是現(xiàn)實世界中常見的動態(tài)物體。來自動態(tài)物體的點云會降低掃描到地圖配準(zhǔn)或掃描到掃描配準(zhǔn)的準(zhǔn)確性，導(dǎo)致錯誤的相對姿態(tài)估計。與機械激光雷達相比，相機的視場要小得多，這使其更容易受到運動物體的影響。假設(shè)運動物體上的跟蹤特征沒有被正確拒絕。在這種情況下，運動估計器將計算出錯誤的運動，這會進一步惡化局部或全局優(yōu)化并導(dǎo)致系統(tǒng)失敗。
根據(jù)所審查的文獻和上述挑戰(zhàn)，我們提出了一些未來的研究方向：
?多功能、高效的融合框架：目前最 先進的算法通常是為特定平臺設(shè)計的，很難部署到具有類似傳感器的其他平臺上。傳感器之間的自動校準(zhǔn)至關(guān)重要，應(yīng)保證準(zhǔn)確的初始化，尤其是對于配備視覺傳感器的平臺。此外，應(yīng)利用高效的數(shù)據(jù)關(guān)聯(lián)來確保實時性能。
?深度學(xué)習(xí)輔助方法：利用深度學(xué)習(xí)是多傳感器融合框架中一個不斷發(fā)展的領(lǐng)域，可用于特征提取、運動物體檢測、環(huán)境呈現(xiàn)等。
?分布式協(xié)作方法：不同的機器人配備不同的傳感器來執(zhí)行相同的SLAM任務(wù)將大大減輕單個機器人的負擔(dān)，但這是一個相當(dāng)具有挑戰(zhàn)性的問題而且關(guān)于它的文獻很少。
多傳感器融合技術(shù)近年來在機器人領(lǐng)域受到越來越多的關(guān)注。本研究簡要介紹了著名的狀態(tài)估計形成，并總結(jié)了過去十年來的多傳感器融合方法。我們首先根據(jù)傳感器的組合將多傳感器融合算法分為四類，然后根據(jù)數(shù)據(jù)融合對其進行分類。介紹了每種方法最 具代表性的技術(shù)。此外，還討論了挑戰(zhàn)和未來的研究方向，以使該技術(shù)通用、穩(wěn)健和實用。
公眾號 掃碼咨詢
 |
上海市閔行區(qū)中春路4999號莘莊商務(wù)樓1326室 |
 |
service@covond.com |
 |
www.861030.com |
 |
交換機：18017588179（孫經(jīng)理） 無人機：13311882358（孫總） |
