與基于激光雷達(dá)的方案相比，視覺SLAM具有低成本和易于安裝的優(yōu)點(diǎn)，具有較強(qiáng)的場景識別能力。事實(shí)上，人們正試圖用相機(jī)代替激光雷達(dá)傳感器，或者在自動駕駛領(lǐng)域中基于相機(jī)集成其他傳感器。

視覺SLAM系統(tǒng)的經(jīng)典結(jié)構(gòu)可分為五個部分：相機(jī)傳感器模塊、前端模塊、后端模塊、回環(huán)模塊和建圖模塊。相機(jī)傳感器模塊負(fù)責(zé)收集圖像數(shù)據(jù)，前端模塊負(fù)責(zé)跟蹤兩個相鄰幀之間的圖像特征，以實(shí)現(xiàn)初始相機(jī)運(yùn)動估計和局部建圖，后端模塊負(fù)責(zé)前端的數(shù)值優(yōu)化和進(jìn)一步的運(yùn)動估計，回環(huán)模塊負(fù)責(zé)通過計算大規(guī)模環(huán)境中的圖像相似度來消除累積誤差，建圖模塊負(fù)責(zé)重建周圍環(huán)境。

視覺傳感器主要可分為單目、雙目、RGB-D攝像機(jī)。

視覺SLAM的前端被稱為視覺里程計（VO-Video Odometry):負(fù)責(zé)基于相鄰幀的信息粗略地估計相機(jī)運(yùn)動和特征方向。前端主要可分為兩類：基于特征的方法和直接方法?；谔卣鼽c(diǎn)的VO系統(tǒng)運(yùn)行更穩(wěn)定，對光和動態(tài)目標(biāo)相對不敏感。具有高尺度和良好旋轉(zhuǎn)不變性的特征提取方法可以大大提高VO系統(tǒng)的可靠性和穩(wěn)定性。ORB方法被認(rèn)為更適合自動駕駛車輛。

后端接收前端估計的攝像機(jī)位姿，并優(yōu)化初始位姿，以獲得全局一致的運(yùn)動軌跡和環(huán)境圖。后端算法的類型主要可分為兩類：基于濾波器的方法（如擴(kuò)展卡爾曼濾波器（EKF）Bailey等人，2006）和基于優(yōu)化的方法（例如因子圖Wrobel，2001）。它們的描述如下：基于濾波器的方法，該方法主要使用貝葉斯原理基于先前狀態(tài)和當(dāng)前觀測數(shù)據(jù)來估計當(dāng)前狀態(tài)（Liu，2019）。典型的基于濾波器的方法包括擴(kuò)展卡爾曼濾波器（EKF）（Bailey等人，2006）、無跡卡爾曼濾波器（UKF）（Wan和Merwe，2000）和粒子濾波器（PF）（Arnaud等人，2000）。

基于優(yōu)化的方法，基于非線性優(yōu)化（圖優(yōu)化）方法的核心思想是將后端優(yōu)化算法轉(zhuǎn)換為圖的形式，以不同時刻的主題位姿和環(huán)境特征為頂點(diǎn)，頂點(diǎn)之間的約束關(guān)系由邊表示（Liang等人，2013）。構(gòu)建圖形后，使用基于優(yōu)化的算法來求解目標(biāo)的位姿，以便頂點(diǎn)上要優(yōu)化的狀態(tài)更好地滿足相應(yīng)邊上的約束。在執(zhí)行優(yōu)化算法之后，對應(yīng)的圖是目標(biāo)運(yùn)動軌跡和環(huán)境圖。目前，大多數(shù)主流的視覺SLAM系統(tǒng)使用非線性優(yōu)化方法。

回環(huán)

回環(huán)的任務(wù)是允許系統(tǒng)基于傳感器信息識別當(dāng)前場景，并在返回原始位置時確定該區(qū)域已被訪問，從而消除SLAM系統(tǒng)的累積誤差

對于視覺SLAM，傳統(tǒng)的回環(huán)檢測方法主要使用單詞包（BoW）模型（Galvez LoPez和Tardos，2012），實(shí)現(xiàn)步驟為：i）通過對從圖像中提取的局部特征的K-means聚類，構(gòu)建包含K個單詞的單詞列表。ii）根據(jù)每個單詞的出現(xiàn)次數(shù)將圖像表示為K維數(shù)值向量。iii）判斷場景的差異，并識別自動駕駛車輛是否已到達(dá)所識別的場景。

建圖

自動駕駛汽車的一個基本組成部分是建立環(huán)境地圖并在地圖上定位的能力。建圖是視覺SLAM系統(tǒng)的兩項(xiàng)任務(wù)之一（即定位和建圖），它在自動駕駛的導(dǎo)航、避障和環(huán)境重建中發(fā)揮著重要作用。一般來說，地圖的表示可以分為兩類：度量地圖和拓?fù)涞貓D。度量地圖描述了地圖元素之間的相對位置關(guān)系，而拓?fù)涞貓D強(qiáng)調(diào)了地圖元素間的連接關(guān)系。對于經(jīng)典的SLAM系統(tǒng)，度量地圖可以進(jìn)一步分為稀疏地圖和密集地圖，稀疏地圖僅包含場景中的少量信息，這適合于定位，而密集地圖包含更多信息，這有利于車輛根據(jù)地圖執(zhí)行導(dǎo)航任務(wù)。

基于一維激光雷達(dá)測距儀的單目視覺SLAM方法，該方法在低成本硬件上實(shí)現(xiàn)了有效的漂移校正，并用于解決單目SLAM中經(jīng)常出現(xiàn)的尺度漂移問題。

多傳感器融合方法（如視覺-LIDAR-IMU融合SLAM）被認(rèn)為適用于L3級別的自動駕駛，并引起了許多學(xué)者的關(guān)注?；诩す饫走_(dá)的SLAM系統(tǒng)可以獲得廣泛的環(huán)境細(xì)節(jié)，但在缺乏結(jié)構(gòu)信息的場景（尤其是自動駕駛場景）中很容易失敗。例如，長長的走廊或開闊的廣場?；谝曈X的方法在具有豐富紋理信息的場景中表現(xiàn)良好，并且很容易重新識別場景（Shin等人，2020）。但它對照明、快速移動和初始化過程的變化非常敏感。因此，激光雷達(dá)和視覺傳感器經(jīng)常與IMU融合，以提高系統(tǒng)的準(zhǔn)確性和魯棒性。IMU可以消除點(diǎn)云的運(yùn)動失真，并在缺乏特征的環(huán)境中持續(xù)一段時間，同時可以幫助視覺系統(tǒng)恢復(fù)尺度信息。