視覺(jué)同步定位和建圖（vSLAM）是指計(jì)算攝像機(jī)相對(duì)于周圍環(huán)境的位置和方向，同時(shí)繪制環(huán)境圖的過(guò)程。該過(guò)程僅使用來(lái)自相機(jī)的視覺(jué)輸入。vSLAM 的應(yīng)用包括增強(qiáng)現(xiàn)實(shí)、機(jī)器人和自動(dòng)駕駛。

單目視覺(jué)SLAM

ORB-SLAM概述

ORB-SLAM 管道包括：

l  地圖初始化：ORB-SLAM 首先初始化兩個(gè)視頻幀的 3D 點(diǎn)地圖。3-D 點(diǎn)和相對(duì)相機(jī)位姿是使用基于 2-D ORB 特征對(duì)應(yīng)的三角測(cè)量來(lái)計(jì)算的。

l  跟蹤：初始化地圖后，對(duì)于每個(gè)新幀，通過(guò)將當(dāng)前幀中的特征與最后一個(gè)關(guān)鍵幀中的特征進(jìn)行匹配來(lái)估計(jì)相機(jī)姿態(tài)。通過(guò)跟蹤本地地圖來(lái)細(xì)化估計(jì)的相機(jī)姿態(tài)。

l  局部映射：如果當(dāng)前幀被識(shí)別為關(guān)鍵幀，則當(dāng)前幀用于創(chuàng)建新的 3D 地圖點(diǎn)。在此階段，束調(diào)整用于通過(guò)調(diào)整相機(jī)姿態(tài)和 3D 點(diǎn)來(lái)最小化重投影誤差。

l  循環(huán)閉合：通過(guò)使用特征袋方法將每個(gè)關(guān)鍵幀與所有先前的關(guān)鍵幀進(jìn)行比較來(lái)檢測(cè)每個(gè)關(guān)鍵幀的循環(huán)。一旦檢測(cè)到閉環(huán)，就會(huì)優(yōu)化位姿圖以細(xì)化所有關(guān)鍵幀的相機(jī)位姿。

立體視覺(jué)SLAM

ORB-SLAM2 

立體 vSLAM 的管道與單目視覺(jué)同步定位和建圖示例中的單目 vSLAM 管道非常相似。主要區(qū)別在于，在地圖初始化階段，3D 地圖點(diǎn)是根據(jù)同一立體對(duì)的一對(duì)立體圖像而不是不同幀的兩個(gè)圖像創(chuàng)建的。

l  地圖初始化：管道首先使用視差圖初始化一對(duì)立體圖像的 3D 點(diǎn)圖。左側(cè)圖像被存儲(chǔ)為第 一個(gè)關(guān)鍵幀。

l  跟蹤：初始化地圖后，對(duì)于每個(gè)新的立體對(duì)，通過(guò)將左圖像中的特征與最后一個(gè)關(guān)鍵幀中的特征進(jìn)行匹配來(lái)估計(jì)相機(jī)的姿態(tài)。通過(guò)跟蹤本地地圖來(lái)細(xì)化估計(jì)的相機(jī)姿態(tài)。

l  局部映射：如果當(dāng)前左圖像被識(shí)別為關(guān)鍵幀，則根據(jù)立體對(duì)的視差計(jì)算新的 3D 映射點(diǎn)。在此階段，束調(diào)整用于通過(guò)調(diào)整相機(jī)姿態(tài)和 3D 點(diǎn)來(lái)最小化重投影誤差。

l  循環(huán)閉合：通過(guò)使用特征袋方法將每個(gè)關(guān)鍵幀與所有先前的關(guān)鍵幀進(jìn)行比較來(lái)檢測(cè)每個(gè)關(guān)鍵幀的循環(huán)。一旦檢測(cè)到閉環(huán)，就會(huì)優(yōu)化位姿圖以細(xì)化所有關(guān)鍵幀的相機(jī)位姿

單目視覺(jué)慣性SLAM

ORB-SLAM3 是一種基于特征的視覺(jué)慣性 SLAM 算法

因子圖是設(shè)計(jì)基于傳感器融合的 SLAM 算法的一種流行方法，因?yàn)樗鼈優(yōu)?/span> SLAM 問(wèn)題提供了高效且模塊化的解決方案，并且在新的測(cè)量或約束可用時(shí)允許輕松更新圖表。此外，此類模型提供了一種靈活的方法，結(jié)合了不同類型的傳感器和數(shù)據(jù)，包括視覺(jué)、激光雷達(dá)和慣性傳感器，這使其可用于各種 SLAM 應(yīng)用。

概述

視覺(jué)慣性SLAM流程包括以下步驟：

l  初始 IMU 偏差估計(jì)（可選）：如果您的數(shù)據(jù)序列包含足夠數(shù)量的靜態(tài)幀，則可以使用它們來(lái)估計(jì) IMU 偏差。這有助于您稍后初始化因子圖。

l  地圖初始化：首先初始化兩個(gè)視頻幀的 3D 點(diǎn)地圖。3-D 點(diǎn)和相對(duì)相機(jī)位姿是使用基于 2-D ORB 特征對(duì)應(yīng)的三角測(cè)量來(lái)計(jì)算的。

l  相機(jī)和 IMU 對(duì)齊：地圖初始化后，使用運(yùn)動(dòng)結(jié)構(gòu) (SFM) 生成一組相機(jī)姿勢(shì)。然后使用相應(yīng)的 IMU 測(cè)量來(lái)對(duì)齊相機(jī)和 IMU 框架，并找到 IMU 和相機(jī)里程計(jì)之間的比例轉(zhuǎn)換。

l  跟蹤：相機(jī)和 IMU 數(shù)據(jù)正確對(duì)齊和縮放后，初始化因子圖。然后，對(duì)于每個(gè)新的關(guān)鍵幀，通過(guò)將當(dāng)前幀中的特征與最后一個(gè)關(guān)鍵幀中的特征進(jìn)行匹配來(lái)估計(jì)相機(jī)姿態(tài)。通過(guò)跟蹤本地地圖來(lái)細(xì)化估計(jì)的相機(jī)姿態(tài)。然后，將相機(jī)姿態(tài)及其相應(yīng)的 IMU 測(cè)量值添加到因子圖中。

l  局部映射：如果當(dāng)前幀被識(shí)別為關(guān)鍵幀，則使用當(dāng)前幀創(chuàng)建新的 3D 地圖點(diǎn)。在此階段，將優(yōu)化因子圖，并使用一組本地關(guān)鍵幀調(diào)整相機(jī)姿勢(shì)和 3D 點(diǎn)。

l  循環(huán)閉合：通過(guò)使用特征袋方法將關(guān)鍵幀與所有先前關(guān)鍵幀進(jìn)行比較來(lái)檢測(cè)每個(gè)關(guān)鍵幀的循環(huán)。一旦檢測(cè)到循環(huán)閉合，就向因子圖添加新鏈接以反映循環(huán)閉合找到的連接。