所以需要把深度的期望值作為概率體的深度方向上像素的深度估計(jì)的值,讓整個(gè)深度圖中的不同部分更加平滑。深度圖生成軟件:有些軟件可以從普通圖像中估計(jì)出深度信息,然后生成深度圖,內(nèi)容感知的無監(jiān)督深度單應(yīng)性估計(jì)單應(yīng)性估計(jì)是許多應(yīng)用中的基本圖像對準(zhǔn)方法,神經(jīng)網(wǎng)絡(luò)(/深度學(xué)習(xí)MVSNet的深度估計(jì))是通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)的。
我們的地球有多大?可以用很多指標(biāo)來描述?,F(xiàn)在告訴你一些指標(biāo)的數(shù)量。地球平均半徑為6371.004公里;地球赤道半徑6378.140公里;地球的極半徑為6356.755公里;地球的平均密度為5.518 * 10(立方)千克/立方米;地球的質(zhì)量是5.974*10(24次方)千克;地球的體積是1.083 * 10(12次方)立方千米;地球表面積為5.11 * 10(8次方)平方公里。
MVSNet的深度估計(jì)是直接通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的。網(wǎng)絡(luò)訓(xùn)練的方法是輸入代價(jià)體的真值和對應(yīng)的深度圖,用SoftMax對深度處每個(gè)像素的概率進(jìn)行回歸,得到一個(gè)代表每幅圖像在參考圖像深度方向上置信度的概率體(圖4.4b),從而完成從代價(jià)到深度值的學(xué)習(xí)過程。在概率體已知的情況下,最簡單的方法可以得到參考圖像中所有像素在不同深度的概率圖,根據(jù)贏者通吃原則直接估計(jì)深度圖。
所以需要把深度的期望值作為概率體的深度方向上像素的深度估計(jì)的值,讓整個(gè)深度圖中的不同部分更加平滑。(43)其中,它表示特征在深度上的置信度。深度圖優(yōu)化的原始代價(jià)量往往被噪聲污染。因此,為了防止噪聲過擬合網(wǎng)絡(luò),MVSNet使用基于多尺度的三維卷積神經(jīng)網(wǎng)絡(luò)來正則化代價(jià)體,并使用UNet網(wǎng)絡(luò)對代價(jià)體進(jìn)行下采樣,提取不同尺度下的上下文信息和相鄰像素信息,對代價(jià)體進(jìn)行過濾(圖4.5)。
3、怎么得到一張深度圖?獲取深度圖的方法取決于您的具體需求和設(shè)備。深度圖是一種圖像,其中每個(gè)像素都包含與場景中對象的距離相關(guān)的信息。以下是一些常用的獲取深度圖的方法:深度傳感器:很多現(xiàn)代相機(jī)、手機(jī)等設(shè)備都配備了深度傳感器,如ToF(TimeofFlight)相機(jī)或結(jié)構(gòu)光相機(jī)。這些傳感器可以測量物體到相機(jī)的距離,并生成深度圖。你可以使用裝備有這些傳感器的設(shè)備來拍攝深度圖。
這種方法需要特殊的硬件配置。計(jì)算機(jī)視覺技術(shù):利用計(jì)算機(jī)視覺算法,可以從常規(guī)圖像中推斷出深度信息。這就需要使用計(jì)算機(jī)視覺技術(shù),比如結(jié)構(gòu)光投影和視差估計(jì)。3D掃描:專業(yè)的3D掃描儀可以捕捉物體的幾何形狀和深度信息,生成深度圖。深度圖生成軟件:有些軟件可以從普通圖像中估計(jì)出深度信息,然后生成深度圖。這通常需要在圖像中提供一些線索,比如物體的大小和形狀。
4、內(nèi)容感知非監(jiān)督深度單應(yīng)估計(jì)單應(yīng)性估計(jì)是許多應(yīng)用中的基本圖像對準(zhǔn)方法。通常是通過提取和匹配稀疏特征點(diǎn)來進(jìn)行的,這種特征點(diǎn)在弱光低紋理圖像中容易出錯(cuò)。另一方面,以前的深度單應(yīng)方法要么使用合成圖像進(jìn)行監(jiān)督學(xué)習(xí),要么使用航空圖像進(jìn)行非監(jiān)督學(xué)習(xí),這些方法都忽略了在現(xiàn)實(shí)應(yīng)用中處理深度差異和移動(dòng)對象的重要性。為了克服這些問題,我們提出了一種無監(jiān)督的深度單應(yīng)方法。
我們根據(jù)學(xué)習(xí)到的深度特征來計(jì)算損失,而不是像以前一樣直接比較圖像內(nèi)容。為了實(shí)現(xiàn)無監(jiān)督訓(xùn)練,我們還對網(wǎng)絡(luò)做了一個(gè)新的三元組損失,我們通過全面比較新數(shù)據(jù)集來驗(yàn)證我們的方法,新數(shù)據(jù)集覆蓋了具有不同任務(wù)難度的廣泛場景。實(shí)驗(yàn)結(jié)果表明,我們的方法優(yōu)于最先進(jìn)的方法,包括深度解決方案和基于特征的解決方案,估計(jì)的單應(yīng)性可以對準(zhǔn)從不同角度拍攝的圖像。