作者：安森美半導(dǎo)體
為了提高效率和性能，工業(yè)自動(dòng)化越來越受歡迎。在自主移動(dòng)機(jī)器人 (AMR)、倉庫機(jī)器人、無人機(jī)、農(nóng)業(yè)、工廠檢查和安防/監(jiān)控等應(yīng)用場景，會(huì)實(shí)施基于機(jī)器視覺的人工智能 (AI) 與先進(jìn)技術(shù)來執(zhí)行關(guān)鍵功能。要想提高現(xiàn)有的對(duì)象檢測(cè)和識(shí)別能力，需要解決在不利光照條件下，對(duì)運(yùn)動(dòng)中的對(duì)象和更遠(yuǎn)距離的精細(xì)細(xì)節(jié)捕獲圖像的難題。安森美(onsemi) 新推出的 AR0822 傳感器具備嵌入式高動(dòng)態(tài)范圍 (eHDR) 功能，可解決工程師在開發(fā)自主機(jī)器視覺系統(tǒng)時(shí)面臨的復(fù)雜設(shè)計(jì)挑戰(zhàn)。
高動(dòng)態(tài)范圍在工業(yè)自動(dòng)化中的重要性
(資料圖片)
許多工業(yè)應(yīng)用的工作場景中，光線刺眼，且明亮區(qū)域和黑暗區(qū)域同時(shí)存在。例如，室外 AMR 必須在同時(shí)存在陽光和黑暗區(qū)域的場景中精確運(yùn)行；監(jiān)控系統(tǒng)警報(bào)是否觸發(fā)，取決于能否辨別未授權(quán)人員從黑暗區(qū)域移動(dòng)到明亮區(qū)域。雖然工廠工程師會(huì)控制照明以便在需要捕捉畫面細(xì)節(jié)的地方達(dá)到理想亮度水平，但有些倉庫可能無法控制照明，或者可能需要花費(fèi)高昂的成本進(jìn)行重建。此外，工業(yè)機(jī)器人應(yīng)該能夠延伸到多個(gè)位置進(jìn)行操作，而這可能會(huì)出現(xiàn)不確定的光照條件。例如，運(yùn)輸包裹的無人機(jī)在夜間或高強(qiáng)度陽光下，可能就會(huì)遇到這種情況。這幾個(gè)例子說明這些自主系統(tǒng)必須在高動(dòng)態(tài)范圍場景下運(yùn)行。
多次曝光 = 更高的動(dòng)態(tài)范圍
傳感器的動(dòng)態(tài)范圍是指圖像傳感器在黑暗和明亮區(qū)域中捕獲圖像細(xì)節(jié)的能力，測(cè)量單位為分貝 (dB)。一般而言，120 dB 的動(dòng)態(tài)范圍可捕獲除極端場景以外的所有場景中的細(xì)節(jié)（汽車應(yīng)用需要更高的動(dòng)態(tài)范圍，尤其是在乘客安全方面）。在這類包含黑暗和明亮區(qū)域的場景中，如果使用單次長曝光，可能會(huì)導(dǎo)致明亮區(qū)域過飽和；而單次短曝光可能無法捕獲到暗處的細(xì)節(jié)。
image002.png
圖 1. 圖像顯示，曝光時(shí)間較短可捕獲明亮區(qū)域的細(xì)節(jié)，但會(huì)丟失黑暗區(qū)域的細(xì)節(jié)
image004.png
圖 2. 圖像顯示，曝光時(shí)間較長可捕獲黑暗區(qū)域的細(xì)節(jié)，但會(huì)丟失明亮區(qū)域的細(xì)節(jié)
因此，為了捕獲所有區(qū)域的細(xì)節(jié)，傳感器可采用短、中、長曝光時(shí)間，通過多次曝光拍攝多張圖像。然后，將這些曝光合并為單張圖像，以實(shí)現(xiàn)高動(dòng)態(tài)范圍，這一過程稱為線性化。
image008.jpg
圖 3：圖 1 和圖 2 場景現(xiàn)在具有高動(dòng)態(tài)范圍
現(xiàn)在，憑借一系列從亮到暗的細(xì)節(jié)，人工智能識(shí)別系統(tǒng)可提高辨認(rèn)和識(shí)別性能。
高分辨率挑戰(zhàn)
如果識(shí)別距離更遠(yuǎn)，圖像細(xì)節(jié)更多，則需要更高的分辨率。與對(duì)象相距 5 至 10 米遠(yuǎn)時(shí)，1080p 不足以提供對(duì)象檢測(cè)和分類所需的細(xì)節(jié)。因此，對(duì) 4K、甚至更高分辨率傳感器的需求不斷增加。對(duì)于這些尺寸的圖像，帶寬成為一大設(shè)計(jì)挑戰(zhàn)，因?yàn)槊繌垐D像的尺寸顯著增加。此外，如果要實(shí)現(xiàn) 120 dB HDR，傳感器需要三次曝光和 3 倍的有效幀率，因?yàn)閭鞲衅鲿?huì)為每幀拍攝三張不同的圖像。例如，對(duì)于三次曝光 HDR，如果傳感器的有效幀率為每秒 30 幀 (fps)，則傳感器陣列、電路和輸出需要在 90 fps 幀率有效工作。幀率為 30 fps 的三次曝光 HDR 4K 圖像如果在獨(dú)立于傳感器的 ISP 中執(zhí)行線性化，需要 9000 Mbps，這對(duì)處理性能和接口速度是一大挑戰(zhàn)。對(duì)于攝像頭系統(tǒng)，將高分辨率與傳感器外 HDR 相結(jié)合是一項(xiàng)艱巨的挑戰(zhàn)。
image010.png
圖 4. 典型的高動(dòng)態(tài)范圍架構(gòu)通過圖像傳感器和 ISP 之間的接口發(fā)送多張圖像，在高分辨率時(shí)可能會(huì)導(dǎo)致可用帶寬緊張或超出可用帶寬
為了緩解這兩個(gè)問題，安森美AR0822 通過將實(shí)時(shí)線性化集成到傳感器中，智能地嵌入高動(dòng)態(tài)范圍。如此一來，即便是在更高分辨率時(shí)，傳統(tǒng)的處理性能和接口速度也更容易滿足需求。
image012.png
圖 5. AR0822 嵌入式高動(dòng)態(tài)范圍 (eHDR) 圖像傳感器
運(yùn)動(dòng)和 LED 照明偽影
由于三次曝光是在不同的時(shí)間點(diǎn)進(jìn)行，所以 HDR 圖像中會(huì)出現(xiàn)偽影。每次曝光時(shí)，快速移動(dòng)的對(duì)象的位置（角速度）將略有不同。
image014.jpg
圖 6. 旋轉(zhuǎn)的風(fēng)扇，顯示多次曝光 HDR 造成的運(yùn)動(dòng)偽影
此外，帶有 LED 照明的場景可能會(huì)出現(xiàn)其他偽影。為節(jié)省用電，LED 以攝像頭而非人眼能夠看到的頻率打開和關(guān)閉。LED 可能會(huì)在第一次曝光時(shí)打開，在第二次和第三次曝光時(shí)關(guān)閉，從而導(dǎo)致多次曝光和多張圖像中的光照水平不同。
image016.jpg
圖 7. LED 燈箱，其中兩列亮起，LED 閃爍偽影造成強(qiáng)度差異
AR0822 eHDR 包含“智能線性化”，以解決這些由多次曝光幀組合而引起的偽影。通過感測(cè)一個(gè)幀內(nèi)由不同曝光捕獲的信號(hào)電平差異，從而試圖減少通常因運(yùn)動(dòng)或 LED 閃爍造成的偽影，就有可能實(shí)現(xiàn)上述目的。
image018.jpg image019.jpg
圖 8和圖9. 得益于 AR0822 的智能線性化，風(fēng)扇沒有運(yùn)動(dòng)偽影且 LED 燈箱的兩列完全亮起
通過在充滿挑戰(zhàn)的光照條件下提供高質(zhì)量性能，再結(jié)合人工智能系統(tǒng)在安防/監(jiān)控、AMR 和工業(yè)移動(dòng)機(jī)器人應(yīng)用中所需的目標(biāo)分辨率，eHDR 可增強(qiáng)對(duì)象檢測(cè)與識(shí)別。
下載我們的白皮書，詳細(xì)了解 AR0822，以及在嵌入式自主機(jī)器視覺應(yīng)用中實(shí)施更高動(dòng)態(tài)范圍的圖像傳感器時(shí)，使用 eHDR 如何能夠增加動(dòng)態(tài)范圍并克服其他挑戰(zhàn)。
關(guān)鍵詞：
