DVS：讓自主性更接近現實- 電子技術設計

「動態視覺感測器」(Dynamic Vision Sensor；DVS)是以事件(event)為單位來記錄資訊。

這種基於動態事件的感測器能讓機器的自主性更加接近現實，因而適用於 ... 【下周直播！】12/21詳解如何使用800G乙太網IP將延遲降至最低！報名抽好禮>> 登入 註冊 聯繫 首頁 新聞 TechRoom IC/電路板/系統設計應用 消費性電子 工業控制應用 軍事應用 電腦/周邊應用 通訊/網路/無線應用 汽車電子 設計揭密 設計實例 產品新知 下載 線上研討會 小測驗 視訊 申請中心 研討會與活動 EEAwardsAsia 全球雙峰會 雜誌 2021年12月雜誌 2021年11月雜誌 2021年10月雜誌 編輯計劃表 訂閱印刷版 X 首頁»IC/電路板/系統設計應用»DVS：讓自主性更接近現實 DVS：讓自主性更接近現實 作者:郭俊德，芯鼎科技 類別:IC/電路板/系統設計應用 2021-08-20 (0)評論 動態視覺感測器(DVS)的感光原理和動物的感光神經運作原理相似，故被視為神經形態視覺感測器，適用於工業自動化、自動駕駛、智慧家庭、安全監控領域等基於視覺的高速應用... 「動態視覺感測器」(DynamicVisionSensor；DVS)是以事件(event)為單位來記錄資訊。

這種基於動態事件的感測器能讓機器的自主性更加接近現實，因而適用於工業自動化、消費電子和自動駕駛車領域中基於視覺的高速應用。

相較於一般影像感測以畫面為單位來記錄影像，內容可以是彩色畫素或黑白畫素，而動態視覺感測器則是與上次狀態相比，如果光強度有變化則紀錄下來，如果沒變化就不需要紀錄；由於只處理有變化的畫素，整體的資料量比起傳統影像感測器更少得多。

動態視覺感測器處理具有變化的畫素後，立刻傳送至後端的應用處理器，整體反應速度快，延遲低。

因為感測器的反應是對光強度的變化，在不同環境光亮度下不受到影響，動態範圍大，在高亮度與低亮度的應用場景都能正常動作。

此外，由於只有光強度變化的畫素才需要處理，處理的資料量小，容易做到感測器的低耗電工作模式。

【線上研討會】使用400G/800G乙太網IP將延遲降至最低 總體來看，動態視覺感測器具有低資料量傳輸、超快的反應時間、高動態範圍、以及低功耗運作等特性，適合工廠產線檢測、無人搬運車/自駕機器人的環境感知、商場人流偵測、車內駕駛與乘客行為監測、加上輸出資料沒有色彩資訊，沒有人或物的特徵與細節，不會有隱私洩漏的情形，很適合醫療院所與居家照顧的意外偵測等。

透過下圖有助於了解動態感測器與一般影像感測器輸出的不同。

一般影像感測器輸出vs動態感測器(DVS)輸出 一般影像感測器會輸出整個畫面，包含有變化與沒有變化的畫素；而動態視覺感測器只會輸出有光強度變化的畫素，所以輸出資料量會大幅減少，由下圖即可看出動態視覺感測器與一般影像感測器的影像差別。

市場上有哪些DVS供應商與DVS影像產品？ 目前開發動態視覺感測器的廠商有iniVation、Samsung、Prophesee、CelePixel(於2020年被OmniVision收購)、Insightness(於2019年被Sony收購)等，而感測器的畫素解析度多在30萬畫素到120萬畫素。

這些動態視覺感測器的輸出介面皆是平行介面或行動產業處理器介面(MIPI)，但傳輸的協議多基於「位址事件表示」(AddressEventRepresentation；AER)介面，再加上各家廠商自定義的設計，現有的應用處理器或微處理器需要透過FPGA晶片來連接這些感測器，在FPGA晶片上實作對應的事件解碼器，這讓使用動態視覺感測器的產品設計變得複雜，而且成本變高。

現在市場上可以看到一些動態視覺相機方案，如：iniVation的DVXplorer、Prophesee的EVALUATIONKIT2–HD等，皆為開發平台，提供豐富的介面，讓開發者可以接上後端系統做產品概念的前期開發，但是不太適合做為終端產品中的零組件。

而Samsung的SmartThingsVision攝影機是以自家的動態視覺感測器來做為智慧家庭的安全監控與意外偵測使用，產品中並沒有使用傳統的影像感測器，強調隱私保護與人型偵測，實作出跌倒偵測與入侵者偵測的功能。

Prophesee與Xperi合作使用動態視覺感測器，開發車內駕駛與乘客監測方案，利用這種感測器的快反應速度、高動態範圍以及低資料量的特性，實作眼球追蹤、頭部姿勢偵測、眼鏡/口罩偵測以及眼睛開閉偵測等演算法。

DVS可應用在哪些市場？未來的潛力如何？ 動態視覺感測器的感光原理和自然界動物的感光神經運作原理相似，故被認為是一種神經形態視覺(Neuromorphicvision)感測器，現已漸漸地在許多應用市場出現，如工業自動化、自動駕駛、智慧家庭、安全監控等，這種感測器是模仿人類視網膜特性，只有在亮度有變化的地方才傳送資料，這可使感測反應時間到達微秒等級，也可使傳輸資料量大幅減少，進而降低功率消耗，減少資料分析所需的運算能力，這種感測器也支援高動態範圍，即使在大太陽的戶外與只有星光的夜晚都能有效地工作。

根據市調公司YoleDevelopment的分析，到2029年，支援感測與運算的神經形態半導體市場規模可達到71億美金，但目前仍有技術問題須要克服，如果接下來的4到5年內可解決，神經形態運算市場規模可望在2024年達到6,900萬美元，預計2029年進一步成長到50億美元，2034年還將上看213億美元。

神經形態感測市場在2024年的規模則估計為3,400萬美元，預計在2029年成長到20億美元，2034年可望達到47億美元。

目前DVS應用上遇到哪些挑戰？ 動態視覺感測器的實際應用產品還不多，主要原因有以下幾項：一是動態視覺感測器的價格與同樣解析度的傳統影像感測器相比，還是高出許多，讓有意願將這項技術應用到大眾消費產品的廠商有所遲疑，因為終端產品的成本將會提高，而提供的功能是否能讓消費者買單也無法確定，所以導入的意願就降低很多；但在工業、商業與基礎建設方面，由於感測器價格不是最優先考量，而是能否有效地解決問題才是重點，所以動態視覺感測器被應用在機器視覺相關的需求上就比較常見。

其次是可以直接支援這種感測器的應用處理器或影像處理器幾乎沒有，現有設計都是利用FPGA來處理這種感測器的事件輸出，這增加產品設計的難度與成本，也使得在意終端售價的消費類產品的廠商會猶豫使用這種感測器。

第三是對於事件資料為輸入的電腦視覺或深度學習算法並不普遍，只有一些演算法廠商與學術單位有投入開發，這對大多數的消費型產品的廠商形成了進入門檻。

針對這些問題，感測器製造商已經進行成本改善的動作，計畫將成本控制到接近傳統影像感測器的程度，讓產品開發的廠商能夠開發出終端客戶可以接受的產品。

此外，也有IC開發業者進行支援動態視覺感測器的應用處理器或影像處理晶片的設計，能支援各家感測器的輸出協議與規格，讓應用開發商能方便地使用動態視覺感測器，把資源與時間投入在終端應用的開發，達到簡化設計、降低成本與加速產品上市時間。

最後，當業界解決了前兩個問題時，演算法開發商就能方便且低價地取得動態視覺感測器開發平台，自然各種應用的需求也會出現，而演算法開發商因為有利可圖也會相繼地投入開發，達到相輔相成的結果。

從另一方面如競爭程度來看，不見得是壞事，如果能建立動態感測器的應用技術，創造出自己的算法，解決終端消費者的使用痛點，反而可以創造出一個獨特的市場，有一定進入門檻與前期沒有競爭者的優勢，進而擴大到其他產品市場，站穩一定的市場份額，成為市場的領先者。

結語 雖然目前消費性市場上，眾所周知的動態視覺感測器應用產品主要像是SamsungSmartThingsVision家用攝影機，但其他廠商的產品還沒有廣為人知。

但由於動態視覺感測器本身的獨特優勢，快速的反應時間、低功率消耗、低資料傳輸量、高動態範圍、高隱私保護等，適合作為機器視覺的相關應用在工業控制、商業、零售業、自動駕駛、智慧家庭、安全監控等領域，相信未來會有更多廠商與學術機構投入到這個市場，包含感測器供應商、演算法供應商、應用處理器與影像處理器開發商及應用開發商等，一起解決目前遇到的問題，加速導入這種感測器，創造出新的機器視覺應用市場。

訂閱EDNTaiwan電子報 加入LINE@，最新消息一手掌握！ 分享TwitterFacebookLinkedInMorePrintRedditTumblrPinterestPocketTelegramWhatsAppSkype Related 文章Tag: 影像感測器感測器智慧視覺系統設計機器視覺 發表評論 取消回覆 YoumustRegisteror Logintopostacomment. 訂閱EDNTaiwan電子報 最新文章 最熱門文章 2021-12-17 最大限度提高示波器測量精準度 2021-12-17 Seagate：2022年五大儲存資料創新趨勢 2021-12-17 單晶片MEMS高音揚聲器瞄準xR頭戴式應用 2021-12-16 設計LED燈閃爍的電池充電器 2021-12-16 選擇支援汽車應用的可靠電容器 2019-09-16 人工智慧將改寫邊緣運算的未來 2019-05-22 新世代光控多位元記憶體材料研究突破 2018-01-30 實作JFET電壓調諧文氏電橋振盪器 2019-03-22 工研院號召產學研組電網人才發展聯盟 2019-12-24 智慧商店如何輕鬆搞定購物？ 2021-07-23 用塑料打造全球首個軟性32位元微處理器 2018-08-08 智慧音箱拆解：對比EchoDot與HomeMini 2020-05-20 不停自動開關的LED燈問題出在哪？ 2021-06-10 少年仔，「單點接地」是啥你甘知？ 2021-05-31 利用重力儲存能量可行嗎？ 最新文章 共用螢幕 2021-12-17 最大限度提高示波器測量精準度 儲存 2021-12-17 Seagate：2022年五大儲存資料創新趨勢 MEMS 2021-12-17 單晶片MEMS高音揚聲器瞄準xR頭戴式應用 EE人生 2021-12-16 設計LED燈閃爍的電池充電器 技術文庫 2021-12-16 選擇支援汽車應用的可靠電容器 最熱門文章 人工智慧 2019-09-16 人工智慧將改寫邊緣運算的未來 儲存技術 2019-05-22 新世代光控多位元記憶體材料研究突破 IC/電路板/系統設計應用 2018-01-30 實作JFET電壓調諧文氏電橋振盪器 能源 2019-03-22 工研院號召產學研組電網人才發展聯盟 人工智慧 2019-12-24 智慧商店如何輕鬆搞定購物？ EET電子工程專輯©2021本網站內之全部圖文，係屬於eMediaAsiaLtd所有，非經本公司同意不得將全部或部分內容轉載於任何形式之媒體 關於我們 隱私政策 用戶協議 繼續瀏覽網站