如何為計算機視覺項目選擇相機
來源:深圳市凱茉銳電子科技有限公司2025-01-10
1. 光譜和光源
要根據計算機視覺需要實現的功能提供盡可能的多的信息——比如皮膚診斷儀就經常使用可見光、偏振光、UV光三種光源進行數據采集;植物分析則經常使用多光譜相機(多光譜相機詳情可以參考大話成像文章《什么是多光譜/高光譜成像》)。因此選擇適當的光源(以及特定的光譜波段)是機器視覺項目首先要考慮的因素。
如下圖可見,不同類型光源/不同波段光譜能夠得到不同特征的圖像信息
2. 亮度、運動模糊和噪聲
之所以將這三個問題列在一起是因為這三個指標可以幾乎說是相互矛盾的,需要根據實際的需求去平衡。
亮度是算法識別精度的影響和算法模型以及訓練的數據集都有關系,比如下圖中的虛線,當使用各種EV 值去訓練mobilenet-ssd 和RFCN-Rsnet101 時,兩個算法的mAP最大值出現在了不同的EV值處。
再比如下圖,經過Algolux 自動化工具訓練出來的IQ 圖像,車身的亮度顯然是人臉視覺中認為質量比較差的圖像,但是卻能被算法識別到。
當我們需要調節亮度的時候,如果增加曝光時間可能會引起圖像運動模糊導致識別率下降,而減少曝光時間增加gain又可能會導致噪聲變大和動態壞點的增加。
以下圖為例,圖像中的6幅圖像都是通過改變某一個像素的亮度造成算法識別結果的改變。比如左上角的船,通過增加一個亮點,VGG則將其分類為‘Car’ 而不是‘Ship’。
因此需要在計算機視覺項目中思考所需要圖像傳感器的QE和動態范圍;
需要鏡頭的光圈大?。ㄟM光量、景深等);
思考圖像調試則需要平衡曝光時間和增益、HDR 的調試、保證動態壞點的去除等等。
3. 對比度
對比度下降不僅會從人類視覺角度造成圖像質量下降,從機器視覺角度(算法識別)也導致識別精度的下降。
雖然對比度下降對人類視覺和機器視覺(算法識別)都造成相同趨勢的影響,并不代表兩者對IQ tuning有絕對相同的需求,比如下圖中夜景和雨天的兩種調試傾向,‘Atlas optimized’這種tuning 傾向對機器視覺則有更好的效果(檢測成功率更高)。
雜散光,臟污,以及ISP相關模塊tuning都會對圖像對比度產生影響
4. 圖像形變(畸變)
如下圖,對原圖進行形變后的圖像。原圖和畸變圖像在神經網絡中的感知會隨著形變的情況而產生變化。
5. 解析力/分辨率
解析力同樣對機器視覺和人類視覺都有直接的影響。
決定相機解析力的因素有很多,相機解析力對機器視覺的影響也與對傳統人類視覺圖像質量的影響有所不同,MTF/SFR和角度分辨率對機器視覺都有影響。
6. 色彩
顏色錯誤會對分類算法和分割算法都產生了錯誤的影響。
相關資訊
- 2025-01-13
- 2025-01-14
- 2025-01-10
- 2025-01-09
電子系統性能指標解析:PCIe、MIPI、LVDS、HDMI、eDP、DDR及CPU帶寬詳解
2025-01-08- 2025-01-07