速記AI課程-Convolutional Neural Networks for Computer Vision Applications(三)

Deep Learning for Computational Photography and Computer Vision

晚上由台大資工莊永裕教授來分享計算攝影學(Computational Photography)與電腦視覺的應用,雖然電腦視覺內容部分稍微重複,不過相較早上紮實的論文,對於沒有電腦視覺基礎的我來說比較輕鬆易懂。

傳統相機的成像原理是被攝物體透過光線,經過鏡頭傳送到底片上(曝光)顯影成像,最原始也最清楚表達這個過程的就是針孔相機(Pinhole Camera)。與偷拍專用的針孔相機不同,Pinhole只有簡單的小孔入光,以及一片顯影用底片,非常簡單原始,是可以在家自製來了解成像過程的。

不是討厭的那種針孔相機

想自製的朋友可以參考以下影片,別具一番風味。(只是成像效果極差哈)

針孔相機DIY過程

而現代的數位相機,則是把傳統底片,更換為數位的感光元件。感光元件將接收到的光源轉換為數位訊號後,再利用ISP(Image Signal Processor)進行後續如自動白平衡/自動曝光等調校,最後儲存為圖檔。因此,照片本身不再是底片物理變化後的結果,而是牽涉到非常多計算處理的成果。

數位影像成像原理

如果要照出一張完美的相片,三個最重要的元素-相機、攝影師、場景,都必須完美配合。比如說攝影師手不穩定,照出來的照片若都模糊不清,可以利用 Deblurring(去模糊)的技術來還原修補。

確實清楚多了…

有時是場景不給力,如總是被霧霾壟罩的北京,再好的相機跟攝影師也束手無策,只好用 Dehazing(除霧)技術來撥雲見日。

不錯的除霧效果

又如已流傳多年飽經風霜的名畫,套用Inpainting(影像修補)補上缺漏,重現風華。

原來長這樣

以上都不是當天的重點(?),重點在於其探討中一個元素-相機的不完美。前面提到的感光元件,因其尺寸與傳統全幅底片仍有一定的差距,因此在影像雜訊、解析度、動態範圍跟色差上,即使透過各種計算來補償,仍然與人類眼睛所見有不少差異。

小得可憐的感光元件(From Mobile01

感光元件所採集之原始影像,雜訊並不少,解析度也並不高,因此需要降躁與Super Resolution方式來改善畫質。

左邊為CMOS原始影像

而動態範圍(Dynamic Range)則是指感光元件可紀錄的光度範圍,即圖像中最亮和最暗的範圍。由下圖可看出,相較於人眼可以分辨的光度層次,感光元件則有其限制,無法表示高亮部與陰暗部的細節。

人眼好強

因此需要HDR( High Dynamic Range Imaging,高動態範圍成像)的技術,來彌補許多影像亮度與陰暗的細節。

原始與經HDR處理之照片

另外,光線進入感光元件之前,會先經過一種如馬賽克般的RGB濾色器(最經典的是Bayer filter)來模仿人眼的生理特性。綠色稱作光敏偵測元件,而紅、藍色則稱為色敏偵測元件。因為僅利用RGB三種顏色之一記錄每個像素,為了得到全色彩影像,傳統上可用不同的Demosaicking(去馬賽克)演算法來推算每個像素的RGB的組成數值。如下圖1是原始影像,2為經過Bayer filter的成像,3是色彩編碼輸出的結果,4則是最後內插法重構的影像。

From Wikipedia

還有(感光元件問題真多…),人類眼睛所感受到的光度不是線性,但感光元件是,因此必須再進行 Gamma 非線性運算。下圖左是感光元件的線性感,下圖右則是Gamma校正後較接近人眼的非線性。

因此,在感光元件這麼多不完美的條件下,現有修正技術又有一定的限制,加上我們已經學會了CNN,那麼用來Demosaicking或是其他影像調校的效果不知道如何?莊其中一篇論文就是利用CNN(稱為 DMCNN-DR)以及Flickr 500資料集來進行Demosaicking的訓練,並且自己學會最好的RGB濾色器排列方式(Bayer filter不一定最好)。

當然,CNN也可以用來做Style Transfer、Super-resolution、 Inpainting、為黑白照片上色等等,與當日白天的課程相同,因此不再贅述。其中一個比較誇張的,是以下假造前美國總統歐巴馬的演講片段…假新聞會不會太真實?

最後,莊舉了一個AI出包的例子,說明雖然對產業來說這些新技術是好消息,不過距離所謂General AI,還有很長遠的路要走。

商管 * 科技 | 顧問 + 稽核 | AI X Fraud | baubimedi@gmail.com

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store