算法攝影崛起:簡單聊聊谷歌Pixel 3
最近谷歌發布了最新的Pixel 3手機,作為始終堅持單攝+算法的巨頭,與其他品牌硬拼攝像頭硬件有著鮮明的對比,而且在我看來,這條算法攝影的“羊腸小道”在未來還真極有可能讓谷歌另闢蹊徑地走到最前面,為什麼這麼說?看看它都有啥特點吧。
首先,後置四攝手機已經開始出現,根據業界預估,前後總六攝或許將成為2019年的一大主流,發展態勢也絲毫沒有放緩的意思。而眼下的多攝方案比較集中於解決手機攝像頭視角單一的問題——與其挑戰材料與技術壁壘來做光學變焦,還不如直接廣角長焦標頭各來一顆更簡單粗暴。但在這方面,谷歌的方法更符合它軟件大佬的派頭:15張堆棧。
此前我寫過一篇“你也能拍一億像素”的文章,有興趣可以翻一翻,谷歌用的就是這套方法(也就是類似賓得K1 M2的抖像素設計),在手持抖動位移+光學防抖微調的情況下對同一場景進行15次不同的採樣,從而提升了信號值(谷歌在超級分辨率優化上做過不少有意思的嘗試,有空的時候我會寫一篇詳細解讀) 。而且Pixel 3的像素設計比較獨特,它沒有採用傳統的拜耳陣列,反倒是每個像素下都有紅綠藍三色濾鏡,單像素全色彩採樣,有點兒類似適馬X3,但因為不是三層矽基吸光,因此還是單層數據,計算量變化小,而且不需要解馬賽克猜色,所以偽色等問題會緩解很多(但還是要算色的,不過算法也恰是谷歌的強項),然後將15張照片機內對齊、合成、調整。根據谷歌的說法,Pixel 3的2倍數碼變焦可以實現與2倍光學變焦相同的素質。
長久以來,“底大一級壓死人”早已深入人心,底大實質的優勢是通光量大,也就是更大的阱容、更高的輸入信號值,以及更高的信噪比,當然同時還能在保證單個像素面積足夠大,靈敏度閾值更高的前提下實現更多的像素總量,提高采樣率,進而增加圖像解析力……而Pixel 3則是15張RAW堆棧均值來實現信噪比端的提升,還是根據谷歌的說法,結合降噪算法,基本已經可以達到APS-C的水準(當然這句話非常缺乏前提,權當看個態度吧)。而且我們知道單次長曝其實就是多次短曝的疊加,單張5秒和15張1/3秒RAW堆棧的效果是相同的,但如果都是手持,前者幾乎一定會因為手抖而出現動態模糊,而後者的15張裡總會有幾張能把動態模糊控制在可接受範圍內,Pixel 3能夠計算幀間位移量並進行融合,如果某一幀的某一部分超過了動態模糊閾值,算法就會自動忽略這個部分。而且在白平衡方面,因為弱光環境下的白平衡很難通過光學方案來實現,所以穀歌使用的是基於人工智能機器學習得到的算法。
而這種人工智能算法還體現在Pixel 3的機內補光處理和人像模式上,通過人臉識別摳圖後重新打光,讓人像拍攝的光感佈局更自由化,這靠的就是出色的算法,而且這套算法還能用在前置攝像頭上,對於視頻博主Vlogger來說,這套算法在裁切一定畫幅的情況下實現數字防抖,小幅度抖動也能保證人臉是清晰的。
人像模式方面,此前關於單攝方案的技術解讀文章裡就提到過雙核像素、多幀和機器學習各司其職的重要性,Pixel 3這次算是百尺竿頭更進一步:對於位處中遠距離的拍攝主體來說,單純的多攝或雙核像素因為基線實在太短,無法得到有效的視差值,計算虛化也就無從說起了,而Pixel 3在算法上進一步改善了這個問題,即便是有明顯的物距,也能實現比較自然的前景背景虛化效果,這甚至是很多多攝方案都做不好的地方。
雙核像素+機器學習得到的景深映射圖如上,而純雙核像素的景深映射圖如下,可以看到對主體的識別會明顯更準確,也自然更有利於虛化賦值:
在手機上做算法設計對谷歌而言,既可以利用自家原生安卓系統底層優化,同時也能發揮自家AI硬軟件體系的優勢,並且可以做定制ISP來進行加速處理,要知道15張2000萬像素RAW在Photoshop裡做堆棧、放大、對齊等操作對電腦硬件要求相當高,而且還很費時間,關鍵是還不保證效果,而Pixel 3可以在數秒內就搞定,這就是定制化相對廣義方案的優勢!更重要的是手機出貨量大、樣本多、硬件成本/門檻相對低、行業投入力度大,發展持續性很強。而且用戶幾乎都是唯結果論,八仙過海各顯神通我管不著,只要效果好就行,所以Pixel 3的這套玩法真的挺有前景。
Pixel 3的新算法和單純雙攝算法相比,差距很明顯(雖然這個差距在這組樣本里顯然是有些誇張了)。
作為一件靠軟件起底的行業巨頭,谷歌在Pixel 3上秀的肌肉其他品牌只能望其項背,比起一些依賴於第三方方案的手機品牌來說,差距需要正視(比如某國產旗艦機曾主打攝影功能,但人像虛化就是高斯模糊一招鮮,讓人十足無語,底層硬軟件大環境急需自我創新啊!)。從成片結果的角度來看,Pixel 3已經趕上甚至超越了相機的部分功能,當然,單攝算法也是最有潛力移植到相機領域的方案,比如機內處理像素偏移、RAW機內自動處理等等……再加上以前聊過的算法降噪、算法動態摳圖、以及利用深度學習讓原生30p視頻變成240p慢動作……還是那句話,單純靠硬件的時代已經結束,軟件行將成為無反新時代的一個核心發展方向,這應該也算是對傳感器大佬索尼的一種敲打吧,畢竟它最基本的解馬賽克就沒有弄得太明白,出片色彩總是被diss,只能說任重而道遠吶~~~