上周末,華為終端舉辦瞭一場拍照體驗活動,我們有機會與華為研發工程師直接交流,談到瞭許多 Mate10 系列手機拍照背後故事。
在會後整理發言資料會發現,華為所講的手機拍照這件事,已經不僅僅是光圈快門,我原以為與拍照技術有關的內容並沒有出現太多,反倒是 AI 成瞭關鍵詞,因為麒麟 970 的到來,手機有瞭自己調整拍照參數的機會。我們更多談論的,是 AI(人工智能)在拍照這件看似簡單小事上做瞭什麼。
AI 介入拍照
在新品 Mate 10 系列上,AI 是一種直白的表達。華為將看似難以理解的人工智能用到瞭所有人都會用的拍照功能上面:麒麟 970 給手機帶來瞭識圖功能,在鏡頭前出現美食、貓、狗等不同物件的時候,屏幕上會出現相圖表,表示自己看懂瞭用戶正在拍什麼,之後默默調整細節參數。
這個動作將過於概念化的人工智能帶進瞭用戶對手機拍照(而不是相機拍照)的實際期待中:拿出手機,按下快門,出一張讓自己足夠滿意的照片並分享出去。你看不到拍照參數的調整(也不用看),這一切就這樣默默發生。
根據華為研發工程師的描述,當他們最初確定手機訴求的時候,是從 " 用戶的痛點與硬件的發展 " 兩個維度考慮的。前者來自華為終端和市場調研公司的合作,這也是大公司確定研發需求前尋找用戶訴求的主要方式——最終,最多的關註點落在瞭抓拍之類的實處。
翻回到 2015 年,新浪數碼的編輯評測手機的時候還將拍照部分的描述寫作 " 攝像頭 " 而不是 " 鏡頭 ",這兩詞的差別也是我們表達兩種功能類似但性能完全處於不同級別的區分。現在,很多確實可以稱之為手機鏡頭瞭,甚至可以提升到攝影的層面。
但即便如此,依然不是所有用戶都能拍出足夠好的照片。
當硬件發展到一定水準,可依然沒法滿足用戶需求之後,華為的研發工程師們希望用自動化的方式解決這對矛盾。
其中關鍵是麒麟 970 的到來
9 月 IFA 柏林國際消費電子展上,華為終端掌門人餘承東手裡捏著一顆硬幣大小的芯片,宣佈麒麟 970 芯片誕生,它是世界首款帶有專用人工智能元素的手機芯片;10 月,它被裝載到瞭 Mate 10 和 Mate 10 Pro 兩款手機上,人工智能就這樣跟手機拍照有瞭交集。
" 有瞭 NPU 的助力,AI 能夠幫用戶把場景識別好,一鍵拍出不錯的照片 ",Mate 10 的研發工程師這樣說。
NPU 是麒麟 970 芯片最特別的部分,全稱 Neural-network Processing Unit,也就是神經網絡處理單元,專門為 AI 相關計算定制的處理器。
對傳統芯片來說,CPU 核心處理器和 GPU 圖形處理也可以用作深度學習,但它們原本並非為深度學習定制,效率並不算高。麒麟 970 的 NPU 為深度學習而定制,根據一些公開資料,它的 FP16 浮點運算性能達到瞭 1.92TFLOP,相比麒麟 960(0.6 TFLOP 左右)提升 3 倍多。
這是上文提到的 " 硬件的發展 " 的一部分,另外一部分則是拍照模塊與鏡頭的改進。
Mate 10 鏡頭邊的標簽是 "Summilux-H",H 意為華為,這傢中國廠商用這種方式低調的給自己的德國相機老廠徠卡做瞭註解。雙方合作方式," 黑白 + 彩色 " 的雙鏡頭的也跟其他廠商的 " 長焦 + 廣角 " 方案不相同。這既向徠卡 M Monochrome 的致敬,也是為提高解析力做的工程方向考慮。舍棄瞭拜爾濾鏡之後,黑白能帶來兩倍多的進光量,帶來更高的感光度和更低的噪點;但僅有它不夠,另一顆彩色鏡頭是對現有拍照習慣的補充,人們喜歡絢麗的彩色照片,它的作用是彌補黑白攝像頭的不足,把色彩找回來。
兩者合一,再加上相關算法,才可組成 Mate 10 的拍照系統。
華為並沒有給 AI 賦予過多復雜概念,在全球發佈會上,最明顯的體驗是拍照這件人們習以為常的 " 小事 "。
若做個簡單比喻,以前的手機拍照是手動檔汽車,無論馬力多大,碰上不會換擋的用戶也是白搭;華為做的是讓手動檔變成自動檔,讓更多人不再有使用壓力。
這一切都並非一蹴而就,技術不是等來的。根據相關人士介紹,包括鏡頭、感光元件、ISP 處理器等,華為從一年半以前就著手開始做準備。如果再往前推,2015 年的 Mate 8 就加入華為自主研發 ISP 圖像信號處理,這是技術積累的實例。真是因此,華為才做出瞭世界第一款(目前也是唯一)的雙 f/1.6 光圈鏡頭,幾乎為 0 的白平衡誤差,以及相機評測機構 DxOMark 的手機靜態拍照 100 分成績。
手機鏡頭的未來
" 我們的目標是對標單反。相比單反,高倍數的變焦,極暗光條件下的拍攝,虛化問題,這些從目前來看手機都面臨很大挑戰,所以不論硬件還是算法,手機都有很大的發展空間。" 當我們問到手機拍照是否摸到天花板的時候,工程師們給出瞭這段答案。
當然,他們談到的手機拍照未來不僅僅是一張好照片,還在朝著更廣的空間拓展。他們更願意將未來的手機鏡頭作為一個傳感器,一張漂亮照片隻是最表層的用法。
Mate 10 全球發佈會上演示的隨行翻譯是其中一例,手機用鏡頭看到片外文,翻譯成英文,並且神經網絡能讓機器在學習中不斷完善答案。這一切背後依舊是 AI 的支持,通過鏡頭看到更多世界、通過用戶手機使用習慣感知學習並適時會給出合理優化。
那是個更廣闊的世界,也是在手機行業走過瞭大屏時代和跑分時代之後,繼續向前的新推動力。