上周末,華為終端舉辦了一場(chǎng)拍照體驗(yàn)活動(dòng),我們有機(jī)會(huì)與華為研發(fā)工程師直接交流,談到了許多Mate10系列手機(jī)拍照背后故事。
在會(huì)后整理發(fā)言資料會(huì)發(fā)現(xiàn),華為所講的手機(jī)拍照這件事,已經(jīng)不僅僅是光圈快門,我原以為與拍照技術(shù)有關(guān)的內(nèi)容并沒有出現(xiàn)太多,反倒是AI成了關(guān)鍵詞,因?yàn)轺梓?70的到來,手機(jī)有了自己調(diào)整拍照參數(shù)的機(jī)會(huì)。我們更多談?wù)摰,是AI(人工智能)在拍照這件看似簡(jiǎn)單小事上做了什么。
AI介入拍照
在新品Mate 10系列上,AI是一種直白的表達(dá)。華為將看似難以理解的人工智能用到了所有人都會(huì)用的拍照功能上面:麒麟970給手機(jī)帶來了識(shí)圖功能,在鏡頭前出現(xiàn)美食、貓、狗等不同物件的時(shí)候,屏幕上會(huì)出現(xiàn)相圖表,表示自己看懂了用戶正在拍什么,之后默默調(diào)整細(xì)節(jié)參數(shù)。
這個(gè)動(dòng)作將過于概念化的人工智能帶進(jìn)了用戶對(duì)手機(jī)拍照(而不是相機(jī)拍照)的實(shí)際期待中:拿出手機(jī),按下快門,出一張讓自己足夠滿意的照片并分享出去。你看不到拍照參數(shù)的調(diào)整(也不用看),這一切就這樣默默發(fā)生。
根據(jù)華為研發(fā)工程師的描述,當(dāng)他們最初確定手機(jī)訴求的時(shí)候,是從“用戶的痛點(diǎn)與硬件的發(fā)展”兩個(gè)維度考慮的。前者來自華為終端和市場(chǎng)調(diào)研公司的合作,這也是大公司確定研發(fā)需求前尋找用戶訴求的主要方式——最終,最多的關(guān)注點(diǎn)落在了抓拍之類的實(shí)處。
Mate 10樣片
翻回到2015年,新浪數(shù)碼的編輯評(píng)測(cè)手機(jī)的時(shí)候還將拍照部分的描述寫作“攝像頭”而不是“鏡頭”,這兩詞的差別也是我們表達(dá)兩種功能類似但性能完全處于不同級(jí)別的區(qū)分,F(xiàn)在,很多確實(shí)可以稱之為手機(jī)鏡頭了,甚至可以提升到攝影的層面。
但即便如此,依然不是所有用戶都能拍出足夠好的照片。
當(dāng)硬件發(fā)展到一定水準(zhǔn),可依然沒法滿足用戶需求之后,華為的研發(fā)工程師們希望用自動(dòng)化的方式解決這對(duì)矛盾。
其中關(guān)鍵是麒麟970的到來
9月IFA柏林國(guó)際消費(fèi)電子展上,華為終端掌門人余承東手里捏著一顆硬幣大小的芯片,宣布麒麟970芯片誕生,它是世界首款帶有專用人工智能元素的手機(jī)芯片;10月,它被裝載到了Mate 10和Mate 10 Pro兩款手機(jī)上,人工智能就這樣跟手機(jī)拍照有了交集。
“有了NPU的助力,AI能夠幫用戶把場(chǎng)景識(shí)別好,一鍵拍出不錯(cuò)的照片”,Mate 10的研發(fā)工程師這樣說。
NPU是麒麟 970芯片最特別的部分,全稱Neural-network Processing Unit,也就是神經(jīng)網(wǎng)絡(luò)處理單元,專門為AI相關(guān)計(jì)算定制的處理器。
麒麟970芯片發(fā)布
對(duì)傳統(tǒng)芯片來說,CPU核心處理器和GPU圖形處理也可以用作深度學(xué)習(xí),但它們?cè)静⒎菫樯疃葘W(xué)習(xí)定制,效率并不算高。麒麟970的NPU為深度學(xué)習(xí)而定制,根據(jù)一些公開資料,它的FP16浮點(diǎn)運(yùn)算性能達(dá)到了1.92TFLOP,相比麒麟 960(0.6 TFLOP 左右)提升3倍多。
這是上文提到的“硬件的發(fā)展”的一部分,另外一部分則是拍照模塊與鏡頭的改進(jìn)。
Mate 10鏡頭邊的標(biāo)簽是”Summilux-H“,H意為華為,這家中國(guó)廠商用這種方式低調(diào)的給自己的德國(guó)相機(jī)老廠徠卡做了注解。雙方合作方式,“黑白+彩色”的雙鏡頭的也跟其他廠商的“長(zhǎng)焦+廣角”方案不相同。這既向徠卡M Monochrome的致敬,也是為提高解析力做的工程方向考慮。舍棄了拜爾濾鏡之后,黑白能帶來兩倍多的進(jìn)光量,帶來更高的感光度和更低的噪點(diǎn);但僅有它不夠,另一顆彩色鏡頭是對(duì)現(xiàn)有拍照習(xí)慣的補(bǔ)充,人們喜歡絢麗的彩色照片,它的作用是彌補(bǔ)黑白攝像頭的不足,把色彩找回來。
兩者合一,再加上相關(guān)算法,才可組成Mate 10的拍照系統(tǒng)。
華為并沒有給AI賦予過多復(fù)雜概念,在全球發(fā)布會(huì)上,最明顯的體驗(yàn)是拍照這件人們習(xí)以為常的“小事”。
若做個(gè)簡(jiǎn)單比喻,以前的手機(jī)拍照是手動(dòng)檔汽車,無論馬力多大,碰上不會(huì)換擋的用戶也是白搭;華為做的是讓手動(dòng)檔變成自動(dòng)檔,讓更多人不再有使用壓力。
這一切都并非一蹴而就,技術(shù)不是等來的。根據(jù)相關(guān)人士介紹,包括鏡頭、感光元件、ISP處理器等,華為從一年半以前就著手開始做準(zhǔn)備。如果再往前推,2015年的Mate 8就加入華為自主研發(fā)ISP圖像信號(hào)處理,這是技術(shù)積累的實(shí)例。真是因此,華為才做出了世界第一款(目前也是唯一)的雙f/1.6光圈鏡頭,幾乎為0的白平衡誤差,以及相機(jī)評(píng)測(cè)機(jī)構(gòu)DxOMark的手機(jī)靜態(tài)拍照100分成績(jī)。
手機(jī)鏡頭的未來
“我們的目標(biāo)是對(duì)標(biāo)單反。相比單反,高倍數(shù)的變焦,極暗光條件下的拍攝,虛化問題,這些從目前來看手機(jī)都面臨很大挑戰(zhàn),所以不論硬件還是算法,手機(jī)都有很大的發(fā)展空間。”當(dāng)我們問到手機(jī)拍照是否摸到天花板的時(shí)候,工程師們給出了這段答案。
DxO的拍照得分
當(dāng)然,他們談到的手機(jī)拍照未來不僅僅是一張好照片,還在朝著更廣的空間拓展。他們更愿意將未來的手機(jī)鏡頭作為一個(gè)傳感器,一張漂亮照片只是最表層的用法。
Mate 10全球發(fā)布會(huì)上演示的隨行翻譯是其中一例,手機(jī)用鏡頭看到片外文,翻譯成英文,并且神經(jīng)網(wǎng)絡(luò)能讓機(jī)器在學(xué)習(xí)中不斷完善答案。這一切背后依舊是AI的支持,通過鏡頭看到更多世界、通過用戶手機(jī)使用習(xí)慣感知學(xué)習(xí)并適時(shí)會(huì)給出合理優(yōu)化。
那是個(gè)更廣闊的世界,也是在手機(jī)行業(yè)走過了大屏?xí)r代和跑分時(shí)代之后,繼續(xù)向前的新推動(dòng)力。