上周末,華為終端舉辦了一場(chǎng)拍照體驗(yàn)活動(dòng),我們有機(jī)會(huì)與華為研發(fā)工程師直接交流,談到了許多Mate10系列手機(jī)拍照背后故事。
在會(huì)后整理發(fā)言資料會(huì)發(fā)現(xiàn),華為所講的手機(jī)拍照這件事,已經(jīng)不僅僅是光圈快門(mén),我原以為與拍照技術(shù)有關(guān)的內(nèi)容并沒(méi)有出現(xiàn)太多,反倒是AI成了關(guān)鍵詞,因?yàn)轺梓?70的到來(lái),手機(jī)有了自己調(diào)整拍照參數(shù)的機(jī)會(huì)。我們更多談?wù)摰,是AI(人工智能)在拍照這件看似簡(jiǎn)單小事上做了什么。
AI介入拍照
在新品Mate 10系列上,AI是一種直白的表達(dá)。華為將看似難以理解的人工智能用到了所有人都會(huì)用的拍照功能上面:麒麟970給手機(jī)帶來(lái)了識(shí)圖功能,在鏡頭前出現(xiàn)美食、貓、狗等不同物件的時(shí)候,屏幕上會(huì)出現(xiàn)相圖表,表示自己看懂了用戶(hù)正在拍什么,之后默默調(diào)整細(xì)節(jié)參數(shù)。
這個(gè)動(dòng)作將過(guò)于概念化的人工智能帶進(jìn)了用戶(hù)對(duì)手機(jī)拍照(而不是相機(jī)拍照)的實(shí)際期待中:拿出手機(jī),按下快門(mén),出一張讓自己足夠滿(mǎn)意的照片并分享出去。你看不到拍照參數(shù)的調(diào)整(也不用看),這一切就這樣默默發(fā)生。
根據(jù)華為研發(fā)工程師的描述,當(dāng)他們最初確定手機(jī)訴求的時(shí)候,是從“用戶(hù)的痛點(diǎn)與硬件的發(fā)展”兩個(gè)維度考慮的。前者來(lái)自華為終端和市場(chǎng)調(diào)研公司的合作,這也是大公司確定研發(fā)需求前尋找用戶(hù)訴求的主要方式——最終,最多的關(guān)注點(diǎn)落在了抓拍之類(lèi)的實(shí)處。
Mate 10樣片
翻回到2015年,新浪數(shù)碼的編輯評(píng)測(cè)手機(jī)的時(shí)候還將拍照部分的描述寫(xiě)作“攝像頭”而不是“鏡頭”,這兩詞的差別也是我們表達(dá)兩種功能類(lèi)似但性能完全處于不同級(jí)別的區(qū)分。現(xiàn)在,很多確實(shí)可以稱(chēng)之為手機(jī)鏡頭了,甚至可以提升到攝影的層面。
但即便如此,依然不是所有用戶(hù)都能拍出足夠好的照片。
當(dāng)硬件發(fā)展到一定水準(zhǔn),可依然沒(méi)法滿(mǎn)足用戶(hù)需求之后,華為的研發(fā)工程師們希望用自動(dòng)化的方式解決這對(duì)矛盾。
其中關(guān)鍵是麒麟970的到來(lái)
9月IFA柏林國(guó)際消費(fèi)電子展上,華為終端掌門(mén)人余承東手里捏著一顆硬幣大小的芯片,宣布麒麟970芯片誕生,它是世界首款帶有專(zhuān)用人工智能元素的手機(jī)芯片;10月,它被裝載到了Mate 10和Mate 10 Pro兩款手機(jī)上,人工智能就這樣跟手機(jī)拍照有了交集。
“有了NPU的助力,AI能夠幫用戶(hù)把場(chǎng)景識(shí)別好,一鍵拍出不錯(cuò)的照片”,Mate 10的研發(fā)工程師這樣說(shuō)。
NPU是麒麟 970芯片最特別的部分,全稱(chēng)Neural-network Processing Unit,也就是神經(jīng)網(wǎng)絡(luò)處理單元,專(zhuān)門(mén)為AI相關(guān)計(jì)算定制的處理器。
麒麟970芯片發(fā)布
對(duì)傳統(tǒng)芯片來(lái)說(shuō),CPU核心處理器和GPU圖形處理也可以用作深度學(xué)習(xí),但它們?cè)静⒎菫樯疃葘W(xué)習(xí)定制,效率并不算高。麒麟970的NPU為深度學(xué)習(xí)而定制,根據(jù)一些公開(kāi)資料,它的FP16浮點(diǎn)運(yùn)算性能達(dá)到了1.92TFLOP,相比麒麟 960(0.6 TFLOP 左右)提升3倍多。
這是上文提到的“硬件的發(fā)展”的一部分,另外一部分則是拍照模塊與鏡頭的改進(jìn)。
Mate 10鏡頭邊的標(biāo)簽是”Summilux-H“,H意為華為,這家中國(guó)廠商用這種方式低調(diào)的給自己的德國(guó)相機(jī)老廠徠卡做了注解。雙方合作方式,“黑白+彩色”的雙鏡頭的也跟其他廠商的“長(zhǎng)焦+廣角”方案不相同。這既向徠卡M Monochrome的致敬,也是為提高解析力做的工程方向考慮。舍棄了拜爾濾鏡之后,黑白能帶來(lái)兩倍多的進(jìn)光量,帶來(lái)更高的感光度和更低的噪點(diǎn);但僅有它不夠,另一顆彩色鏡頭是對(duì)現(xiàn)有拍照習(xí)慣的補(bǔ)充,人們喜歡絢麗的彩色照片,它的作用是彌補(bǔ)黑白攝像頭的不足,把色彩找回來(lái)。
兩者合一,再加上相關(guān)算法,才可組成Mate 10的拍照系統(tǒng)。
華為并沒(méi)有給AI賦予過(guò)多復(fù)雜概念,在全球發(fā)布會(huì)上,最明顯的體驗(yàn)是拍照這件人們習(xí)以為常的“小事”。
若做個(gè)簡(jiǎn)單比喻,以前的手機(jī)拍照是手動(dòng)檔汽車(chē),無(wú)論馬力多大,碰上不會(huì)換擋的用戶(hù)也是白搭;華為做的是讓手動(dòng)檔變成自動(dòng)檔,讓更多人不再有使用壓力。
這一切都并非一蹴而就,技術(shù)不是等來(lái)的。根據(jù)相關(guān)人士介紹,包括鏡頭、感光元件、ISP處理器等,華為從一年半以前就著手開(kāi)始做準(zhǔn)備。如果再往前推,2015年的Mate 8就加入華為自主研發(fā)ISP圖像信號(hào)處理,這是技術(shù)積累的實(shí)例。真是因此,華為才做出了世界第一款(目前也是唯一)的雙f/1.6光圈鏡頭,幾乎為0的白平衡誤差,以及相機(jī)評(píng)測(cè)機(jī)構(gòu)DxOMark的手機(jī)靜態(tài)拍照100分成績(jī)。
手機(jī)鏡頭的未來(lái)
“我們的目標(biāo)是對(duì)標(biāo)單反。相比單反,高倍數(shù)的變焦,極暗光條件下的拍攝,虛化問(wèn)題,這些從目前來(lái)看手機(jī)都面臨很大挑戰(zhàn),所以不論硬件還是算法,手機(jī)都有很大的發(fā)展空間!碑(dāng)我們問(wèn)到手機(jī)拍照是否摸到天花板的時(shí)候,工程師們給出了這段答案。
DxO的拍照得分
當(dāng)然,他們談到的手機(jī)拍照未來(lái)不僅僅是一張好照片,還在朝著更廣的空間拓展。他們更愿意將未來(lái)的手機(jī)鏡頭作為一個(gè)傳感器,一張漂亮照片只是最表層的用法。
Mate 10全球發(fā)布會(huì)上演示的隨行翻譯是其中一例,手機(jī)用鏡頭看到片外文,翻譯成英文,并且神經(jīng)網(wǎng)絡(luò)能讓機(jī)器在學(xué)習(xí)中不斷完善答案。這一切背后依舊是AI的支持,通過(guò)鏡頭看到更多世界、通過(guò)用戶(hù)手機(jī)使用習(xí)慣感知學(xué)習(xí)并適時(shí)會(huì)給出合理優(yōu)化。
那是個(gè)更廣闊的世界,也是在手機(jī)行業(yè)走過(guò)了大屏?xí)r代和跑分時(shí)代之后,繼續(xù)向前的新推動(dòng)力。