2017-09-20 10:50:42 創(chuàng)事記 微博 作者： 智東西
歡迎關(guān)注“創(chuàng)事記”的微信訂閱號(hào)：sinachuangshiji
文/智東西 Lina
上周，蘋(píng)果公司在剛剛落成投入使用的“飛船”新總部（Apple Park）舉行2017年秋季新品發(fā)布會(huì)，整場(chǎng)發(fā)布會(huì)基本被iPhone X搶盡了風(fēng)頭（想采訪(fǎng)一下iPhone 8/8p的心理陰影面積）。
iPhone 8/8p和iPhone X都搭載了蘋(píng)果自研的A11 Bionic（仿生）芯片。雖然蘋(píng)果全程并沒(méi)有在這款芯片上花太多功夫介紹，但我們?nèi)耘f知道它集成了一個(gè)專(zhuān)用于機(jī)器學(xué)習(xí)的硬件——“神經(jīng)網(wǎng)絡(luò)引擎（Neural Engine）”
可別小看了這塊A11，通過(guò)智東西仔細(xì)研究發(fā)現(xiàn)，它不僅是iPhone X中一眾“黑科技”的來(lái)源，而且蘋(píng)果為了打造這塊芯片早在9年前就開(kāi)始了技術(shù)布局。
一、參數(shù)亮相，跑分爆表了
在介紹A11里專(zhuān)門(mén)用于機(jī)器學(xué)習(xí)的“神經(jīng)網(wǎng)絡(luò)引擎”之前，我們先來(lái)看看A11的基本參數(shù)。
工藝方面，A11采用了臺(tái)積電10nm FinFET工藝，集成了43億個(gè)晶體管（上一代采用16nm工藝的A10 Fusion集成了33億個(gè)晶體管，華為麒麟970則用10nm工藝集成了55億個(gè)）。
A11搭載了64位ARMv8-A架構(gòu)的6核CPU，其中包括2個(gè)名為“Monsoon”的性能核（performance core）和4個(gè)名為“Mistral”的能效核（high-eggiciency core），性能核比上一代A10里的快了25%，能效核則快了70%。
而且，與A10不同，A11中使用了蘋(píng)果自研的第二代新型性能控制器，允許6個(gè)CPU內(nèi)核同時(shí)使用，整體性能比上一代快了70%。
至于為什么分為性能核和能效核呢？當(dāng)手機(jī)進(jìn)行發(fā)短信、瀏覽網(wǎng)頁(yè)等輕量任務(wù)時(shí)，系統(tǒng)會(huì)選擇調(diào)用能耗更低的能效核（high-eggiciency core），而當(dāng)手機(jī)需要運(yùn)行對(duì)計(jì)算能力要求更高的軟件時(shí)，則需要?jiǎng)佑眯阅芎耍╬erformance core）進(jìn)行處理，借此可以有效延長(zhǎng)平均電池壽命。搭載了A11的iPhone X在充滿(mǎn)電后，將會(huì)比iPhone 7延長(zhǎng)2個(gè)小時(shí)的待機(jī)時(shí)間。
A11的另外一大亮點(diǎn)就是首次搭載了蘋(píng)果自研的GPU，這是一款3核GPU，性能相比A10 Fusion提升30%，只需要一半的功耗就能達(dá)到A10的表現(xiàn)。這是今年4月蘋(píng)果宣布和英國(guó)GPU設(shè)計(jì)公司Imagination Technologies“分手”后推出的首款自研GPU，針對(duì)AR、沉浸式3D游戲等方面都進(jìn)行了優(yōu)化，比A10快了30%。
A11里還集成了蘋(píng)果自研的ISP、自研的視頻編解碼器等等。從種種強(qiáng)調(diào)的“自研”我們不難發(fā)現(xiàn)，蘋(píng)果已經(jīng)越來(lái)越強(qiáng)調(diào)架構(gòu)的自主化。在徹底跟老朋友Imagination Technologies分手后（并且導(dǎo)致人家股價(jià)斷崖式下跌70%后），蘋(píng)果的下一個(gè)自研目標(biāo)也許會(huì)移到基帶技術(shù)上，與高通曠日持久的專(zhuān)利訴訟案件算得上是前兆了。
此外，我們也可以從A11在Geekbench的跑分上一窺究竟：在Geekbench中有A11的幾個(gè)跑分，其中單核性能最高的是4274，多核性能最高的是10438，而取這些跑分平均值后，單核性能是4169，多核性能是9836。
這是什么概念呢？跟上一代A10的“單核成績(jī)3332，多核成績(jī)5558”比起來(lái)，A11在兩方面的性能有接近30%和50%的飆升。而iPad Pro中的A10X單核性能平均在3900左右，而多核性能是9200左右，依然弱于A(yíng)11。
而Android陣營(yíng)的種子選手——高通驍龍835的GeekBench成績(jī)?yōu)閱魏?000左右，多核6500左右。
二、A11就是“人工智能芯片”
這次，蘋(píng)果在自家的A11 Bionic芯片上搭載了一個(gè)專(zhuān)用于機(jī)器學(xué)習(xí)的硬件——“神經(jīng)網(wǎng)絡(luò)引擎（neural engine）”。
現(xiàn)在所謂的手機(jī)處理器，比如高通的835、蘋(píng)果的A11、麒麟970等，實(shí)際上所指的是一個(gè)“處理器包”封裝在一起，這個(gè)計(jì)算包專(zhuān)業(yè)一點(diǎn)說(shuō)叫Soc（System-on-a-Chip），高大上的說(shuō)法是“計(jì)算平臺(tái)”；根據(jù)分工不同，很多專(zhuān)用功能的處理單元加進(jìn)來(lái)，比如我們最熟悉的是GPU，現(xiàn)在這個(gè)包里的獨(dú)立單元數(shù)量已經(jīng)越來(lái)越大，比如ISP（圖像處理）、Modem（通信模塊）、DSP（數(shù)字信號(hào)處理）等。
不同的數(shù)據(jù)進(jìn)來(lái)，交給不同特長(zhǎng)的計(jì)算模塊來(lái)處理將會(huì)得到更好的效果、更高的能效比，A11的神經(jīng)網(wǎng)絡(luò)引擎（neural engine）跟麒麟970的NPU一樣，是在手機(jī)處理器平臺(tái)新加入的一個(gè)擅長(zhǎng)神經(jīng)網(wǎng)絡(luò)計(jì)算的硬件模塊。
而這也是為什么從20nm、16nm、到現(xiàn)在的10nm、以及研發(fā)中的7nm，各大芯片設(shè)計(jì)商、代工商都在拼命把芯片技術(shù)往小了做，為的就是在不影響芯片大小的前提下擠進(jìn)更多的獨(dú)立處理單元。
A11的神經(jīng)網(wǎng)絡(luò)引擎采用雙核設(shè)計(jì)，每秒運(yùn)算次數(shù)最高可達(dá)6000億次，相當(dāng)于0.6TFlops（寒武紀(jì)NPU則是1.92TFlops，每秒可以進(jìn)行19200次浮點(diǎn)運(yùn)算），以幫助加速人工智能任務(wù)，即專(zhuān)門(mén)針對(duì)Face ID，Animoji和AR應(yīng)用程序的ASIC（專(zhuān)用集成電路/全定制AI芯片）。
有了神經(jīng)網(wǎng)絡(luò)引擎，蘋(píng)果高級(jí)副總裁Phil Schiller很有底氣的表示：
“A11 Bionic是一款智能手機(jī)到目前為止所能擁有的最強(qiáng)勁、最智能的芯片。而基于A(yíng)SIC的深度學(xué)習(xí)，實(shí)現(xiàn)了高準(zhǔn)確率之外，還能比基于通用芯片（GPU、FPGA）的方案減少功耗�！�
不過(guò)，蘋(píng)果對(duì)這款神經(jīng)網(wǎng)絡(luò)引擎的功耗、實(shí)測(cè)性能等方面都沒(méi)有進(jìn)一步披露。
A11同時(shí)也支持Core ML，這是蘋(píng)果在今年WWDC開(kāi)發(fā)者大會(huì)上推出的一款新型機(jī)器學(xué)習(xí)框架，能讓開(kāi)發(fā)者更方便地將機(jī)器學(xué)習(xí)技術(shù)整合到自己的App中。Core ML支持所有主要的神經(jīng)網(wǎng)絡(luò)，如DNN、RNN、CNN等，開(kāi)發(fā)者可以把訓(xùn)練完成的機(jī)器學(xué)習(xí)模型封裝進(jìn)App之中。
三、買(mǎi)買(mǎi)買(mǎi)，買(mǎi)出來(lái)的AI帝國(guó)
從去2010年開(kāi)始，蘋(píng)果就沒(méi)有停止過(guò)收購(gòu)人工智能創(chuàng)企的步伐，并且每次給出的都是慣常聲明：“蘋(píng)果會(huì)不時(shí)收購(gòu)規(guī)模較小的科技公司。我們通常不討論目的或計(jì)劃�！狈浅Ｓ小笆铝朔饕氯�，深藏功與名”的意思。
而且，每個(gè)被蘋(píng)果收購(gòu)的公司都會(huì)立即關(guān)閉對(duì)外的產(chǎn)品和服務(wù)，像是忽然從世界消失一般。
收購(gòu)芯片廠(chǎng)商
以芯片為例，早在2008年，蘋(píng)果就以2.78億美元收購(gòu)了2003年成立加州的高性能低功耗處理器制造商PA Semi。
隨后在2010年，蘋(píng)果以1.21億美元收購(gòu)了1997年成立的美國(guó)德州半導(dǎo)體邏輯設(shè)計(jì)公司Intrinsity，專(zhuān)注于設(shè)計(jì)較少晶體管、低能耗同時(shí)具備高性能的處理器。
2011年年底，蘋(píng)果又以3900萬(wàn)美元的價(jià)格收購(gòu)了以色列閃存控制器設(shè)計(jì)公司Anobit。
2013年8月1日，蘋(píng)果收購(gòu)了成立于2007年的加州半導(dǎo)體公司Passif Semiconductor，其專(zhuān)長(zhǎng)于低功耗無(wú)線(xiàn)通訊芯片（大膽地猜測(cè)一下Apple Watch的芯片技術(shù)是不是來(lái)自這里）。
其后的2015年底，蘋(píng)果再次斥資1820萬(wàn)美元，收購(gòu)了一間位于加州圣何塞北部的面積7萬(wàn)平方英尺（6500平方米）的芯片制造工廠(chǎng)。這座工廠(chǎng)原屬于芯片制造商Maxim Integrated Products，其設(shè)施包括了芯片制造工具，而且工廠(chǎng)地址靠近三星半導(dǎo)體公司。
從以上一連串的買(mǎi)買(mǎi)買(mǎi)我們可以看到，蘋(píng)果的芯片布局早在近十年前就開(kāi)始了。
除了芯片之外，從2010年至今，蘋(píng)果已經(jīng)陸續(xù)收購(gòu)了四五十家創(chuàng)企，包括語(yǔ)音識(shí)別、圖像/面部識(shí)別、計(jì)算機(jī)視覺(jué)、AR、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、地圖、定位等等，而這其中幾個(gè)比較具備代表性的有：
收購(gòu)面部識(shí)別/表情追蹤廠(chǎng)商——Animoji和Face ID的技術(shù)來(lái)源
2010年，蘋(píng)果以2900萬(wàn)美元收購(gòu)瑞典面部識(shí)別創(chuàng)企Polar Rose，他們開(kāi)發(fā)的面部識(shí)別程序可以可以為用戶(hù)自動(dòng)圈出照片中的人臉。
2015年11月，蘋(píng)果收購(gòu)《星球大戰(zhàn)》背后的動(dòng)作捕捉技術(shù)公司Faceshift，這家蘇黎世的創(chuàng)業(yè)公司開(kāi)發(fā)了實(shí)時(shí)追蹤人臉表情，然后再用動(dòng)畫(huà)表現(xiàn)出來(lái)的技術(shù)。該技術(shù)還可以實(shí)現(xiàn)面部識(shí)別。
2016年1月，蘋(píng)果收購(gòu)了加州AI初創(chuàng)Emollient，該公司使用人工智能技術(shù)讀取圖片中的面部表情。
2017年2月，蘋(píng)果以200萬(wàn)美元收購(gòu)了面部識(shí)別以色列創(chuàng)企RealFace，該公司開(kāi)發(fā)了一種獨(dú)特的面部識(shí)別技術(shù)，其中整合人工智能并將人類(lèi)的感知帶回?cái)?shù)字過(guò)程。
收購(gòu)AR引擎巨頭
2015年5月，蘋(píng)果收購(gòu)AR引擎巨頭德國(guó)Metaio公司。彼時(shí)Metaio與Vuforia并肩稱(chēng)霸AR引擎行業(yè)，Metaio擁有約15萬(wàn)名開(kāi)發(fā)者，Vuforia則擁有大約18萬(wàn)，兩家的SDK開(kāi)發(fā)者占到了當(dāng)時(shí)整個(gè)市場(chǎng)的95%以上，在A(yíng)R的行業(yè)地位有如Windows和Mac OS之于PC。這個(gè)收購(gòu)舉措，可以看作是ARkit的技術(shù)來(lái)源。
收購(gòu)25年德國(guó)老牌眼球追蹤企業(yè)
而離現(xiàn)在最近的一次收購(gòu)，就是蘋(píng)果今年6月時(shí)宣布收購(gòu)德國(guó)老牌眼動(dòng)追蹤企業(yè)SMI（SensoMotoric Instruments）。其歷史要追溯到1991年，SMI從柏林自由大學(xué)學(xué)術(shù)醫(yī)療研究院剝離出來(lái)，獨(dú)自成立眼球追蹤技術(shù)公司，迄今已經(jīng)有超過(guò)25年的發(fā)展歷史了。產(chǎn)品包括面向企業(yè)與研發(fā)機(jī)構(gòu)的眼球追蹤設(shè)備/應(yīng)用、醫(yī)療醫(yī)療眼控輔助設(shè)備、手機(jī)、電腦、VR設(shè)備等的眼控技術(shù)支持等。
目前，眼球追蹤技術(shù)已經(jīng)被集成在了iPhone X里。在用Face ID解鎖時(shí)，只要你眼睛沒(méi)有看著屏幕，屏幕也是不會(huì)解鎖的。
四、用來(lái)干啥：Face ID背后的結(jié)構(gòu)光學(xué)技術(shù)
既然是“人工智能芯片”，當(dāng)然是用來(lái)做人工智能——人臉識(shí)別、圖像識(shí)別、面部表情追蹤、語(yǔ)音識(shí)別、NLP、SLAM等等。
而A11的神經(jīng)網(wǎng)絡(luò)引擎第一個(gè)重要的應(yīng)用就是iPhone X的刷臉解鎖——Face ID。
雖然刷臉解鎖并不是什么石破天驚的新技術(shù)，但是蘋(píng)果的Face ID解鎖跟普通的基于RGB圖像的人臉識(shí)別解鎖不同。寒武紀(jì)架構(gòu)研發(fā)總監(jiān)劉少禮博士說(shuō)：
“我們這次對(duì)蘋(píng)果A11的AI引擎了解不多，特別是功耗、實(shí)測(cè)性能等方面蘋(píng)果發(fā)布會(huì)基本沒(méi)有提。個(gè)人覺(jué)得iPhone X這次最大的亮點(diǎn)是距離傳感器，用來(lái)支持3D的Face ID，這個(gè)功能在業(yè)內(nèi)還是引起了不小震動(dòng)，后續(xù)會(huì)給予這功能開(kāi)發(fā)出不少有趣的應(yīng)用。通過(guò)結(jié)構(gòu)光發(fā)射器和紅外攝像頭配合，可以捕捉人臉的深度信息，比之前用2D圖像作人臉識(shí)別進(jìn)步了很多。”
根據(jù)原理和硬件實(shí)現(xiàn)方式的不同，行業(yè)內(nèi)所采用的3D機(jī)器視覺(jué)主要有三種：結(jié)構(gòu)光、TOF 時(shí)間光、雙目立體成像。
三種主流的 3D 視覺(jué)方案代表性產(chǎn)品
雙目立體成像方案軟件算法復(fù)雜，技術(shù)還不成熟；結(jié)構(gòu)光方案技術(shù)成熟，功耗低，平面信息分辨率高，但是容易受光照影響，識(shí)別距離近；TOF 方案抗干擾性好，識(shí)別距離遠(yuǎn)，但是平面分辨率低，功耗較大。
綜合來(lái)看，結(jié)構(gòu)光方案更加適合消費(fèi)電子產(chǎn)品前置近距離攝像，可應(yīng)用于人臉識(shí)別 、手勢(shì)識(shí)別等方面，TOF方案更加適合消費(fèi)電子產(chǎn)品后置遠(yuǎn)距離攝像，可應(yīng)用于 AR、體感交互等方面。
iPhone X的Face ID采用了人工智能加持的結(jié)構(gòu)光方案：數(shù)據(jù)采集由該機(jī)正面上方的景深感知攝像機(jī)（即“劉海兒”，TrueDepth Camera System）完成，其紅外線(xiàn)發(fā)射器可以發(fā)射3萬(wàn)個(gè)偵測(cè)點(diǎn)，利用神經(jīng)引擎（Neural Engine）將反射回來(lái)的數(shù)據(jù)與儲(chǔ)存在A(yíng)11芯片隔區(qū)內(nèi)的數(shù)據(jù)進(jìn)行對(duì)比，實(shí)現(xiàn)用戶(hù)面部的3D讀取與處理。通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的加持，F(xiàn)ace ID失誤率僅為百萬(wàn)分之一，遠(yuǎn)小于Touch ID的五萬(wàn)分之一。
與此同時(shí)，iPhone X還具備眼球追蹤功能，在你面對(duì)屏幕，但是眼睛沒(méi)有看著它的時(shí)候，也是不會(huì)解鎖的。所以，這樣的人臉解鎖是照片騙不了的。
而且，蘋(píng)果的軟件工程高級(jí)副總裁Craig Federighi曾表示，“我們不會(huì)在用戶(hù)注冊(cè)Face ID時(shí)收集數(shù)據(jù)，它會(huì)保留在你的設(shè)備上，不會(huì)被發(fā)送到云端進(jìn)行訓(xùn)練�！� 符合蘋(píng)果一貫的“用戶(hù)隱私為上”理念。
最為神奇的是，用戶(hù)面容適應(yīng)（化妝、佩戴眼鏡、長(zhǎng)胡子、隨著年齡增長(zhǎng)而變?nèi)莞淖兊龋┻^(guò)程需要用到的深度學(xué)習(xí)訓(xùn)練也是在本地完成的。深度學(xué)習(xí)分為訓(xùn)練（Training）和推理/應(yīng)用（Inference）兩部分，訓(xùn)練階段所需的計(jì)算量比應(yīng)用階段的要大上許多。
另一方面，計(jì)算與訓(xùn)練的本地化也有助于讓Siri變得更加智能。畢竟有不少人認(rèn)為由于蘋(píng)果對(duì)用戶(hù)的隱私過(guò)于重視，導(dǎo)致Siri發(fā)展較慢，競(jìng)爭(zhēng)對(duì)手們后來(lái)居上。
此外，在A(yíng)11的加成下，iPhone X前頭“劉海兒”實(shí)現(xiàn)的臉部追蹤技術(shù)還可以用于個(gè)人定制化表情Animoji（能捕捉并分析 50 多種不同的肌肉運(yùn)動(dòng)）、AR濾鏡等，新的互動(dòng)的方式有望提高用戶(hù)的參與度和粘性，提高AR社交平臺(tái)的經(jīng)濟(jì)價(jià)值。而3D視覺(jué)所提供的景深信息和建模能力是現(xiàn)有普通攝像頭無(wú)法比擬的。
而iPhone X還搭載了全新陀螺儀和加速計(jì)，刷新率達(dá)到60 fps，可以實(shí)現(xiàn)準(zhǔn)確的動(dòng)作追蹤以及很好的渲染效果。在發(fā)布會(huì)上，蘋(píng)果全球市場(chǎng)營(yíng)銷(xiāo)高級(jí)副總裁Phil Schiller是這么說(shuō)的：“這是第一款真正為AR打造的智能手機(jī)�！�
五、火熱的AI芯片產(chǎn)業(yè)
當(dāng)前人工智能芯片主要分為GPU、ASIC、FPGA。代表分別為NVIDIA Tesla系列GPU、Google的TPU、Xilinx的FPGA。此外，Intel還推出了融核芯片Xeon Phi，適用于包括深度學(xué)習(xí)在內(nèi)的高性能計(jì)算，但目前根據(jù)公開(kāi)消息來(lái)看在深度學(xué)習(xí)方面業(yè)內(nèi)較少使用。
其中，蘋(píng)果的A11、寒武紀(jì)的A1、谷歌的TPU等都屬于A(yíng)SIC，也就是專(zhuān)用集成電路。
ASIC（Application Specific Integrated Circuit）。顧名思義，ASIC就是根據(jù)特定的需求而專(zhuān)門(mén)設(shè)計(jì)并制造出的芯片，能夠優(yōu)化芯片架構(gòu)，針對(duì)性的提出神經(jīng)網(wǎng)絡(luò)計(jì)算處理的指令集，因而在處理特定任務(wù)時(shí)，其性能、功耗等方面的表現(xiàn)優(yōu)于 CPU、GPU 和 FPGA；但ASIC算法框架尚未統(tǒng)一，因此并未成為目前主流的解決方案。
寒武紀(jì)1號(hào)神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)
谷歌ASIC產(chǎn)品探索
現(xiàn)有的ASIC包括谷歌的TPU、我國(guó)中科院計(jì)算所的寒武紀(jì)、應(yīng)用于大疆無(wú)人機(jī)和�？低曋悄軘z像頭的Movidius Myriad芯片、曾用于Tesla汽車(chē)自動(dòng)駕駛和ADAS的Mobileye芯片等針對(duì)特定算法以及特定框架的全定制AI芯片。
此外，更近一步的的AI芯片前景，大概是IBM的TrueNorth這類(lèi)的類(lèi)腦芯片（BPU）。類(lèi)腦芯片的目的是開(kāi)發(fā)出新的類(lèi)腦計(jì)算機(jī)體系結(jié)構(gòu)，會(huì)采用憶阻器和 ReRAM 等新器件來(lái)提高存儲(chǔ)密度，目前技術(shù)遠(yuǎn)未成熟。
不同芯片在人工智能計(jì)算方面各有所強(qiáng)
結(jié)語(yǔ)：我們離手機(jī)AI芯片還有多遠(yuǎn)？
在蘋(píng)果的推動(dòng)下，專(zhuān)用AI處理單元可能會(huì)越來(lái)越成為智能手機(jī)芯片的發(fā)展趨勢(shì)。畢竟目前在生物識(shí)別、圖形圖像識(shí)別、用戶(hù)使用習(xí)慣學(xué)習(xí)等方面都越來(lái)越依賴(lài)機(jī)器學(xué)習(xí)技術(shù)，而不太穩(wěn)定的網(wǎng)絡(luò)帶寬（大家記不記得早期Prisma要等好久才能生成圖片）、個(gè)人隱私、功耗比等問(wèn)題也在驅(qū)動(dòng)著手機(jī)芯片集成專(zhuān)用AI處理單元的發(fā)展。
總的來(lái)說(shuō)，無(wú)論是A11還是之前的麒麟970，都是讓AI在手機(jī)端開(kāi)始由軟到硬落地的表現(xiàn)，是人工智能進(jìn)一步產(chǎn)業(yè)化落地的一個(gè)典型代表。
關(guān)注樓主