通信網(wǎng)banner.jpg)
相關(guān)專題：
作者：郭華
先想象這樣一個(gè)場景——
你家有個(gè)天臺(tái)，上面什么都沒有。
你一筐筐的把土背上去，鋪了一小塊地，然后又挑水施肥，種了幾壟黃瓜、幾棵西紅柿和一小簇青菜。
你照顧的很用心，他們長勢也很不錯(cuò)，紅紅綠綠，晨曦中沾滿露水，散發(fā)出泥土的氣息。
然后等到秋天，你興沖沖跑上天臺(tái)，結(jié)果門一開，噗的驚飛一片麻雀，噗噗啦啦之后只見黃瓜斷了，西紅柿也滿是洞，他們綠的紅的汁，滴在被爪子踩的不成樣子的青菜里，一片狼藉。
而且這還是個(gè)溫暖又明媚的午后。
于是你聞著別處的稻香，在金黃的秋風(fēng)里，感到一陣凄涼。
——這時(shí)你再看Cloudera的故事，大概才能感同身受。
01 被仰望的
Cloudera的故事要從Hadoop開始說，而說Hadoop就離不開Doug Cutting。
Doug Cutting現(xiàn)在是Apache基金會(huì)的主席，標(biāo)準(zhǔn)的大神。在我心目中，他和谷歌AI負(fù)責(zé)人Jeff Dean、Linux之父Linus并稱三大天王，高山仰止，令我自慚形穢，最終放棄編程。
2004年，Doug Cutting正在搗鼓Nutch，Nutch是一個(gè)開源搜索引擎，關(guān)于它和Lucene的故事又是一個(gè)傳奇，可以再開一篇單獨(dú)講。總之，Doug Cutting碰到了一些大規(guī)模索引和分布式計(jì)算的問題，恰好這時(shí)看到谷歌發(fā)表的兩篇論文里有相似場景及解決方案。仔細(xì)研究之后，他覺得非常有道理，于是很快就把論文里的技術(shù)實(shí)現(xiàn)了，包括一個(gè)分布式計(jì)算框架MapReduce和一個(gè)分布式存儲(chǔ)系統(tǒng)HDFS，然后放進(jìn)了自己的Nutch里。
2006年，Doug Cutting預(yù)感到這種數(shù)據(jù)處理技術(shù)有著更大的潛力，便把MapReduce和HDFS從Nutch中獨(dú)立出來，合成一個(gè)后開源了，取名為Hadoop。那會(huì)他兒子剛好兩歲，不大會(huì)講話，總管自己的玩具象叫Hadopp，Doug Cutting靈機(jī)一動(dòng)，便把這個(gè)名字拿了過來。
同年，為了進(jìn)一步發(fā)展Hadoop，Doug Cutting決定加入互聯(lián)網(wǎng)公司里最大的雅虎。
大概他也沒想到，大數(shù)據(jù)時(shí)代的序幕就這樣被拉開了。
在雅虎，Hadoop的集群規(guī)模很快過千，Doug Cutting也認(rèn)識(shí)了雅虎副總裁Amr Awadallah。
為了對抗日漸崛起的谷歌，Amr當(dāng)時(shí)正在研究如何讓雅虎搜索更智能，也碰到很多性能、成本與彈性的問題。在Doug Cutting的建議下，他開始嘗試Hadoop。在隨后的兩年里，Amr基于Hadoop改造了之前的數(shù)據(jù)處理系統(tǒng)，結(jié)果可以說是驚人的好——完成相同的工作，新系統(tǒng)成本不過是之前的十分一，更重要的，他們還能做之前根本無法想象的事情，比如全量分析以PB記的數(shù)據(jù)。
這讓Amr大為驚喜，他進(jìn)一步想，這些問題應(yīng)該不止雅虎會(huì)碰到，Hadoop這種革命性的數(shù)據(jù)處理能力里蘊(yùn)含著巨大商機(jī)。于是他萌生了一種想法，創(chuàng)業(yè)。這并不是Amr的第一次創(chuàng)業(yè)，實(shí)際上他在很早之前就創(chuàng)立了一家叫做VivaSmart的公司，然后2000年公司被雅虎收購，他才隨之加入雅虎。
Amr召集起幾個(gè)志同道合的人，包括兩位分別來自谷歌和Facebook的工程師和一位來自O(shè)racle的經(jīng)理人Mike Olson，很快在硅谷成立了一家公司，自己擔(dān)任CTO。
公司的名字叫Cloudera，CEO是Mike Olson。
Mike Olson何許人也？其實(shí)他和Amr一樣，也是自己的公司被收購后加入大公司的。在Oracle之前，他曾是Sleepycat的CEO，而在Sleepycat之前，他又參與過IIIustra的創(chuàng)業(yè)。這兩家都是在開源軟件上創(chuàng)業(yè)的商業(yè)公司，Sleepycat基于Berkeley DB，IIIustra基于PostgreSQL。這幾乎和他們要做的Cloudera一模一樣。
那時(shí)是2008年，Hadoop正以燎原之勢蔓延，不僅席卷了硅谷，也燃燒到了大洋彼岸的淘寶和百度等，于是很快就成了Apache的頂級項(xiàng)目。
一年后，Doug Cutting加入Cloudera，職位是首席架構(gòu)師，而作為Hadoop的創(chuàng)始人，他也很快被選為Apache基金會(huì)主席。
天時(shí)、地利、人和，獨(dú)角獸的羽翼鼓漲滿滿，只等風(fēng)來。
2009年，Cloudera拿到了500萬美金的第一筆投資，2011年，拿到了4000萬美金的第二筆，三年之后，它又拿到了高達(dá)9億美金的第三筆。
如果那時(shí)你搜索Hadoop is，輸入欄會(huì)自動(dòng)補(bǔ)齊 future。
我記得那時(shí)我大學(xué)快畢業(yè)。有次看到班里一個(gè)同學(xué)正坐在電腦前賤兮兮的笑，我問他在干啥，他說在改簡歷，我更加好奇便湊了過去，只見他正把一段網(wǎng)上復(fù)制的內(nèi)容貼到“技能“那一欄里去。我不解，他咔咔使勁按了幾下Control+S后嘻嘻道，現(xiàn)在流行云計(jì)算，只要描述里出現(xiàn)Hadoop，肯定能過簡歷關(guān)。
而且經(jīng)過實(shí)踐，這是真的。Hadoop受歡迎的夸張程度，可見一斑。
另外，估計(jì)那會(huì)大家都分不清什么是云計(jì)算哪個(gè)是大數(shù)據(jù)，不僅我分不清，你看阿里云早期的飛天系統(tǒng)，其實(shí)也是一個(gè)大數(shù)據(jù)處理工具，而且可能Cloudera也分不清，不然怎么他一個(gè)搞Hadoop的公司，起名叫Cloudera呢？
這邊Hadoop野蠻生長，那邊Cloudera合縱連橫，先是和Oracle達(dá)成戰(zhàn)略合作，接著戴爾、Intel、埃森哲、德勤、MasterCard、SAP、TeraData、微軟等也紛紛入局。
所有人都關(guān)注著它，生怕錯(cuò)過什么。
2013年的時(shí)候，Mike Olson信心十足的寫下了《The Cloudera Model》一文，表示Cloudera已經(jīng)找到了Hadoop上成功的商業(yè)模式。
那時(shí)的Cloudera，可以說是大數(shù)據(jù)領(lǐng)域最耀眼的星。2015年華爾街日報(bào)做了一個(gè)獨(dú)角獸排名，它是唯一上榜的大數(shù)據(jù)公司，排名21，比大眾點(diǎn)評還高。
2017年，Cloudera成功上市。
02 被遺忘的
隨著時(shí)間發(fā)展，Hadoop的概念逐漸泛化。一開始只有HDFS和Mapreduce，然后是一個(gè)以HDFS和YARN為基礎(chǔ)的平臺(tái)，再之后是一個(gè)包含Spark、Hive、Hbase等幾十個(gè)項(xiàng)目和子項(xiàng)目的生態(tài)，最后，甚至又帶上了以Hadoop為基礎(chǔ)的商業(yè)公司，如Cloudera、Hortonworks、MapR等。
這種泛化有個(gè)壞處，那就是一旦出現(xiàn)負(fù)面新聞，大家往往分不清該怪誰。
比如作為一種技術(shù)，Hadoop肯定有其時(shí)效性。就像Mapreduce，雖然計(jì)算能力強(qiáng)大，但一切都是先Map再Reduce的抽象程度實(shí)在太粗魯，以至于理念上很快就被Spark、Flink等這種更先進(jìn)的技術(shù)打敗了。與之相似的，還有HDFS和YARN，從技術(shù)上說，前者不如云存儲(chǔ)方便，后者不如K8S靈活，都有被取代的風(fēng)險(xiǎn)。
于是有人便開始宣稱Hadoop已死，然后又說，因?yàn)镠adoop已死，Cloudera也不行了。典型的用狹義概念做總結(jié)，用廣義概念做推導(dǎo)，就像偶爾看到汽車超過了一輛綠皮車，就立馬得出鐵路運(yùn)輸已死，公路運(yùn)輸是未來一樣。
然而這種暴力論斷卻非常有市場。
尤其是2019年，這年Hadoop三個(gè)主要的獨(dú)立供應(yīng)商過的都不大好。MapR裁員，苦尋幾個(gè)月金主后賣給了HPE。Cloudera合并了Hortonworks，合并后Q1財(cái)報(bào)略不及預(yù)期，然后股價(jià)暴跌，CEO離職。往日的Hadoop三巨頭，似乎已是英雄末路。
這時(shí)不少人紛紛站了出來，用Mapreduce的問題論斷Cloudera，表示它將不出所料的要玩完。
如果這時(shí)你搜索Hadoop is，輸入欄會(huì)自動(dòng)補(bǔ)齊 dead。
于是一個(gè)魔幻的現(xiàn)象出現(xiàn)了，一邊是Hadoop已死，獨(dú)立供應(yīng)商要完，一邊各大云廠商卻在拿Hadoop瘋狂賺錢。據(jù)分析師測算，2018年單AWS的EMR就產(chǎn)生了2.5億美金的營收，而該產(chǎn)品介紹就是“Hosted Hadoop framework“。而這并不是孤例，除AWS的EMR外，谷歌云有Dataproc，Azure有HDInsight，阿里云有E-MapReduce，云計(jì)算四巨頭，全都把托管Hadoop放到了自己大數(shù)據(jù)產(chǎn)品的首頁，這顯然不是已死的技術(shù)該享受的待遇。
Cloudera的心情，大概就像開頭說的種一年菜最后都被鳥收割了一樣。
它當(dāng)然解釋過，但沒什么效果。另外其實(shí)它很早就開始淡化自己是Hadoop供應(yīng)商的概念了，比如和O'Reilly合辦的Strata大會(huì)，以前叫Strata+Hadoop，2017年之后便把Hadoop字眼拿掉，改叫了Strata Data Conference。
只不過這一切幾乎沒有人聽，就像自己已經(jīng)被大家遺忘掉一樣。
當(dāng)然，Cloudera無論如何肯定面臨著一些問題，而且遠(yuǎn)比技術(shù)問題復(fù)雜。
在合并之前，Cloudera和Hortonworks有各自不同的產(chǎn)品線，有各自不同的思路，Cloudera主打開源引擎加商業(yè)周邊，Hortonworks主打全開源。所以合并后的第一個(gè)問題便是產(chǎn)品線怎么整合，原有客戶怎么遷移。它Q1的財(cái)報(bào)里提到不少客戶推遲了續(xù)費(fèi)，主要就是這個(gè)原因，大家都在等。
但這個(gè)問題最多只算近憂，Cloudera真正的遠(yuǎn)慮，則是前面提到的公共云廠商。
云在吞噬一切，包括大數(shù)據(jù)，它們不止有托管的Hadoop，還有自研的替代產(chǎn)品。所以邏輯會(huì)變成這樣，它們會(huì)用托管Hadoop鯨吞開源市場，然后用自研替代品蠶食Hadoop。比如AWS里的Redshift，從場景上基本可以看成是Hadoop+Hive的替代方案，但2018年?duì)I收約4億美金，遠(yuǎn)超Cloudera。而且這個(gè)邏輯對所有開源廠商都成立，幾乎成了開源軟件的公地悲劇。2018年，在怒斥云廠商為吸血鬼而收效甚微之后，Redis和Mongo兩家公司直接修改了開源協(xié)議，不再允許云廠商提供托管服務(wù)。
不過Hadoop用的是Apache協(xié)議，修改起來比較困難。但針對近憂遠(yuǎn)慮，Cloudera也給出了自己的答案。
那就是CDP。
03 王者歸來
CDP，全稱Cloudera Data Platform，是Cloudera和Hortonworks合并后的統(tǒng)一產(chǎn)品線，做了諸多技術(shù)升級，更重要的是其部署形態(tài)發(fā)生了根本性改變——CDP是基于云的，而且是混合云。
有人戲稱，Cloudera終于迎來了Cloud Era。
并且，Cloudera還宣布2022年后停止對原來兩條老產(chǎn)品線的支持，全統(tǒng)一到CDP上。很顯然，這種大刀闊斧的革新，表明Cloudera孤注一擲想借CDP王者歸來。它說CDP是一種新的數(shù)據(jù)方法，是世界上第一個(gè)企業(yè)數(shù)據(jù)云產(chǎn)品，對應(yīng)的市場規(guī)模高達(dá)260億美金，并將在三年后翻倍。
能行嗎？
我們一層一層來看。
技術(shù)上，首先被大家詬病已久的Mapreduce在Cloudera的產(chǎn)品里早有了很多替代品，比如Spark和Flink；其次，CDP整合了云存儲(chǔ)，這意味著HDFS的爭議也能得到解決；最后，CDP在調(diào)度上對接了K8S，先不說可能性很小，哪怕最后K8S完全替換了YARN，CDP也能做到幾乎不受影響。
所以技術(shù)層面，按照Cloudera CPO的說法，這叫“Hadoop已死，Hadoop萬歲“。Hadoop里幾十個(gè)項(xiàng)目，是一個(gè)生態(tài)，甚至一種哲學(xué)，早就超越了十幾年前Mapreduce的范疇，正波浪式的向前蓬勃發(fā)展。
商業(yè)上，Cloudera一方面在2019年7月宣布所有代碼全部開源，向紅帽的商業(yè)模式靠攏。另一方面又在部署形態(tài)上做了大幅調(diào)整，改成了混合云。
這又可以分兩層來說。
先說第一層，為什么要學(xué)習(xí)紅帽。
實(shí)際上業(yè)界一直有一種說法，那就是開源軟件的商業(yè)公司里，真正稱得上成功的只有一家，那就是紅帽。紅帽自Linux起家，營收一度高達(dá)30多億美金，而且長期盈利，直到2019年以340億美金的天價(jià)賣給了IBM。
所以Cloudera學(xué)習(xí)紅帽的商業(yè)模式很容易理解，而且紅帽商業(yè)模式里的三個(gè)要點(diǎn)，Cloudera也基本都能滿足。
" 深度參與開源社區(qū)——Cloudera有一百多位Apache committer，在大數(shù)據(jù)方面的技術(shù)實(shí)力無可爭議。
" 代碼全部開源，社區(qū)版激進(jìn)，企業(yè)版穩(wěn)定——全部開源是Cloudera發(fā)表的《我們對開源的承諾》一文的主要內(nèi)容。
" 靠企業(yè)版訂閱產(chǎn)生營收，并提供咨詢、支持等服務(wù)——CDP，也包括CDH和HDP。
紅帽基于Linux，Linux和Hadoop都是基礎(chǔ)軟件。雖然層次不同，但按照紅帽CEO的說法，他們的商業(yè)模式比較適合于“復(fù)雜、流行、社區(qū)驅(qū)動(dòng)的基礎(chǔ)軟件上“。而大家對Hadoop最大的指責(zé)就是太復(fù)雜，所以，沒準(zhǔn)這種復(fù)雜性恰好有其商業(yè)價(jià)值，畢竟太簡單的也沒必要找個(gè)商業(yè)公司來兜底。
然而，學(xué)習(xí)紅帽是否就夠了呢？
紅帽成立于1993年，那會(huì)可沒有云計(jì)算的威脅。
這就說到了商業(yè)上的第二層，也就是CDP所指的混合云。
云在吞噬一切，只不過這種吞噬是從互聯(lián)網(wǎng)創(chuàng)業(yè)的增量市場開始的，但隨著網(wǎng)絡(luò)應(yīng)用的逐漸飽和，這部分市場越來越小，于是云巨頭不得不把眼光放到傳統(tǒng)IT的存量市場中去。但這些企業(yè)跟要么增長要么死亡的互聯(lián)網(wǎng)創(chuàng)業(yè)公司不同，他們更關(guān)心穩(wěn)定性、更關(guān)心數(shù)據(jù)安全，他們有自己的機(jī)房，拒絕被云廠商鎖定。
于是混合云應(yīng)運(yùn)而生。
所謂混合云，就是搭建在自建機(jī)房和不同云廠商資源之上的云平臺(tái)，這種情況下，不管是自建機(jī)房還是云廠商，提供的僅僅是底層計(jì)算資源，可以根據(jù)使用者的意愿隨便切換，就像水和電一樣，即插即用。
嗯，至少理論上是這樣。
但實(shí)際上混合云市場還處在混戰(zhàn)之中，參戰(zhàn)者至少有三類：一類是公共云廠商，如AWS的Outposts、Azure的Azure Stack和谷歌的Anthos等，他們的混合云往往為了線下資源，終點(diǎn)在云，不在混合；另一類是獨(dú)立混合云供應(yīng)商，如紅帽的Openshift，他們試圖在各大公共云廠商基礎(chǔ)上搭建一個(gè)通用混合云平臺(tái)，終點(diǎn)在混合，不在云；還有一類，就是各開源應(yīng)用廠商自己搭建的混合云，如Confluent的Confluent Cloud、Cloudera的CDP、Elastic的Elasticsearch Service等，他們的目標(biāo)也是混合，但更純粹，就是要反過來屏蔽云廠商提供的特定開源托管產(chǎn)品。
現(xiàn)在討論混合云的最終格局顯得有點(diǎn)太不自量力，我們不妨把問題稍微縮小一點(diǎn)，那就是在這種混合云的狀態(tài)下，Cloudera的混合“企業(yè)數(shù)據(jù)云“，是否能做成？
先說市場，關(guān)于市場分析師有諸多測算，少的也有幾百億，但我們不妨說的簡單點(diǎn)——只要大家還要做大數(shù)據(jù)，Hadoop就一直有市場。實(shí)際上我至今都沒發(fā)現(xiàn)有誰在做大數(shù)據(jù)而不用Hadoop的。說Hadoop有問題，大家都承認(rèn)，但說他要完，這可有點(diǎn)早�？梢姺秶畠�(nèi)，它還看不到有威脅的整體競爭對手。
既然市場成立，那就看Cloudera的競爭對手情況了。
在MapR被收購并且Cloudera合并了Hortonworks之后，應(yīng)該沒必要再討論獨(dú)立供應(yīng)商里誰最強(qiáng)的問題了，因?yàn)榇鸢甘秋@然的。
至于像Openshift這樣的獨(dú)立混合云，很像云計(jì)算版的聚合平臺(tái)，可能長期存在，但我不認(rèn)為能做大，主要原因還是他們無法通過網(wǎng)絡(luò)效應(yīng)增強(qiáng)自己的競爭力，因?yàn)榭蛇x的供應(yīng)商太少。而且，他們瞄準(zhǔn)的是PaaS這層，即通過K8S屏蔽IaaS，所謀甚大，志不在Hadoop。
所以Cloudera的競爭對手只有公共云廠商。
不過這并不好對比，從技術(shù)先進(jìn)性上來說，Cloudera顯然有優(yōu)勢，如果客戶對產(chǎn)品有更高要求，那選CDP的可能性要大一些，但從產(chǎn)品模式和市場策略來說，云廠商以IaaS高頻打低頻，在搞定了客戶的基礎(chǔ)資源之后，再給客戶推一個(gè)大數(shù)據(jù)平臺(tái)，也算順理成章。
于是似乎只能草草得出一個(gè)要看情況的結(jié)論。
但我們不妨跳出來再看一下。
毛爺爺曾寫過一篇文章《中國的紅色政權(quán)為什么能夠存在？》，里邊這樣說道：“我們只須知道中國白色政權(quán)的分裂和戰(zhàn)爭是繼續(xù)不斷的，則紅色政權(quán)的發(fā)生、存在并且日益發(fā)展，便是無疑的了�！� 那時(shí)中國處于國民黨的統(tǒng)治之下，并且共產(chǎn)黨剛剛遭受了重大打擊，很多人開始產(chǎn)生悲觀情緒。但毛爺爺指出，國民黨的統(tǒng)治貌合神離，蔣桂馮閻四大軍閥的背后是不同的帝國主義訴求，他們之間的斗爭是不可調(diào)和的。所以在他們的斗爭之間，紅色政權(quán)便能產(chǎn)生和發(fā)展。
我發(fā)現(xiàn)這段精彩論述，完全可以套用在CDP要做的混合云身上。
" 公共云廠商之間互相斗爭，只要世界上不止有一個(gè)云廠商，那被鎖定的擔(dān)憂就一直存在，混合云的需求也就一直存在。又因?yàn)檫@種擔(dān)憂是針對云廠商的，所以云廠商提供的混合云天生說服力不足。
" CDP的數(shù)據(jù)混合云是一種“地方經(jīng)濟(jì)“，可以脫離統(tǒng)一的“大資本主義經(jīng)濟(jì)“而獨(dú)立存在。即限定到大數(shù)據(jù)領(lǐng)域，客戶可以只用CDP而不必依賴特定云廠商的某些特定功能。
" CDP的混合云將會(huì)先誕生于經(jīng)過“民主革命“訓(xùn)練的地方。也就是說，那些曾經(jīng)習(xí)慣使用Cloudera產(chǎn)品的用戶，將會(huì)率先遷移到CDP的混合云上來，而Cloudera長期以來的客戶都集中在財(cái)富2000里，大多是傳統(tǒng)客戶，正是云計(jì)算10%滲透率以外的地方。是的，云計(jì)算高歌猛進(jìn)了這么多年，滲透率依然只有10%。
" CDP這種混合云的誕生和長期發(fā)展，需要一支相當(dāng)力量的“正式武裝“。在開源混合云的場景下，這支“正式武裝“可以理解為商業(yè)公司，言下之意是純社區(qū)建立的混合云無法長期存在。所幸，目前開源應(yīng)用混合云都是由商業(yè)公司建立的，不管是Confluent、Elastic，還是Cloudera，均不例外。而且，Cloudera這支武裝相當(dāng)有力量，100多名Apache Committer，3000多名員工，看似和云巨頭動(dòng)輒幾萬人的規(guī)模差距很大，但限定到大數(shù)據(jù)領(lǐng)域，恐怕很少有公司能達(dá)到這個(gè)規(guī)模和質(zhì)量。
所以，CDP這種企業(yè)數(shù)據(jù)混合云的長期存在和發(fā)展，“便是無疑的了“。
但要問在這種情況下Cloudera是否真的能王者歸來，我無法下斷言。
至于原因，不妨引用一下著名史學(xué)家史華茲的觀點(diǎn)：否認(rèn)客觀環(huán)境先驗(yàn)的重要性是絕對愚蠢的行為，但我的確反對那種主張“形勢“自動(dòng)引起結(jié)果的萬物有靈論，任務(wù)完成與否，不僅取決于所用的方法和客觀環(huán)境，也取決于承擔(dān)任務(wù)的那些人的思想、意圖和抱負(fù)。
所以我能做的，只有拭目以待。
