Cloudera：如何通過(guò)機(jī)器學(xué)習(xí)挖掘?qū)嶋H業(yè)務(wù)價(jià)值？

從提高運(yùn)營(yíng)效率到實(shí)現(xiàn)持續(xù)創(chuàng)新，機(jī)器學(xué)習(xí)已經(jīng)成為企業(yè)發(fā)展的關(guān)鍵。然而，IDC發(fā)布的《2020年人工智能戰(zhàn)略觀察：執(zhí)行摘要》顯示，目前全球只有約四分之一的人工智能和機(jī)器學(xué)習(xí)技術(shù)方案被應(yīng)用于生產(chǎn)中，這表明許多企業(yè)并未從這項(xiàng)技術(shù)中充分受益。企業(yè)機(jī)構(gòu)唯有快速實(shí)施和擴(kuò)展機(jī)器學(xué)習(xí)模型，使其能夠支持整個(gè)企業(yè)內(nèi)的各種應(yīng)用，才能充分運(yùn)用機(jī)器學(xué)習(xí)挖掘?qū)嶋H業(yè)務(wù)價(jià)值。

然而，大規(guī)模部署機(jī)器學(xué)習(xí)模型也可能為企業(yè)帶來(lái)諸多挑戰(zhàn)。例如，規(guī)�；�的部署需要實(shí)現(xiàn)“從數(shù)據(jù)到模型再到成果”這一復(fù)雜且反復(fù)的端到端工作流程。而且，企業(yè)也需要提高自身治理能力，合理應(yīng)對(duì)模型部署可能帶給終端客戶服務(wù)的影響（如隱私問(wèn)題），并著眼于數(shù)據(jù)應(yīng)用的合規(guī)性和安全性，以及該模型是否能轉(zhuǎn)化成為生產(chǎn)級(jí)模型等。

機(jī)器學(xué)習(xí)的實(shí)現(xiàn)依賴于數(shù)據(jù)

由于機(jī)器學(xué)習(xí)技術(shù)是由數(shù)據(jù)驅(qū)動(dòng)的，因此不存在數(shù)據(jù)過(guò)量問(wèn)題。事實(shí)上，隨著數(shù)據(jù)獲取量的提升，機(jī)器學(xué)習(xí)工具可以變得更加準(zhǔn)確。隨著人、企業(yè)和城市之間的聯(lián)系日益緊密，全球都將持續(xù)不斷地產(chǎn)生大量數(shù)據(jù)，這也為運(yùn)用機(jī)器學(xué)習(xí)技術(shù)的企業(yè)帶來(lái)了更多優(yōu)勢(shì)。

但由于機(jī)器學(xué)習(xí)依賴于數(shù)據(jù)，因此企業(yè)機(jī)構(gòu)需要具備更好的數(shù)據(jù)管理能力，尤其是當(dāng)數(shù)據(jù)需要在多個(gè)不同的平臺(tái)上生成、存儲(chǔ)和處理時(shí)更是如此。根據(jù)IDC發(fā)布的《2020年全球企業(yè)上云預(yù)測(cè)報(bào)告》顯示，今年亞太地區(qū)將有超過(guò)90%的企業(yè)選擇應(yīng)用本地或?qū)Ｓ盟接性啤⒍鄠�(gè)公有云以及傳統(tǒng)平臺(tái)所組成的混合環(huán)境。因此，對(duì)于企業(yè)機(jī)構(gòu)而言，數(shù)據(jù)在平臺(tái)之間的遷移，以及保護(hù)和管理所有平臺(tái)上的數(shù)據(jù)可能會(huì)存在挑戰(zhàn)。

隨著5G和物聯(lián)網(wǎng)的興起，企業(yè)需要有效管理流數(shù)據(jù)以及存儲(chǔ)在數(shù)據(jù)庫(kù)中的靜止數(shù)據(jù)。由于互聯(lián)設(shè)備需要根據(jù)實(shí)時(shí)洞察來(lái)做出決策，因此流數(shù)據(jù)對(duì)于運(yùn)行在網(wǎng)絡(luò)邊緣的機(jī)器學(xué)習(xí)系統(tǒng)尤為重要。此外，目前同時(shí)具備知識(shí)和實(shí)踐經(jīng)驗(yàn)的機(jī)器學(xué)習(xí)操作人員仍然匱乏，這可能也會(huì)阻礙企業(yè)機(jī)構(gòu)向數(shù)據(jù)洞察驅(qū)動(dòng)轉(zhuǎn)型的進(jìn)程。為了應(yīng)對(duì)這種情況，企業(yè)可以通過(guò)適當(dāng)降低數(shù)據(jù)訪問(wèn)門檻，讓更多員工參與進(jìn)來(lái)，在各個(gè)流程中做出以數(shù)據(jù)為依據(jù)的決策。當(dāng)然，這種方法需要有效的數(shù)據(jù)治理，來(lái)確保數(shù)據(jù)的一致性和可靠性，以及避免數(shù)據(jù)濫用的情況發(fā)生。

企業(yè)數(shù)據(jù)云賦能數(shù)據(jù)治理

由于機(jī)器學(xué)習(xí)系統(tǒng)所生成洞察的可靠性完全依賴于企業(yè)的數(shù)據(jù)質(zhì)量，因此擁有強(qiáng)大的數(shù)據(jù)治理能力是在企業(yè)機(jī)構(gòu)成功擴(kuò)展機(jī)器學(xué)習(xí)的關(guān)鍵。只有確保數(shù)據(jù)達(dá)到準(zhǔn)確性、及時(shí)性和相關(guān)性等特定標(biāo)準(zhǔn)，企業(yè)用戶才能借助數(shù)據(jù)治理來(lái)做出明智決策。同時(shí)，這也降低了成為違規(guī)行為受害者以及違反數(shù)據(jù)隱私法等法規(guī)的風(fēng)險(xiǎn)。

由于數(shù)據(jù)分布在不同的平臺(tái)上，企業(yè)可能難以使用傳統(tǒng)或點(diǎn)式數(shù)據(jù)管理解決方案來(lái)有效實(shí)施數(shù)據(jù)治理。企業(yè)數(shù)據(jù)云可以提供一個(gè)從數(shù)據(jù)采集、豐富、報(bào)告、服務(wù)到分析預(yù)測(cè)的端到端互聯(lián)數(shù)據(jù)生命周期解決方案，并且該解決方案可以在多云和混合云環(huán)境中運(yùn)行，幫助企業(yè)進(jìn)行數(shù)據(jù)治理。它還能提供一套基于元數(shù)據(jù)的集成式安全治理技術(shù)，為所有分析功能提供持久化的環(huán)境�；�于以上方案，企業(yè)機(jī)構(gòu)可以確保對(duì)數(shù)據(jù)的訪問(wèn)，同時(shí)能夠確保數(shù)據(jù)的使用始終獲得授權(quán)、追蹤和審核。

Cloudera Data Platform為機(jī)器學(xué)習(xí)構(gòu)建基礎(chǔ)

選擇合適的技術(shù)平臺(tái)對(duì)于機(jī)器學(xué)習(xí)操作至關(guān)重要，Cloudera Data Platform（CDP）等企業(yè)數(shù)據(jù)云能夠幫助企業(yè)機(jī)構(gòu)完成基礎(chǔ)技術(shù)平臺(tái)的建立。憑借CDP，企業(yè)機(jī)構(gòu)可以獲得整體數(shù)據(jù)視圖，以便在需要更多容量時(shí)將本地工作負(fù)載大量遷移至云端，并分析和優(yōu)化所有位置的工作負(fù)載。此外，由于企業(yè)數(shù)據(jù)云可以在整個(gè)數(shù)據(jù)生命周期內(nèi)實(shí)現(xiàn)安全治理和合規(guī)，這些企業(yè)機(jī)構(gòu)還可以降低風(fēng)險(xiǎn)和運(yùn)營(yíng)成本。CDP的在線共享數(shù)據(jù)體驗(yàn)（SDX）能夠提供一套基于元數(shù)據(jù)的集成式安全治理技術(shù)，通過(guò)統(tǒng)一的方式來(lái)管理和維護(hù)所有用戶以及分析和環(huán)境（本地、私有云或公有云）的數(shù)據(jù)訪問(wèn)和治理策略。

在能夠更好地治理數(shù)據(jù)之后，企業(yè)機(jī)構(gòu)還可以在機(jī)器學(xué)習(xí)服務(wù)上建立進(jìn)行機(jī)器學(xué)習(xí)操作（MLOps）層。MLOps是數(shù)據(jù)科學(xué)家和運(yùn)營(yíng)人員為管理機(jī)器學(xué)習(xí)生命周期而開展的協(xié)作和溝通實(shí)踐，旨在減少將模型投入生產(chǎn)的時(shí)間和難度，減少團(tuán)隊(duì)之間的摩擦并加強(qiáng)協(xié)作，以及改善模型追蹤、版本控制、監(jiān)控和管理。而且，其還有助于為現(xiàn)代化機(jī)器學(xué)習(xí)模型創(chuàng)建一個(gè)真正的循環(huán)生命周期并規(guī)范機(jī)器學(xué)習(xí)流程，為日益嚴(yán)苛的監(jiān)管和政策法規(guī)做好準(zhǔn)備。

目前，許多企業(yè)機(jī)構(gòu)選用了Cloudera Data Platform（CDP）來(lái)加強(qiáng)數(shù)據(jù)治理能力，進(jìn)而擴(kuò)展機(jī)器學(xué)習(xí)應(yīng)用。以大華銀行（UOB）為例，其通過(guò)運(yùn)用CDP，順利集中了合規(guī)、零售銀行、資產(chǎn)管理和批發(fā)銀行等各業(yè)務(wù)部門的數(shù)據(jù)，獲得了更全面的客戶數(shù)據(jù)和交易數(shù)據(jù)。此外，CDP在幫助大華銀行確保數(shù)據(jù)治理的同時(shí)，還有效地將人工智能和機(jī)器學(xué)習(xí)技術(shù)快速推廣至更多業(yè)務(wù)環(huán)節(jié)，支持150多個(gè)大數(shù)據(jù)分析沙盒，使得200多名用戶可以測(cè)試創(chuàng)意和基于數(shù)據(jù)的創(chuàng)新�？傮w來(lái)講，該解決方案帶來(lái)了如縮短反洗錢檢測(cè)時(shí)間、通過(guò)提供更有針對(duì)性的優(yōu)惠和建議來(lái)提高客戶轉(zhuǎn)化率等諸多業(yè)務(wù)效益。

總結(jié)

機(jī)器學(xué)習(xí)技術(shù)必將推動(dòng)企業(yè)機(jī)構(gòu)的變革，而且目前許多機(jī)器學(xué)習(xí)應(yīng)用已經(jīng)為企業(yè)機(jī)構(gòu)帶來(lái)了實(shí)際的業(yè)務(wù)成果。機(jī)器學(xué)習(xí)可以實(shí)現(xiàn)流程自動(dòng)化，發(fā)現(xiàn)新洞察，從而幫助企業(yè)創(chuàng)造新產(chǎn)品或增強(qiáng)現(xiàn)有產(chǎn)品及服務(wù)，從而提供更好的客戶體驗(yàn)。然而，糟糕的數(shù)據(jù)質(zhì)量和缺乏對(duì)相關(guān)數(shù)據(jù)的訪問(wèn)可能會(huì)阻礙企業(yè)對(duì)于機(jī)器學(xué)習(xí)的應(yīng)用。因此，企業(yè)機(jī)構(gòu)還需完成全方位運(yùn)營(yíng)轉(zhuǎn)型，具備建立和開發(fā)機(jī)器學(xué)習(xí)模型以及部署和運(yùn)營(yíng)整個(gè)模型的能力，從而全方位發(fā)掘機(jī)器學(xué)習(xí)的潛力。