Cloudera：如何通過機器學習挖掘?qū)嶋H業(yè)務(wù)價值？

從提高運營效率到實現(xiàn)持續(xù)創(chuàng)新，機器學習已經(jīng)成為企業(yè)發(fā)展的關(guān)鍵。然而，IDC發(fā)布的《2020年人工智能戰(zhàn)略觀察：執(zhí)行摘要》顯示，目前全球只有約四分之一的人工智能和機器學習技術(shù)方案被應(yīng)用于生產(chǎn)中，這表明許多企業(yè)并未從這項技術(shù)中充分受益。企業(yè)機構(gòu)唯有快速實施和擴展機器學習模型，使其能夠支持整個企業(yè)內(nèi)的各種應(yīng)用，才能充分運用機器學習挖掘?qū)嶋H業(yè)務(wù)價值。

然而，大規(guī)模部署機器學習模型也可能為企業(yè)帶來諸多挑戰(zhàn)。例如，規(guī)�；�的部署需要實現(xiàn)“從數(shù)據(jù)到模型再到成果”這一復(fù)雜且反復(fù)的端到端工作流程。而且，企業(yè)也需要提高自身治理能力，合理應(yīng)對模型部署可能帶給終端客戶服務(wù)的影響（如隱私問題），并著眼于數(shù)據(jù)應(yīng)用的合規(guī)性和安全性，以及該模型是否能轉(zhuǎn)化成為生產(chǎn)級模型等。

機器學習的實現(xiàn)依賴于數(shù)據(jù)

由于機器學習技術(shù)是由數(shù)據(jù)驅(qū)動的，因此不存在數(shù)據(jù)過量問題。事實上，隨著數(shù)據(jù)獲取量的提升，機器學習工具可以變得更加準確。隨著人、企業(yè)和城市之間的聯(lián)系日益緊密，全球都將持續(xù)不斷地產(chǎn)生大量數(shù)據(jù)，這也為運用機器學習技術(shù)的企業(yè)帶來了更多優(yōu)勢。

但由于機器學習依賴于數(shù)據(jù)，因此企業(yè)機構(gòu)需要具備更好的數(shù)據(jù)管理能力，尤其是當數(shù)據(jù)需要在多個不同的平臺上生成、存儲和處理時更是如此。根據(jù)IDC發(fā)布的《2020年全球企業(yè)上云預(yù)測報告》顯示，今年亞太地區(qū)將有超過90%的企業(yè)選擇應(yīng)用本地或?qū)Ｓ盟接性�、多個公有云以及傳統(tǒng)平臺所組成的混合環(huán)境。因此，對于企業(yè)機構(gòu)而言，數(shù)據(jù)在平臺之間的遷移，以及保護和管理所有平臺上的數(shù)據(jù)可能會存在挑戰(zhàn)。

隨著5G和物聯(lián)網(wǎng)的興起，企業(yè)需要有效管理流數(shù)據(jù)以及存儲在數(shù)據(jù)庫中的靜止數(shù)據(jù)。由于互聯(lián)設(shè)備需要根據(jù)實時洞察來做出決策，因此流數(shù)據(jù)對于運行在網(wǎng)絡(luò)邊緣的機器學習系統(tǒng)尤為重要。此外，目前同時具備知識和實踐經(jīng)驗的機器學習操作人員仍然匱乏，這可能也會阻礙企業(yè)機構(gòu)向數(shù)據(jù)洞察驅(qū)動轉(zhuǎn)型的進程。為了應(yīng)對這種情況，企業(yè)可以通過適當降低數(shù)據(jù)訪問門檻，讓更多員工參與進來，在各個流程中做出以數(shù)據(jù)為依據(jù)的決策。當然，這種方法需要有效的數(shù)據(jù)治理，來確保數(shù)據(jù)的一致性和可靠性，以及避免數(shù)據(jù)濫用的情況發(fā)生。

企業(yè)數(shù)據(jù)云賦能數(shù)據(jù)治理

由于機器學習系統(tǒng)所生成洞察的可靠性完全依賴于企業(yè)的數(shù)據(jù)質(zhì)量，因此擁有強大的數(shù)據(jù)治理能力是在企業(yè)機構(gòu)成功擴展機器學習的關(guān)鍵。只有確保數(shù)據(jù)達到準確性、及時性和相關(guān)性等特定標準，企業(yè)用戶才能借助數(shù)據(jù)治理來做出明智決策。同時，這也降低了成為違規(guī)行為受害者以及違反數(shù)據(jù)隱私法等法規(guī)的風險。

由于數(shù)據(jù)分布在不同的平臺上，企業(yè)可能難以使用傳統(tǒng)或點式數(shù)據(jù)管理解決方案來有效實施數(shù)據(jù)治理。企業(yè)數(shù)據(jù)云可以提供一個從數(shù)據(jù)采集、豐富、報告、服務(wù)到分析預(yù)測的端到端互聯(lián)數(shù)據(jù)生命周期解決方案，并且該解決方案可以在多云和混合云環(huán)境中運行，幫助企業(yè)進行數(shù)據(jù)治理。它還能提供一套基于元數(shù)據(jù)的集成式安全治理技術(shù)，為所有分析功能提供持久化的環(huán)境�；�于以上方案，企業(yè)機構(gòu)可以確保對數(shù)據(jù)的訪問，同時能夠確保數(shù)據(jù)的使用始終獲得授權(quán)、追蹤和審核。

Cloudera Data Platform為機器學習構(gòu)建基礎(chǔ)

選擇合適的技術(shù)平臺對于機器學習操作至關(guān)重要，Cloudera Data Platform（CDP）等企業(yè)數(shù)據(jù)云能夠幫助企業(yè)機構(gòu)完成基礎(chǔ)技術(shù)平臺的建立。憑借CDP，企業(yè)機構(gòu)可以獲得整體數(shù)據(jù)視圖，以便在需要更多容量時將本地工作負載大量遷移至云端，并分析和優(yōu)化所有位置的工作負載。此外，由于企業(yè)數(shù)據(jù)云可以在整個數(shù)據(jù)生命周期內(nèi)實現(xiàn)安全治理和合規(guī)，這些企業(yè)機構(gòu)還可以降低風險和運營成本。CDP的在線共享數(shù)據(jù)體驗（SDX）能夠提供一套基于元數(shù)據(jù)的集成式安全治理技術(shù)，通過統(tǒng)一的方式來管理和維護所有用戶以及分析和環(huán)境（本地、私有云或公有云）的數(shù)據(jù)訪問和治理策略。

在能夠更好地治理數(shù)據(jù)之后，企業(yè)機構(gòu)還可以在機器學習服務(wù)上建立進行機器學習操作（MLOps）層。MLOps是數(shù)據(jù)科學家和運營人員為管理機器學習生命周期而開展的協(xié)作和溝通實踐，旨在減少將模型投入生產(chǎn)的時間和難度，減少團隊之間的摩擦并加強協(xié)作，以及改善模型追蹤、版本控制、監(jiān)控和管理。而且，其還有助于為現(xiàn)代化機器學習模型創(chuàng)建一個真正的循環(huán)生命周期并規(guī)范機器學習流程，為日益嚴苛的監(jiān)管和政策法規(guī)做好準備。

目前，許多企業(yè)機構(gòu)選用了Cloudera Data Platform（CDP）來加強數(shù)據(jù)治理能力，進而擴展機器學習應(yīng)用。以大華銀行（UOB）為例，其通過運用CDP，順利集中了合規(guī)、零售銀行、資產(chǎn)管理和批發(fā)銀行等各業(yè)務(wù)部門的數(shù)據(jù)，獲得了更全面的客戶數(shù)據(jù)和交易數(shù)據(jù)。此外，CDP在幫助大華銀行確保數(shù)據(jù)治理的同時，還有效地將人工智能和機器學習技術(shù)快速推廣至更多業(yè)務(wù)環(huán)節(jié)，支持150多個大數(shù)據(jù)分析沙盒，使得200多名用戶可以測試創(chuàng)意和基于數(shù)據(jù)的創(chuàng)新�？傮w來講，該解決方案帶來了如縮短反洗錢檢測時間、通過提供更有針對性的優(yōu)惠和建議來提高客戶轉(zhuǎn)化率等諸多業(yè)務(wù)效益。

總結(jié)

機器學習技術(shù)必將推動企業(yè)機構(gòu)的變革，而且目前許多機器學習應(yīng)用已經(jīng)為企業(yè)機構(gòu)帶來了實際的業(yè)務(wù)成果。機器學習可以實現(xiàn)流程自動化，發(fā)現(xiàn)新洞察，從而幫助企業(yè)創(chuàng)造新產(chǎn)品或增強現(xiàn)有產(chǎn)品及服務(wù)，從而提供更好的客戶體驗。然而，糟糕的數(shù)據(jù)質(zhì)量和缺乏對相關(guān)數(shù)據(jù)的訪問可能會阻礙企業(yè)對于機器學習的應(yīng)用。因此，企業(yè)機構(gòu)還需完成全方位運營轉(zhuǎn)型，具備建立和開發(fā)機器學習模型以及部署和運營整個模型的能力，從而全方位發(fā)掘機器學習的潛力。