什(shén)麽是邊緣Data Fabric?爲什(shén)麽重要？

技術的進步帶來(lái)商業模式的改變，越來(lái)越多的企業正利用(yòng)數據技術，獲得核心競争力。比如：通過對(duì)數據的有效分析，建立更豐富的業務場景；通過更全面的數據挖掘，獲得更及時(shí)、準确的市場洞察力等。預計(jì)，企業通過數據“借力使力”的趨勢，将會(huì)一直持續下(xià)去。 數據分析機構IDC預測：到(dào)2025年，全球數據圈的規模将增加兩倍。可能(néng)很(hěn)多人會(huì)覺得，這(zhè)不是啥新鮮事(shì)，因爲自(zì)從(cóng)大(dà)數據概念被提出以來(lái)，每年都有大(dà)量被創建、采集或者是複制的數據集合。隻不過，現(xiàn)在有一個新的變化，就是更強調數據的來(lái)源和(hé)流動性。 換言之，在移動互聯網、物聯網和(hé)邊緣計(jì)算(suàn)的影響下(xià)，實時(shí)數據大(dà)幅增長，導緻企業大(dà)量創建和(hé)複制數據的需求增加。另外(wài)，數據處理(lǐ)和(hé)分析的行爲往往是在設備、網關和(hé)雲中的各個點進行。所以，當前的大(dà)數據已被分布式流動式數據概念取代。當然，大(dà)的趨勢不會(huì)變，最終會(huì)有越來(lái)越多的數據轉化成有效商機，特别是人機互動産生的數據，能(néng)帶來(lái)新的商業模式的變革 。 爲了(le)擁有更多可利用(yòng)的數據，企業需要有一種更有效的方法，來(lái)管理(lǐ)跨平台數據問題。尤其是從(cóng)邊緣到(dào)雲端的數據，要有能(néng)夠處理(lǐ)、存儲和(hé)優化不同來(lái)源數據的能(néng)力，并且要按照不同的類型、維度、有效性對(duì)數據進行分類。企業要把雲、邊緣數據和(hé)企業内部數據打通，包括借助人工(gōng)智能(néng)和(hé)機器學習模型不斷優化，最終形成一個完整的業務邏輯和(hé)流程。此種背景下(xià)，全面數據管理(lǐ)成爲一大(dà)挑戰! 爲了(le)有效應對(duì)全平台數據管理(lǐ)問題，越來(lái)越多的企業開(kāi)始關注Data Fabric(數據管理(lǐ)架構)，尤其是随着數據量在邊緣計(jì)算(suàn)場景的不斷增加，以Data Fabri爲核心的數據管理(lǐ)架構已成爲事(shì)實标準。 什(shén)麽是Data Fabri? 根據定義來(lái)看(kàn)，Data Fabri可以把分布在不同區(qū)域的數據通過一個自(zì)适應、靈活和(hé)安全的架構，進行集中管理(lǐ)。這(zhè)種架構的優勢是，不僅讓用(yòng)戶更輕松、透明(míng)地訪問數據，還能(néng)擁有實時(shí)、一緻性的數據訪問體驗。同時(shí)，這(zhè)種集成的數據架構本身，使得運營商能(néng)夠跨不同平台管理(lǐ)數據，包括遷移和(hé)訪問不同流程、不同地理(lǐ)位置、不同結構以及不同形式的數據。 本質上(shàng)講，Data Fabri既是數據進出不同平台的“管道(dào)”和(hé)“轉換器”，也(yě)是企業數據運營戰略的新方法。用(yòng)戶可以充分發揮雲、本地和(hé)邊緣端的優勢，集中管理(lǐ)任意位置的數據，包括：本地數據中心、公有雲、私有雲以及在邊緣運行的多種類型的網關和(hé)設備上(shàng)的數據。 如何将Data Fabric應用(yòng)于邊緣計(jì)算(suàn)? 邊緣計(jì)算(suàn)雖然是雲計(jì)算(suàn)的延伸版，将計(jì)算(suàn)從(cóng)雲端遷移到(dào)臨近用(yòng)戶的一端處理(lǐ)，從(cóng)一定程度上(shàng)避免了(le)數據在網絡中的長距離傳播，但(dàn)在網絡邊緣生成和(hé)實時(shí)數據處理(lǐ)仍是一大(dà)挑戰，尤其随着邊緣設備的多樣化，本身就存在着一定的複雜(zá)性。 比如：在工(gōng)業設備聯網過程中，我們往往采用(yòng)智能(néng)設備，包括使用(yòng)PLC聯網模塊，遠程控制工(gōng)廠(chǎng)中的工(gōng)作(zuò)流程；同時(shí)，通過傳感器、RFID标簽确定貨物和(hé)集裝箱的位置。過去，這(zhè)些(xiē)行爲和(hé)流程都在本地的數據中心完成；但(dàn)是現(xiàn)在，需要遷移到(dào)雲中進行處理(lǐ)。并且，有些(xiē)處理(lǐ)可能(néng)會(huì)發生在網關的一側。 由于數據中心是物理(lǐ)機部署，在架構的靈活性調整方面，體驗會(huì)差一些(xiē)；但(dàn)雲可以，因爲雲是虛拟化應用(yòng)，可靈活調配資源。如果我們仔細分析下(xià)雲的定義，就會(huì)明(míng)白(bái)爲什(shén)麽Data Fabric成爲用(yòng)戶的必需品。雲，雖然帶來(lái)了(le)資源的彈性擴縮容能(néng)力，但(dàn)與數據中心一樣，也(yě)是用(yòng)戶處理(lǐ)與應用(yòng)程序相關的數據。确實，我們不必關心Salesforce雲、Oracle雲或者其他(tā)任何雲所在的實際位置，但(dàn)我們的數據必須在各種雲之間有效傳輸，能(néng)滿足不同的業務操作(zuò)，讓數據永久性保存。由于不同雲平台的管理(lǐ)本身就存在複雜(zá)性，企業必須确定哪些(xiē)數據在哪個區(qū)域完成，并且每個應用(yòng)程序都要對(duì)應一個操作(zuò)，每個操作(zuò)都有相應的數據處理(lǐ)和(hé)内存管理(lǐ)權限。而Data Fabric的重點是應對(duì)各種複雜(zá)性問題，比如把Spark作(zuò)爲雲中數據架構的關鍵要素，支持不同雲平台之間的數據流轉。 邊緣計(jì)算(suàn)正在成爲雲計(jì)算(suàn)的“新陣地”，所以需要和(hé)雲技術一樣的标準，同時(shí)在邊緣端設計(jì)特定的網絡架構時(shí)，還要考慮到(dào)與5G 、WLAN 6等技術結合。其實。邊緣端和(hé)雲一樣，每個設備上(shàng)都運行着更豐富、更智能(néng)的應用(yòng)程序以及網關，最終讓數據中心無處不在，我們可以在工(gōng)廠(chǎng)車間、衣帽間、飛(fēi)機上(shàng)、貨輪上(shàng)等任意位置運行和(hé)管理(lǐ)核心數據。而實現(xiàn)這(zhè)一切的前提是，要在雲、本地以及邊緣端構建Data Fabric新型數據管理(lǐ)架構。 構建Edge Data Fabric 的關鍵點有哪些(xiē)? 爲了(le)處理(lǐ)邊緣設備提出的數據需求，在構建Edge Data Fabric時(shí)，必須遵守幾個核心準則： (1) 要能(néng)夠訪問不同的網絡端口，包括：http、mttp、無線電網絡、制造網絡等； (2) 要能(néng)在多種操作(zuò)環境中運行，最重要的是符合 POSIX标準； (3) 引入API和(hé)關鍵協議(yì)方案，包括使用(yòng) REST API 最新協議(yì)； (4) 提供 JDBC/ODBC 數據庫連接能(néng)力； (5) 具備處理(lǐ)流數據的能(néng)力，能(néng)夠支持Spark、Kafka等。 Edge Data Fabric正處于拐點 雖然，邊緣計(jì)算(suàn)的起源可以追溯到(dào)1990年代内容交付網絡時(shí)代，但(dàn)真正迎來(lái)市場的拐點是現(xiàn)在! 爲了(le)讓企業獲得真正的智慧化能(néng)力，我們必須擺脫傳統的“客戶端-服務器”的局限，在邊緣端處理(lǐ)業務。可以說，單一位置數據集中的時(shí)代已經一去不複返了(le)，未來(lái)大(dà)多數數據将停留在邊緣。而随着邊緣端智能(néng)化進程的加快(kuài)，我們的業務也(yě)會(huì)變得更自(zì)動化，企業将通過自(zì)動化的策略和(hé)手段來(lái)處理(lǐ)各種問題，或者把機器學習 (ML)和(hé)其他(tā)自(zì)動化流程與業務進行關聯。 可能(néng)有人會(huì)問，企業爲什(shén)麽不把所有的業務遷移至雲端?很(hěn)簡單，這(zhè)樣做需要大(dà)量的帶寬!每次數據流量的激增都會(huì)帶來(lái)貸款的增加。另外(wài)，不把數據遷移到(dào)雲的一個重要原因是，會(huì)出現(xiàn)延遲，即便是在5G網絡下(xià)，也(yě)解決不了(le)網絡延遲問題。還有，數據隐私和(hé)安全問題，也(yě)會(huì)催生Edge Data Fabric的加速落地。 作(zuò)者：李代麗(lì) 來(lái)源：IT168網站(zhàn)