湖倉一體是一種新型的開放式架構，打通了數據倉庫和數據湖，將數據倉庫的高性能及管理能力與數據湖的靈活性融合了起來，底層支持多種數據類型並存，能實現數據間的相互共享，上層可以通過統一封裝的接口進行訪問，可同時支持實時查詢和分析，為企業進行數據治理帶來了更多的便利性。
2023年6月26日，湖倉一體入選“2023大數據十大關鍵字”。
基本介紹
- 中文名：湖倉一體
- 外文名：Lakehouse
基本介紹,行業事件,湖倉一體的特性,湖倉一體套用場景,市場現狀,所獲榮譽,
基本介紹
湖倉一體（Data Lakehouse）是當前大數據領域熱度最高的辭彙，這一概念於2020年首次提出，是數據湖和數據倉庫合二為一的新辭彙。
湖倉一體
業界普遍認為，湖倉一體將成為資料庫行業的未來趨勢。
大數據的處理過程是一個提升數據結構化程度和信息密度的過程，不同的數據適合的存儲方式也有所不同。誕生於1990年的「數據倉庫」適合存儲結構化、信息密度高、經過處理後的數據，它的優勢是存儲規範，易於快速讀取，弊端是靈活性不足；誕生於2011年的「數據湖」可以低成本存儲任何形式及格式的原始數據，但它的弊端是缺乏結構性，一旦沒有被治理好，就會變成數據沼澤。
而「湖倉一體」是一種將數據湖的靈活性和數倉的易用性、規範性、高性能結合起來的新型融合架構，類似於在湖邊搭建了很多小倉庫，有的負責數據分析，有的運轉機器學習，有的來檢索音視頻等，數據源流都可以從數據湖裡輕鬆獲取。
雲原生產業聯盟發布了首個金融行業《雲原生湖倉一體白皮書》，該報告由信通院牽頭，參編單位包括偶數科技、中國聯通、中信建投、人壽保險。該報告首先介紹了數據平台發展的三個重要階段，通過對於發展歷程的總結，引出了行業用戶在進行數據分析和處理中面臨的瓶頸難題，並且重點從主要架構、關鍵技術、方案特徵、套用價值等方面的介紹了雲原生湖倉一體最佳解決方案。之後，通過對於湖倉生態版圖、代表廠商和代表解決方案的分析，力求反應現階段國內湖倉生態現狀。最後，從銀行、保險、證券用戶單位的不同角度出發，開展了較為詳實的場景化套用分析，並進行了總結與展望。
行業事件
賽迪顧問正式發布了國內首份《湖倉一體技術研究報告》,報告選取了業界比較主流的6個湖倉一體產品進行對比分析,包括海外廠商Snowflake、Databricks及亞馬遜AWS智慧型湖倉,國內廠商巨杉資料庫SequoiaDB、阿里雲MaxCompute湖倉一體方案、華為雲FusionInsight。
湖倉一體的特性
（1）事務支持：在企業中，數據往往要為業務系統提供並發的讀取和寫入。對事務的ACID支持，可確保數據並發訪問的一致性、正確性，尤其是在SQL的訪問模式下。
（2）數據的模型化和數據治理：湖倉一體可以支持各類數據模型的實現和轉變，支持DW模式架構，例如星型模型、雪花模型等。該系統應當保證數據完整性，並且具有健全的治理和審計機制。
（3）BI支持：湖倉一體支持直接在源數據上使用BI工具，這樣可以加快分析效率，降低數據延時。另外相比於在數據湖和數據倉庫中分別操作兩個副本的方式，更具成本優勢。
存算分離：存算分離的架構，也使得系統能夠擴展到更大規模的並發能力和數據容量。（一些新型的數據倉庫已經採用了這種架構）
（4）開放性：採用開放、標準化的存儲格式（例如Parquet等），提供豐富的API支持，因此，各種工具和引擎（包括機器學習和Python / R庫）可以高效地對數據進行直接訪問。
支持多種數據類型（結構化、半結構化、非結構化）：湖倉一體可為許多應用程式提供數據的入庫、轉換、分析和訪問。數據類型包括圖像、視頻、音頻、半結構化數據和文本等。
（5）支持各種工作負載：支持包括數據科學、機器學習、SQL查詢、分析等多種負載類型。這些工作負載可能需要多種工具來支持，但它們都由同一個資料庫來支撐。
（6）端到端流：實時報表已經成為企業中的常態化需求，實現了對流的支持後，不再像以往一樣，為實時數據服務構建專用的系統。
湖倉一體套用場景
場景一:服務於數據中台的實時數倉。由於數據中台要求其資料庫在分析處理過程中,需強調事務一致性,並保持低延遲與提升實時處理能力,這些都是湖倉一體的典型技術特性。
場景二:支撐微服務的數據融合底座。可有效解決擴展困難以及維護困難的問題。
場景三:全量數據實時訪問平台。在數位化轉型過程中,對客實時查詢,歷史數據服務平台,或IoT物聯網系統中,會產生實時處理數據的需求,湖倉一體的彈性擴展能力能夠很好滿足這一需求。
場景四:進行非結構化數據處理,數位化轉型中通過AI機器學習及比對分析,非結構化數據將包含更多元化的業務屬性,為各類業務系統提供信息輸入。湖倉一體能夠有效提升非結構化數據的處理能力。
市場現狀
現階段，國內外各大雲廠商均陸續推出了自己的“湖倉一體”技術方案，比如亞馬遜雲科技的Redshift Spectrum、微軟的Azure Databricks、華為雲的Fusion Insight、偶數科技的Skylab、滴普科技的FastData等。
所獲榮譽
2023年6月26日，在北京舉辦的2023大數據產業發展大會上，湖倉一體入選“2023大數據十大關鍵字”。
