OLAP Engine

OLAP Engine 是百度提供的PB 級別的基於百度雲端MPP 數據倉庫系統,旨在以較低的成本提供在大數據集上的高性能分析和報表查詢功能。OLAP Engine 不是面向OLTP 的資料庫產品,而可以粗略地認為是面向OLAP 的一款資料庫產品,所以它並不提供OLTP 所提供的實時更新和事務;OLAP Engine更側重於對報表和多維數據分析方面優異的查詢性能。

1.OLAP Engine淵源,2.OLAP Engine架構,2.1數據導入,2.2數據管理,2.3數據查詢,3.OLAP Engine優勢,3.1提供了兼容MySQL的接口,3.2高並發小查詢、大查詢高吞吐,3.3容錯和穩定性,3.4成本低,

1.OLAP Engine淵源

OLAP Engine的前身是百度內部產品palo,用於對百度內部大數據集的查詢分析。2014年9月3日首次在百度世界大會推出OLAP Engine的試用版本。

2.OLAP Engine架構

用戶通過用戶端的工具完成和雲端的OLAP Engine 的互動,分三個部分:數據導入,數據管理和數據查詢。
OLAP Engine

2.1數據導入

OLAP Engine 產品當前只支持從百度的BOS 系統(類Amazon S3 系統)導入數據,用戶使用BOS 相關工具,將自己的數據傳輸到BOS 系統上。

2.2數據管理

OLAP Engine 當前提供一個Web 的管理界面,通過這個界面,用戶可以完成激活/停止OLAP Engine 服務,完成創建表/刪除表,完成數據導入,查看容量使用情況等。

2.3數據查詢

用戶使用任何可以連線MySQL 的工具或者庫來對導入的數據進行查詢。

3.OLAP Engine優勢

3.1提供了兼容MySQL的接口

使得用戶不必再單獨部署新的客戶端庫或者工具,可以直接使用MySQL 的相關庫或者工具;由於提供了MySQL 接口,也使得與上層套用兼容容易;用戶學習曲線降低,方便用戶上手使用。

3.2高並發小查詢、大查詢高吞吐

不同於Hive, Impala 等開源數據分析工具,OLAP Engine 支持高並發小查詢,100 台集群可達每秒10w QPS.通過使用Partition Pruning, 預聚合,謂詞下推,向量化執行等技術,提高了大查詢的吞吐能力。

3.3容錯和穩定性

OLAP Engine 無論在Master 節點、Frontend 節點和Backend 節點上都提供了容錯,保證了系統的穩定性。

3.4成本低

OLAP Engine 在性價比方面是商業產品的10 倍到100 倍。

相關詞條

熱門詞條

聯絡我們