進入21世紀，中國金融業對信息化工作前所未有的重視，眾多金融機構都建立起了自己的數據平台，形成了金融機構網路和垂直業務體系，實現了金融數據大集中。這些數據有四個特點。第一個特點是數據量大，一般達到PB級。第二個特點是類型多，如非結構化數據、半結構化數據、流數據等。第三個特點是價值密度低，有用的數據含量少。第四個特點是處理速度快，要求系統在短時間內做出回響。
基本介紹
- 中文名：RichData金融行業大數據智慧型分析
方案概述,方案架構,方案優勢,方案價值,
方案概述
進入21世紀，中國金融業對信息化工作前所未有的重視，眾多金融機構都建立起了自己的數據平台，形成了金融機構網路和垂直業務體系，實現了金融數據大集中。這些數據有四個特點。第一個特點是數據量大，一般達到PB級。第二個特點是類型多，如非結構化數據、半結構化數據、流數據等。第三個特點是價值密度低，有用的數據含量少。第四個特點是處理速度快，要求系統在短時間內做出回響。這都是大數據的典型特點，而在金融行業，對數據存儲要求非常高，特別是在像中國人口很多的國家來說，每天都會產生大量的交易數據，包括銀行、證券、保險等各個金融領域都會產生大量的數據。這些數據都會存放在交易系統當中，如何處理每天產生的大數據，進行科學的分析處理，挖掘隱藏在數據內部各種有價值的關聯，並及時提供決策支持，成為擺在金融業面前的新課題。
傳統的BI處理手段，深度上有限制。例如數據分析，希望細化到每筆交易的查詢、分析，對於數據的處理計算能力和計算的深度、廣度要求都非常高，原有數據分析速度限制等原因做不到。而大數據的優勢是能夠針對最底層的交易數據進行全面的模式識別、分析，使得整個風險分析能力和效率大大提升。在盈利方面，通過對用戶的分類和信用能力分析，可以改善用戶服務，也能大大提升金融機構的盈利水平。在運營效率方面，對金融公司來說，很多都是跨全國的大型公司，它的分支機構，整個公司運營效率也是具有大量價值，可以降低成本，可以使整個金融機構在後台上及時得到穩定、平穩的支持。我們可以用大數據手段，把金融機構在分於各個系統當中的運營數據進行匯總、交叉分析使得整個運營效益進行大大的提升。
基於金融很多業務系統都已經構建，包括BI、信息分析，這些仍然可以在大數據平台上繼續實施，而且比傳統方法更有效率。不僅可以降低數據整合工作量，把這些相對昂貴的工作放到更有效、更高效、性價比更高的大數據Hadoop上來進行，可以更大程度上降低原來對於基於主機昂貴的獨立系統要求，同樣使數據可以運行在基於英特爾X86平台上，提高效率降低成本。
傳統的BI處理手段，深度上有限制。例如數據分析，希望細化到每筆交易的查詢、分析，對於數據的處理計算能力和計算的深度、廣度要求都非常高，原有數據分析速度限制等原因做不到。而大數據的優勢是能夠針對最底層的交易數據進行全面的模式識別、分析，使得整個風險分析能力和效率大大提升。在盈利方面，通過對用戶的分類和信用能力分析，可以改善用戶服務，也能大大提升金融機構的盈利水平。在運營效率方面，對金融公司來說，很多都是跨全國的大型公司，它的分支機構，整個公司運營效率也是具有大量價值，可以降低成本，可以使整個金融機構在後台上及時得到穩定、平穩的支持。我們可以用大數據手段，把金融機構在分於各個系統當中的運營數據進行匯總、交叉分析使得整個運營效益進行大大的提升。
基於金融很多業務系統都已經構建，包括BI、信息分析，這些仍然可以在大數據平台上繼續實施，而且比傳統方法更有效率。不僅可以降低數據整合工作量，把這些相對昂貴的工作放到更有效、更高效、性價比更高的大數據Hadoop上來進行，可以更大程度上降低原來對於基於主機昂貴的獨立系統要求，同樣使數據可以運行在基於英特爾X86平台上，提高效率降低成本。
方案架構
金融行業大數據總體系統架構分為五層,分別是數據層，存儲層，計算層，模型層,套用層。模型層是整個大數據的核心部分，為上層套用提供數據支撐。
系統架構
系統架構針對金融行業大數據分析的特點,引入大數據平台架構，實現對海量的銀行數據、證券數據、保險數據的自動化、高能效、虛擬化和標準化的存儲和管理，保證金融行業海量交易數據的安全性、可靠性和高效的運營。
方案優勢
彩訊金融大數據解決方案在數據分析、數據管理、數據處理、數據可視化等重要技術上具有優勢：
1. 數據分析技術：包括數據挖掘、機器學習等人工智慧技術，主要套用在用戶信用分析，用戶聚類分析，用戶特徵分析，產品關聯分析，行銷分析等方面。由於金融系統安全性、穩定性和實時性要求比較高，也大數據計算處理能力也要求非常高。彩訊金融大數據解決方案內置自主開發的函式模型庫，除包含常用的統計分析算法外，還內置了多種常用數據挖掘算法及分析模型。外掛程式式的函式模型庫，可動態增加新算法模型。同時，還提供行業分析模型及類似BI的分析和展示工具。
2. 數據管理技術：包括關係型和非關係型數據管理技術、數據融合和集成技術、數據抽取技術、數據清洗和轉換等技術。金融行業對數據的實時處理能力要求非常高，彩訊金融大數據解決方案內置ETL服務子系統與ETL配置工具，支持從檔案，DB、數據流中導入數據。靈活的進行數據轉換配置和任務配置。
3. 數據處理技術：包括分散式計算技術、記憶體計算技術、流處理技術。金融數據的海量增長使得企業需要通過新型數據處理技術來更有效的利用軟硬體資源，在降低IT投入、維護成本和物理能耗的同時，為金融大數據的發展提供更為穩定、強大的數據處理能力。彩訊金融大數據解決方案包含RichHadoop分散式計算框架和RichStreaming流計算框架，同時集成了hive、hbase等成熟的開源組件。
4. 數據展現技術：包括可視化技術、歷史流展示技術、空間信息流展示技術等。主要用於金融產品健康度監視，產品發展趨勢監視，客戶價值監視，反洗錢反欺詐預警等方面。金融數據種類多樣，相關統計指標複雜，需要大力發展數據展現技術，提高金融數據的直觀性和可視性，從而提升金融數據的可利用價值。彩訊金融大數據解決方案自助分析工具包含報表工具和分析工具。自定義報表工具，實現了基於XML的定義檔案來可程式性地生成報表的能力。圍繞著報表引擎，開發用戶圖形界面，用戶可以使用嚮導，無需編程，通過工具配置一步接一步完成創建一個報表。數據展示格式靈活，能更大程度上滿足用戶的數據需求。多維分析工具，提供豐富的圖形化展現界面和接口。用java語言開發支持MDX（多維表達式）的查詢語言、分析型XML和olap4j的接口技術規範。實現了從SQL和其它數據源讀取數據，在記憶體緩衝區中生成集合數據。
1. 數據分析技術：包括數據挖掘、機器學習等人工智慧技術，主要套用在用戶信用分析，用戶聚類分析，用戶特徵分析，產品關聯分析，行銷分析等方面。由於金融系統安全性、穩定性和實時性要求比較高，也大數據計算處理能力也要求非常高。彩訊金融大數據解決方案內置自主開發的函式模型庫，除包含常用的統計分析算法外，還內置了多種常用數據挖掘算法及分析模型。外掛程式式的函式模型庫，可動態增加新算法模型。同時，還提供行業分析模型及類似BI的分析和展示工具。
2. 數據管理技術：包括關係型和非關係型數據管理技術、數據融合和集成技術、數據抽取技術、數據清洗和轉換等技術。金融行業對數據的實時處理能力要求非常高，彩訊金融大數據解決方案內置ETL服務子系統與ETL配置工具，支持從檔案，DB、數據流中導入數據。靈活的進行數據轉換配置和任務配置。
3. 數據處理技術：包括分散式計算技術、記憶體計算技術、流處理技術。金融數據的海量增長使得企業需要通過新型數據處理技術來更有效的利用軟硬體資源，在降低IT投入、維護成本和物理能耗的同時，為金融大數據的發展提供更為穩定、強大的數據處理能力。彩訊金融大數據解決方案包含RichHadoop分散式計算框架和RichStreaming流計算框架，同時集成了hive、hbase等成熟的開源組件。
4. 數據展現技術：包括可視化技術、歷史流展示技術、空間信息流展示技術等。主要用於金融產品健康度監視，產品發展趨勢監視，客戶價值監視，反洗錢反欺詐預警等方面。金融數據種類多樣，相關統計指標複雜，需要大力發展數據展現技術，提高金融數據的直觀性和可視性，從而提升金融數據的可利用價值。彩訊金融大數據解決方案自助分析工具包含報表工具和分析工具。自定義報表工具，實現了基於XML的定義檔案來可程式性地生成報表的能力。圍繞著報表引擎，開發用戶圖形界面，用戶可以使用嚮導，無需編程，通過工具配置一步接一步完成創建一個報表。數據展示格式靈活，能更大程度上滿足用戶的數據需求。多維分析工具，提供豐富的圖形化展現界面和接口。用java語言開發支持MDX（多維表達式）的查詢語言、分析型XML和olap4j的接口技術規範。實現了從SQL和其它數據源讀取數據，在記憶體緩衝區中生成集合數據。
方案價值
金額行業當前面臨的跨行業數據共享的問題與挑戰。彩訊金融行業大數據解決方案能全面整合金融數據，充分發揮出金融大數據的價值，在客戶深度分析，市場新業務開發，傳統業務運營方面，具有高性價比，易於管理和擴展等特性，效果顯著，為運營商理解客戶金融需求，把金融需求轉化成金融產品，促建業務快速穩健的發展。
