數據處理法則

信息革命將人類帶入一個革命性的“大數據時代”，面對各種數據源收集來的海量數據，究竟如何對其進行歸類、計算、建模和解釋，卻需要高超的智慧。因數據本身始終沉默，需要依賴能動的認識主體的賦予。也應該制定一些數據處理應遵循的法則。

基本介紹

• 中文名：數據處理法則
• 外文名：Data processing rule
• 分類：計算機 大數據
• 功能：更好的處理數據
• 包括：簡約、綜觀、解釋等
• 原因：信息革命

簡介

信息革命將人類帶入一個革命性的“大數據時代”，人們通過電腦網路，利用數據分析、數據集成、數據設計、數據模型、數據決策和數據虛擬化等手段，針對具體的認知對象，對反映其數量、性質、結構、功能、價值、前景等方面的數據，進行全面的收集、整理、分析、綜觀和萃取，然後作為決策和實踐的根據。由此，使人類的認識變得更精確係統、更全面廣泛、更快速有效。然而面對各種數據源收集來的海量數據，究竟如何對其進行歸類、計算、建模和解釋，卻需要高超的智慧。因數據本身始終沉默，需要依賴能動的認識主體的賦予。也應該制定一些數據處理應遵循的法則。

簡約法則

這是牛頓創設的一條“極簡主義”的簡約法則。在牛頓看來，神奇的自然界在創設過程中選擇的簡單性和對繁瑣的討厭，使得人類也形成如下觀念：“在用很少的東西就能夠解決問題的情況下，決不勞力費神和興師動眾”，要始終體現大自然所遵循的簡約性、精準性、合理性與有效性。欲達此目的，就需要在雲計算或大數據處理中，遵循簡約法則，選擇有用數據，淘汰無用數據。識別有代表性的本質數據，去除細枝末節或無意義的非本質數據。要能夠確識數據之間的巨大差距或差異;要能夠鑑別和挑出那些“以一當十”的數據和信息。

這種簡約法則在大數據的收集、挖掘、算法和實施中的最有效途徑，就是對“數據規約”的運用。所謂數據規約就是簡化現有的數據集，使得一種小規模的數據就能夠產生同樣的分析效果。常用的數據規約策略有數據立方體聚集、維規約、數據壓縮、數值壓縮、離散化和概念分層等，而常用的數據規約方法則主要包含粗糙集、遺傳算法、主成分分析、逐步回歸分析、公共因素模型分析等。運用這些規約方法，就可以獲取可靠數據，減少數據集規模，提高數據抽象程度，提升數據挖掘效率，使之在實際工作中，可以根據需要選用具體的分析數據和合適的處理方法，以達到操作上的簡單、簡潔、簡約和高效。具體地說，當一位認知主體面對收集到的大量數據和一些非結構化的數據對象，如文檔、圖片、飾品等物件時，不僅需要掌握大數據管理、大數據集成的技術和方法，遵循“簡約原則”和“數據集成原則”，學會數據的歸檔、分析、建模和元數據管理，還需要在大量數據激增的過程中，學會規約、選擇、評估和發現某些潛在的本質性變化，包括對新課題、新項目的興趣和開發。

綜觀法則

所謂綜觀，就是對認知對象進行綜合性的觀察、分析和探索;就是從總體上對認識對象、認識過程和認識結果進行抽象、概括或直覺，並通過具體的信息數據超越那涵蓋於總體性中的局部或個別。這種綜觀法則既針對構成事物之個體的全部，也針對構成事物的諸要素組成的統一體，以及總體上顯現的本質和規律。綜觀法則較整體觀察更加辯證。它堅持從大處著眼，從總體上去“觀其狀，求其法，探其道”，以求得解決問題的策略和戰略。它堅持整體的具體統一性，凸顯認知對象的具體實在性。

至於現實中，人們究竟如何對具體的認知對象進行綜觀，這裡需要藉助與綜觀緊密相關的大數據集合的理論與實踐。因為大數據集成，既包括對存貯在結構化數據結構中的數據進行移動和集成，也包括對一大部分非結構化數據中的數據進行移動、調節和集成。比如面對複雜的信息和數據，人們就可以將“雲架構、實時數據集成、數據虛擬化、數據集成建模”等先進技術用到具體問題的解決中，使用一種根據大數據製作的“可預測模型描述語言”(pmml)，為其提供一種快速簡便的程式和模型。此時，通過使用標準的xml(可擴展標記語言)解析器對pmml進行解析，應用程式就能夠決定模型輸入和輸出的數據類型，及模型的詳細格式，並會按照標準的數據挖掘術語來解釋模型的結果。通過對大數據的綜觀、模型化和虛擬化，可以做到花最小氣力，獲最大效益。

特別是數據虛擬化，不僅可以為數據使用者提供極具真實性、完整性和精準性的“實時集成的數據視圖”，還可以將來自不同數源的數據信息整合為一，並轉化成使用者所需要的圖式和模型。因為有些對象，絕不是僅僅用數字就可以解釋和認知的，比如人類複雜多變的面部表情，就很難用單純的數據給予精確表達，只有通過數據集成、智慧型技術和虛擬技術將大數據虛擬化，使反映認知或實踐對象的海量信息和數據，變成一種實時圖像或視頻供主體觀察研究，他們才可能從中獲得相關的認識、結論和決策。

解釋法則

儘管數據集成、數據建模、雲計算和數據虛擬化是大數據處理的一些主要形式，能夠給認知主體以質、量和度等多方面的總體性的形象和認識，但面對“不能言語”的具體的數字、信息、圖像和虛擬視頻，還是需要認知主體進行能動的和創造性的解讀與闡釋。這不只因為包括數字、數碼、文字和一切符號在內的語言“是存在的故鄉”，即要認識客體或對象，總是需要利用語言給予建構、包裝、說明和解釋，還因為一切語言自身所擁有的價值和意義，也需要使用它和閱讀它的主體所“贈予”。

換句話說，這些擺在人們面前的大數據，究竟表達什麼或意味什麼，很大程度上，並不取決於由數據信息自身所標明的“客觀實在性”，而是主要取決於認知主體對其解讀時所擁有的整體上的解釋力、構建力和知解力，取決於由數據構架起來的理論形態和實踐目的。因為只有通過人的感悟、覺識、分析、推理、判斷和闡釋才能夠賦予數據和信息以多重的或異乎尋常的結構和意義，才能夠由表及里，揭示出深藏於內的隱蔽之物;進而通過各種解釋之間的矛盾和衝突，獲悉被解釋的存在和本質。

智慧法則

儘管信息革命將人類帶進大數據的春天，而且使越來越多的人確信“數據多多益善，即數據越多，分析越深入，所得的結論就越全面”，但面對“僵死的數據”，要想點石成金，還需依賴於人的智慧和學識。為此，在大數據處理過程中，真正的智者既要兼具數據分析、機器學習、數據挖掘以及數據統計的能力，也要具備套用算法和編寫代碼的經驗。尤其是面對琳琅滿目的大數據，不僅要關注海量數據的多樣性、差異性、精確性和實效性，否則缺少其中任何一個性能，都可能使所獲數據達不到預期的效果和目標;還要全面深入地挖掘各種類型的數據，並在此基礎上運用數據建模和數據算法在不同的數據集成中分析不同的假設情境，建構不同的可視化圖像，進而揭示數據集成的變化及其產生的效用。特別是今天，面對激烈的社會競爭，必須不斷尋找新的數據處理方法，不斷加快數據處理速度。要意識到各種數據都並非生而就有價值，只有通過主體智慧的挖掘，才能將其變為現實。

此外，還要善於從數據集成、數據建模和數據虛擬化中發現和解決問題;提升自己觀察、思考、批判和揚棄的能力;錘鍊自己的理性思維和邏輯思維;培養自己統籌決策、高瞻遠矚、見微知著的預見力和洞察力。當然，在大數據時代更需要掌握對已有的數據模型進行精練，以及利用新的訓練數據對原有內容和規則集進行修改、操作和運行的技藝。在此過程中，要儘可能做到思想活躍，思維清晰，頭腦開放，認識深遠，能夠不失時機地打破陳規舊套，抓住新機遇，嘗試新途徑，開闢新天地，以多元智慧型的理念來認知和實踐，以便在大數據處理中，既不忽略任何一個未經深度分析的數據，也不丟棄任何一個異常數據。在許多情況下，異常數據往往比常規數據更有價值。這樣，也就自然地要求認知主體工作上縝密細心，時時關注事件的每一個細節與數據，真正做到明察秋毫、細心研製，直至收穫完美的認識和成功的實踐。