基本介紹
- 中文名：流量管理
- 外文名：Traffic Management
- 衡量標準：時延等
- 性質：對關鍵IT套用進行保障的相關技術
- 發展歷史：起源於美國政府資助的研究項目
流量管理產生的背景,什麼是流量管理,業界的衡量標準,流量管理技術的發展歷史,流量管理技術的現狀,套用和協定識別技術,佇列管理機制,流量管理技術的發展趨勢,當前的技術挑戰,未來的技術發展趨勢,流量管理 軟體,流量管理 V1.1.23,流量管理 硬體,
流量管理產生的背景
什麼是流量管理
業界的衡量標準
流量管理近年來和“網路或網際網路服務的服務質量”，也就是我們通常說的QoS密切相關。為衡量服務質量，業界提出如下測量維度：
1時延時延是指IP包從網路入口點到達網路出口點所需要的傳輸時間。一些對時間敏感的套用，如實時的語音業務和視頻業務對時延的要求最為嚴格。造成網路時延的主要因素可以簡單地分為網路產生的時延和設備產生的時延。設備產生的時延一般是指設備處理業務數據時產生的時延，這與設備的性能有很大關係，包括網路各個層面的設備，如SDH設備、路由設備和媒體網關等。網路產生的時延包括基本的傳輸時延(即電信號或光信號在物理媒介上傳輸所需的固有時延)和鏈路速率時延(即當鏈路速率低於數據傳送速率時產生的時延)。由於IP網路盡力而為的特性，設備產生的時延和網路產生的時延都還與實際網路中的數據流量狀況有關。當數據量較大、網路和設備滿負荷運轉時。產生的擁塞和排隊、調度和轉發時延將會顯著增加。
2抖動語音信號是連續的，在傳送端經過壓縮打包後在IP網路中傳輸時，由於數據包傳送的路徑可能不同，因此不同的數據包到達接收端的時間也可能不同，導致接收端在回放語音時產生時斷時續的狀況，稱為抖動。接收端可以採用增加接收緩衝區的方式來對抖動產生的影響進行彌補。但是抖動緩衝區的大小將同時影響抖動和時延。如果抖動對語音質量產生了影響，那么增加抖動緩衝區的大小就可以將抖動減少到可以接受的程度；但是如果緩衝區過大，就會增加時延，同樣會使得用戶難以接受。典型的抖動緩衝區產生的時延為20ms，但是通常會達到80ms。抖動緩衝區的大小需要根據具體的網路情況來設定。
流量管理技術的發展歷史
TCP/IP起源於上世紀6 0年代末美國政府資助的一個研究項目，開始只是用於幾台機器的連線通訊，後來需要連線的機器越來越多，網路也從小型區域網路向區域網路互連——這就是我們現在廣域網的最初雛形。TCP/IP在不斷完善後被作為一項基礎的通訊協定用於了廣域網，這是網路通訊發展上的一次里程碑式的變革，直到現在，我們還在繼續使用TCP/IP。TCP/IP協定簇里的TCP和UDP協定，更是90%以上的套用要用的基礎協定。
TCP是一種面向對象的傳輸協定，為了保障數據傳輸的安全，在傳輸過程中需要進行多次協商建立連線，而UDP則不是面向連線的，關注傳送速度而不關注數據安全性，是種粗暴的傳輸方式，當時套用不廣，主要用於DNS解析等。但是那時候人們對於廣域網還是預計不足，由於廣域網頻寬明顯小於區域網路頻寬，隨著使用人數增多，網路出口處數據擁塞的瓶頸問題開始漸漸顯露出來（瓶頸倒水），1986年初，Jacobson針對出現端倪的網路擁塞開發了基礎的擁塞控制機制。
1988年Jacobson針對TCP在控制網路擁塞方面的不足，提出了“慢啟動”和“擁塞避免”算法。 1990年TCP Reno版本推出增加了“快速重傳”快速恢復”算法。這幾個算法稱為了避免網路擁塞的基礎，是目前網路沒有陷入癱瘓的最大功臣。到1996年的時候，國外以Packeteer（2008年被Blue Coat收購）為首的廠家為了解決跨國公司分公司訪問總部業務伺服器的速度問題首次推出了專業的流量管理設備。當時，一般跨國公司都是通過國際專線連線總部和分公司，頻寬非常昂貴，而普通的網路設備如防火牆、路由器和核心三層交換機等無法識別第七層套用如Oracle、SAP 等，因此以Packeteer為首的廠家開發出基於第七層套用的流量管理設備來滿足這個需求。因為跨國公司的業務比較簡單，套用數量也不多（一般為業務系統、郵件等），所以基於第七層套用的流量管理方式很適合這種網路環境。
2003年左右，網際網路再次出現重大變革， P2P開始興起，對於網路的衝擊很大，通常P2P套用會占用網路的總流量的50%-80%，和當年跨國公司的網路環境相比，套用數量變得非常大，通常在1 萬種以上，同時出口頻寬也變得非常大，從而使得基於第七層套用的流量管理方式遭遇了性能、技術和管理方式的雙重瓶頸。
在P2P改變了用戶網路行為模型圖示中，我們可以看到用戶的網路行為模型由以往的星狀變成了網狀。由於我們在之前看到所有的網路都是以客戶端和伺服器之間的互動，用這種訪問模型去構建現在所有的網路，而且我們的網路產品也是基於這種模型去設計和建造的。P2P出現之後，所有網路的模型，用戶和用戶之間產生了非常大互動的數據量，這樣就形成一個扁平網狀的模型，這種模型現在我們構建出來的基於星形連線的模式是不適合P2P新的網路訪問模型，這樣就給整個網路帶來非常大的災難性的影響。可想而知，在這種網路環境下，幾乎所以的用戶都會面臨“網路擁塞”的挑戰，造成的結果就是不到5%的P2P用戶占用了90%以上的頻寬資源。
流量管理技術的現狀
筆者對市場上二十多種流量控制產品做了研究，發些大多數仍是採用的是基於DPI的深度包解析技術（套用和協定識別技術）和佇列管理機制。
套用和協定識別技術
這種技術是對經過流量控制設備的數據包進行深度的拆包解析，並與設備自身的特徵資料庫進行匹配。原理上與當前流行的防毒軟體一致，但是防毒軟體是在本地進行的，流量管理設備是在網路出口處的，這種方式無疑會增大網路延遲，影響網路效率，並且對硬體本身也是折磨，遇到大流量的話，設備不是掛掉，就是直接放行流量。並且現在套用越來越多，P2P自身也在不斷發展，第一代P2P：集中式P2P套用，Napster模式，固定TCP連線埠；這一代的P2P生命力十分脆弱――只要關閉伺服器，網路就死了；第二代P2P：分散式P2P套用，跳躍連線埠，隨機連線埠；盜用常用連線埠（如HTTP的80）；HTTP隧道（偽裝成HTTP流量）；HTTP代理隧道（如SOCKS代理），第二代分散式P2P沒有中央伺服器，但是速度太慢；第三代P2P：介於集中與分布之間，屬於混合型，採用分布伺服器；發展到現在出現了所謂的第四代P2P，這一代P2P相比第三代，技術上沒有很大的革新，（但有兩個明顯特點）增加無用隨機數據（如BT等）和數據加密（如迅雷採用了密碼學中的高級加密標準AES加密法，又稱Rijndael加密法，是美國聯邦政府採用的一種區塊加密標準。這個標準用來替代原先的DES，已經被多方分析且廣為全世界所使用，號稱三十年無法破譯。）兩個手段使協定流量特徵模糊化；多協定並用，（比如迅雷就HTTP與FTP協定並存）；這類特徵都面對一個目的，逃避監管。
迅雷、 BT、eMule為代表的“加密化”趨勢，讓傳統方案束手無策。從管理方式來說，以前基於第七層套用的微觀管理流量的方式在大型網路中日益不適合，不但使最終用戶覺得隱私沒有保障，產生逆反心理，而且管理效果不佳。
從基於套用識別的管理圖示來看，當新的套用層出不窮，而特徵庫的更新總是在新套用出現之後。在更新特徵庫這段時間，網路總是處在無序的狀態，時好時壞。這樣始終是一個變異——更新——升級的惡性循環。
佇列管理機制
採取佇列機制來管理數據包的傳輸，在上載方向上確實適用，但在下載方向上完全無能為力，這種通過丟棄已收到數據包的方式強行將某些套用占用的頻寬降下來，將導致下載頻寬損失。佇列技術最大的兩個問題就是對於所有流量造成延時和無法支持大於1000 的佇列通道。
佇列管理機制頻寬控制圖示中，以P2P控制為例，假如我們設定LAN中流量管理設備允許20%下行頻寬的P2P下載流量通過，這時從WAN上過來了40%的P2P流量，當這40%的P2P流量傳到流控設備時，因為我們事先設定只允許20%的P2P下載流量數據包通過，那么20%的P2P下載流量數據包就會被流控設備丟掉，但被丟棄的20%的P2P下載流控數據包仍然占用著WAN上的寬頻。這個時候，除了允許的這20%的P2P流量外，我們發現只有60%下行頻寬可以用於其它數據傳輸，其實頻寬利用率卻只有80%，其中20%的流量被白白的浪費掉了。
流量管理技術的發展趨勢
當前的技術挑戰
A．網際網路的套用及傳輸協定成千上萬，不可能保證所有的套用都能正確識別。
B．迅雷等P2P新興軟體，採用私有加密協定，並通過常用連線埠進行連線（如80,443等）以逃避各種控制，增加套用流量管理對此類套用控制的難度。
C．由於套用的不斷增加及頻繁變化，流量管理設備本身需不斷更新識別庫，且識別庫的更新也很難保證快速及時。
D．網路管理人員需要頻繁策略以應對各種新的套用。
E． 各類信息流平均分獲一定的頻寬，網路閒時容易造成網路資源利用率低。
F． 只能控制網路內部的流量，對網路出口處的擁塞毫無幫助。
G．無法滿足應用程式對實時性越來越高的要求。
未來的技術發展趨勢
在P2P套用大行其道的網路年代，筆者認為用戶對能在控制好流量的同時，又保證網路資源利用率在最高狀態；能自動識別濫用頻寬用戶並加以限制，又避免了先有套用後有識別碼的惡性循環；能根據網路負載情況動態自動調整策略，又便於IT人員對當前的頻寬套用進行分析和故障排查的訴求將會越來越普遍。
目前又有關於以提升頻寬利用率，的頻寬管理技術，“精確的端到端流量控制” 是什麼概念呢。就是由接收端可以根據當前的網路負荷狀況來遙控傳送端。告訴傳送端我能夠接受多少的數據包，你就傳送多少數據包從而避免了網路擁塞的產生。使得網路整體連線狀況總是處在平穩的狀態中。
國內的話有上海雲速網路科技可以提供這樣的技術。
流量管理 軟體
流量管理 V1.1.23
【系統平台】支持Android 2.2及以上版本
流量管理
流量管理My Data Manager是安卓客一款針對用戶手機流量進行管理的實用工具，可設定月、日流量上限，可查看每款套用實用的流量，並支持臨界報警，幫助用戶有效安排流量使用，節省費用。
v1.1.23更新：
- 通知圖示現在是看不到的
- 可選擇匿名分享
- 新增無線裝置支持
流量管理 硬體
流量管理系統是一套對網路行為套用流量進行分析、監管和管控的專業系統。天融信TopFlow能夠對用戶網路行為流量進行精細化管理，為管理者提供圖形化的套用監視、套用分析、流量管理、套用統計、套用控制、流量審計、套用報表等功能，是最新一代套用豐富且管控精準的套用流量分析監管系統。網路衛士套用流量管理系統從百兆到萬兆，全系列產品都具有很高的系統穩定性，適用於強調圖形化套用行為監控分析、用戶行為精細化控制、套用識別精準度大於99%、系統運行要求穩定的網路環境。
·套用識別準確率超過99%
通過完善的套用協定特徵庫(signatures)檢測和偽裝探測技術，並採用 DPI(Deep Packet Inspection)深度包檢測技術來識別各種用戶套用，特別對採用逃避技術的加密協定進行精準識別，如採用加密傳輸的迅雷、電驢、QVOD視頻等加密類協定進行及時而精準識別，套用識別率超過99%。
·超高性能及高穩定性
1、天融信TopFlow採用先進的技術對硬體和軟體進行最佳化處理：
硬體最佳化：採用多核架構，四核各司其職，專職處理管理、監控、檢測和控制等模組，大大提升資源利用率。
軟體最佳化：基於TOS平台，進行協定棧最佳化，對高性能處理需求進行中斷處理函式和網卡驅動修改，優先處理，超高速放行。
策略最佳化：採用“節點”管理技術，最佳化檢測匹配策略提高檢測效率.
2、性能可達萬兆（20G），並發可達2000萬，用戶數可支持50萬，可用於運營商；高可靠性；雙OS系統冗餘備份功能，保證在任何狀況下系統運行的穩定性，同時完善的bypass功能保證系統健康運行。堅若磐石的雙進程容錯技術，保障系統健壯，出錯後自動癒合。
·用戶行為精細化監控分析和管控
可實時顯示單個IP流量速率和單個當前各個套用的速率明細，如放大鏡一般層層顯示，可快速得到基於用戶套用行為的分析，幫助用戶保護網路、及時發現惡意流量、阻止安全威脅和惡意流量及故障排除，發現性能問題；可視網路，了解你的網路套用和用戶的活動；最佳化網路，保證套用和服務的性能；規劃未來、決定未來需求、分析長期趨勢、規劃未來的需求及容量，層層監控分析剖析整個網路。
·詳細的套用控制和分流
對http套用進行詳細管控，如控制用戶通過HTTP下載某類型檔案，控制用戶訪問某些網站，也可控制用戶在論壇及微博發帖，主動杜絕用戶在某些網站發布不良信息；對DNS管控。如可根據不同運營商鏈路將DNS解析到對應的線路上，實現對區域網路DNS請求進行代理、對外網DNS回響進行劫持的功能。支持套用分流和流量代理功能，可實現套用路由、套用負載均衡功能，真正將網路的各種套用流量進行有效管理和控制。
·用戶身份追蹤
可提供單個IP對應的用戶身份信息，如QQ號碼、MSN帳號、POP3帳號等，便於身份追查；代理上網IP追蹤：跨路由代理流量檢查是基於最終用戶的套用協定檢查，能應對所有的共享機制，如NAT、網卡共享、軟體代理等進行深度檢查，也就是常說的一拖N用戶檢測、控制的功能；例如多個用戶使用一台PC作為代理伺服器上網，或跨越多級路由，此時流量管理系統就能檢查到藏在後端的其他PC終端IP。
·豐富多樣的報表及集中監控
天融信TopFlow套用流量管理系統通道流量、各套用協定/協定組的日圖表、周圖表、月圖表；連線統計、節點統計、協定統計、PPS統計；自定義報表功能：用戶可針對自己關心的IP/IP組、套用協定/協定組等不同的對象自定義一個報表，將針對多個對象的統計結果集中顯示在一個圖表中，減少日常監控的工作量；統計數據可以指定不同的線形和顏色以絕對值或疊加的方式顯示；報表統計的時間跨度可以是當天、本周和當月。
