導言：作為寫作愛好者，不可錯過為您精心挑選的10篇網絡流量分析的方法，它們將為您的寫作提供全新的視角，我們衷心期待您的閱讀，并希望這些內容能為您提供靈感和參考。

篇1

網絡流量分析是一個有助于網絡管理者進行網絡優(yōu)化、網絡監(jiān)控、流量趨勢分析等工作的工具，進而挖掘網絡資源潛力，控制網絡互聯成本，并為網絡規(guī)劃、優(yōu)化調整和業(yè)務發(fā)展提供基礎依據，企業(yè)需要及時了解到網絡中承載的業(yè)務，及時掌握網絡流量特征，及時解決網絡性能問題。從這些企業(yè)管理網絡中所經常遇到的問題來看，需要有一種解決方案能讓網絡管理人員及時了解到詳細的網絡使用情形，使網絡管理人員及時了解網絡運行狀況，及時清楚網內應用的執(zhí)行情況。隨著網絡的發(fā)展，流量分析工作將在網絡管理中起到越來越重要的作用。

1.網絡流量分析方法

網絡流量是單位時間內通過網絡設備或傳輸介質的信息量。網絡流量分析根據不同的方法可以從不同的側面展開，目前，主要的分析方法有流量的統(tǒng)計分析和流量的粒度分析等。

1.1 網絡流量的統(tǒng)計分析

（1）基于軟件的流量統(tǒng)計

這種統(tǒng)計分析一般通過修改安裝于主機上的操作系統(tǒng)的網絡接口模塊，使之具有捕獲數據包的功能，以實現流量信息的收集和分析?；谟布牧髁拷y(tǒng)計效率很高，專用性強，但是價格昂貴對人員要求高，而基于軟件的流量統(tǒng)計有價格便宜，實現靈活，擴展性強的優(yōu)點，但其性能要低于基于硬件的統(tǒng)計技術。因此，流量統(tǒng)計方法有待進一步的提高，以適應網絡快速發(fā)展的需求。

（2）基于硬件的流量統(tǒng)計

此類分析通常采用硬件測量設備，是一種為特定目的設計的用于收藏和分析流量數據的硬件設備。

1.2 網絡流量的粒度分析

網絡流量行為特征的分析還可以在不同測量粒度或者不同的層面上展開。

比特級（Bit-level）的流量分析，這種分析主要關注網絡流量的數據特征，如網絡線路的傳輸速率，吞吐量的變化等等。

分組級（Packet-level）的流量分析，此類分析主要關注的是IP分組的到達過程、延遲、抖動和丟包率等。

流級（Flow-level）的流量分析，Flow的劃分主要依據地址和應用協(xié)議而展開的，它主要關注流的到達過程、到達間隔及其局部的特征。

上面流量的粒度由小到大遞增，時間尺度也逐漸增大，不同時間尺度網絡流量往往表現出不同的行為規(guī)律。通常，網絡設備本身都提供基于IP分組頭的分析功能，因此，Flow-level的流量分析成為發(fā)展趨勢。

2.網絡流量分析常用技術

隨著計算機技術的發(fā)展，網絡流量分析技術也與時俱進。既有傳統(tǒng)的數據庫的網絡管理技術，也有面向開放式互聯網的網絡分析技術。目前，在網絡流量分析中占據主流的常用分析技術主要有：

2.1 RMON技術

RMON（遠程監(jiān)控），是由IETF定義的一種遠程監(jiān)控標準，RMON是對SNMP標準的擴展，它定義了標準功能以及網管站和遠程監(jiān)控器之間的接口，實現對一個網段乃至整個網絡的數據流量的監(jiān)視功能。RMON監(jiān)控器叮用兩種方法收集數據：一種是通過專用的RMON探針（Probe），流量探針安裝方便，但是流量探針價格昂貴，不適合大面積部署。另一種方法是將RMON直接植入網絡設備（路由器、交換機、HUB等），但這種方式受網絡設備資源限制，一般不能獲取RMONMIB的所有數據，大多數只收集統(tǒng)計量、歷史、告警、事件等四個組的信息。

2.2 SNMP技術

SNMP是用標準化方法定義的，通常一個標準的網管系統(tǒng)包括三個組成部分：SNMP協(xié)議，這包括理解SNMP操作、SNMP消息的格式以及如何在應用程序和設備之間交換信息；管理信息結構，它是用于指定一個設備維護的管理信息的規(guī)則集；管理信息庫，它是設備所維護的全部被管理對象的結構集合?；赟NMP的流量分析就是通過SNMP協(xié)議訪問設備獲取MIB庫中的端口流量信息，典型工具有MRTG，MRTG是一個使用的免費軟件，通過SNMP協(xié)議從設備得到流量信息，將流量負載情況繪制成PNG格式圖片，并以WEB形式顯示給用戶。由于M RTG使用起來很方便，能夠直觀顯示端口流量負載，所以是各類網管人員常用的網絡監(jiān)視工具。但MRTG的功能比較單一，其收集到的流量信息僅是簡單的端口出、入流量統(tǒng)計信息，不能深入分析包的類型、流向等信息。

2.3 s Flow技術

s Flow是由InMon﹑HP和Foundry Networks于2001年聯合開發(fā)的一種網絡監(jiān)測技術，它采用數據流隨機采樣技術，可提供完整的第一層到第四層，甚至全網絡范圍內的流量信息，可以適應超大網絡流量（如人于10Gbit/s）環(huán)境下的流量分析，讓用戶詳細、實時地分析網絡傳輸流的性能、趨勢和存在的問題。sFlow技術有很多優(yōu)點：成本低廉；在不斷發(fā)展升級當中，能在沒有消耗額外資源的環(huán)境監(jiān)測萬兆網絡，不會帶來新的網絡沖突；有自己的一套準確可靠的計量方式；數據信息量人。sFlow已經成為一項線速運行的“永遠在線”技術，可以將sFlow技術嵌入到網絡路由器和交換機ASIC芯片中。與使用鏡像端口、探針和旁路監(jiān)測技術的傳統(tǒng)網絡監(jiān)視解決方案相比，sFlow能夠明顯地降低實施費用，同時可以使實現而向每一個端口的全企業(yè)網絡監(jiān)視解決方案成為可能。

3.網絡流量分析技術的應用

網絡流量分析起著一個銜接的作用，主要利用網絡流量測量部分收集到的各種流量信息，通過運用不同的方法對其進行分析和建模，以發(fā)現流量的特性，對網絡性能做出客觀的評價，并以此作為對網絡進行控制和優(yōu)化的依據。網絡流量分析技術的應用主要包括以下兒個方面：

3.1 實施安全預警

網絡流量異常會嚴重影響網絡性能，造成網絡擁塞，嚴重的甚至會網絡中斷，使網絡設備利用率達到100%無法響應進一步的指令。通過對網絡內流量的實時分析，有助于及時發(fā)現網絡中出現的異常流量，迅速分析出異常流量的具體屬性，并向網絡管理者進行告警，判斷是否出現了入侵，并按照事先擬定的規(guī)則集進行處理，記錄異常情況發(fā)生時的詳細網絡狀況，使入侵得到及時發(fā)現和處理。

3.2 分析用戶行為

根據分析結果，進行相應網絡內容的建設！將用戶感興趣的熱點信息內容放到內部網絡，減輕互聯鏈路的壓力。

3.3 節(jié)省運營費用

通過對網絡出口流量和流向的分析，可以統(tǒng)計出業(yè)務類型、服務等級、通信時間和時長、通信數據量等參數，可以詳細了解網絡內部用戶對其他外部網絡的訪問情況，為基于IP的計費應用和SLA的校驗服務提供數據依據，從而有效地選擇與其他運營商的互聯方式，節(jié)省費用。

3.4 優(yōu)化網絡結構

通過對網絡中一些特定流量的長期監(jiān)控，獲得網絡流量數據后對其進行統(tǒng)計和計算。從而得到網絡及其主要成分的性能指標，定期形成性能報表，并維護網絡流量數據庫或日志存儲網絡及其主要成分的性能的歷史數據，可供網管人員正確分析網絡使用狀況，對網絡及其主要成分的性能進行性能管理。通過數據分析獲得性能的變化趨勢，分析制約網絡性能的瓶頸問題。

3.5 評估網絡價

通過對各個分支網絡出入流量的監(jiān)控，分析流量的大小﹑去向及內容組成，了解各分支網絡占用帶寬的情況。從而反映其占用的網絡成本，也可以了解其業(yè)務開展情況，并作出價值評估。

3.6 確定重點客戶

通過對重要應用和大客戶的流量進行統(tǒng)計分析。掌握重要應用和大客戶的流量狀況，進行網絡帶寬的成本分析。有助于在網絡服務質量和網絡成本之間取得最佳平衡。

4.網絡流量分析的重要性

相對于網絡管理人員來說，理解用戶的網絡行為網絡流量的內容是網絡管理的重要內容，它為日常網絡管理﹑容量規(guī)劃與未來網絡升級等提供重要依據，通過網絡流量分析，可以提供大量詳盡的數據，供網管人員從很多方面進行更好地維護﹑優(yōu)化網絡，并且提升網絡的性能；同時還能為業(yè)務應用層面提供數據依據，為特定客戶提供流量分析服務。比如網站流量統(tǒng)計分析等；也可作為網絡安全的輔助手段，處理網絡病毒等異常事件。在病毒分析時，網絡管理員需要知道哪些端口發(fā)送的數據發(fā)生了較大變化，因此，對網絡流量的分析可以為網絡的運行和維護提供重要信息和深層次的管理功能，很好地發(fā)揮網絡管理作用。對于網絡性能分析﹑異常監(jiān)測﹑鏈路狀態(tài)監(jiān)測﹑容量規(guī)劃等發(fā)揮著重要作用。為網絡發(fā)展和網絡優(yōu)化提供更優(yōu)質﹑更有效的技術支撐和技術服務，可以預見，隨著網絡的發(fā)展，流量分析工作將在網絡管理中起到越來越重要的作用。

參考文獻

篇2

中圖分類號 TN91 文獻標識碼 A 文章編號 1674-6708（2016）166-00104-01

近年來寬帶網絡一直保持高速增長，光纖到桌面已基本實現，但網絡中巨大的流量會對網絡產生怎樣的影響，這些流量是如何構成的，始終是一個問題。通過對寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經營指標等、當然最重要的還有數據的安全性。

不同的網絡，不同觀察點，不同時間的網絡流量因網絡規(guī)模，業(yè)務種類，用戶構成和使用習慣的不同而不同，甚至受突發(fā)事件的影響，網絡流量在體量規(guī)模，構成成分和比例上都有所不同。一個好的流量分類分析系統(tǒng)，應滿足部署位置上的可移植性，流量規(guī)模的可伸縮性，時間演進的自適應性。這時系統(tǒng)不僅需要采用先進的分類技術，也需要代表性的訓練數據集來確定系統(tǒng)運行參數。數據集主要采用2種方式：PCAP格式和NETFLOW格式，前者捕獲的是包級記錄，后者則是關于流級得統(tǒng)計信息記錄。

寬帶流量的分析和檢測首先要進行流量的采集，這項工作可以通過交換機或路由器的鏡像端口實現，也可以通過光纜分光的方式實現。對捕獲的數據進行計算和統(tǒng)計，并把統(tǒng)計數據寫入數據庫，定期形成網絡性能和流量參數的報表，用作分析的依據，在形成足夠數量的報表數據后，可以分析數據和系統(tǒng)性能變化的趨勢，判斷網絡是否存在瓶頸，并依據經驗，形成經驗數據庫，使網管系統(tǒng)具備學習的基礎和能力。在出現告警或異常情況時，可用來分析對比，判斷是否出現了網絡的攻擊和入侵，判斷惡意數據出現的源頭和特征，足夠數量的數據報表也可以指導各類應急預案的制定，在出現異常情況時可按照事先擬定的規(guī)則進行處理。

對于寬帶流量的分析和分類，系統(tǒng)需要進行統(tǒng)計模型的學習，統(tǒng)計模型的學習可以分為監(jiān)督學習和非監(jiān)督學習方法。所謂的監(jiān)督學習是需要使用已經標注過的數據集合作為經驗知識，對寬帶流量的參數和算法進行訓練；而非監(jiān)督學習則不需要使用已經標注過的數據集進行訓練，只是根據相關算法對寬帶流量集進行匯聚。對數據集的訓練過程中需要由經驗豐富的專家參與，并進行大量的基礎數據分析工作，網絡經驗數據集是流量分析的重要構成因素。在實際分析過程中，由于寬帶核心網絡的流量巨大，所以高性能的預處理路由器和大規(guī)模刀片服務器必不可少。為了提高分析效率，可以只分析單向流量，并且在預處理過程中將IP數據報文的載荷去掉。但由于各種網絡協(xié)議不斷演進，加密的流量不斷增加，各種新應用不斷出現，網絡數據集的標注也變得越來越困難。

網絡流量的分類和分析中對于標準協(xié)議的分析最為準確，可根據TIP/IP協(xié)議簇中標準的服務端口號對流量報文進行匹配，并根據端口號的不同將流量對應為不同的應用。非標準協(xié)議可以使用DPI（深度包檢測）在應用層對流量進行特征字符串的分析匹配，由于不同的應用在TCP/UDP的數據包中包含特征字符串，因此在掌握的不同網絡應用的特征字符串后，可以將網絡流量精確的分類和匹配，缺點是需要消耗較多的系統(tǒng)資源。但很多網絡應用的特征字符串難找易變，代表性差及加密度高等問題，也導致誤檢率和檢全率下降。流量分析監(jiān)控和網絡應用的發(fā)展一直是不斷演變的矛盾。

基于協(xié)議的分類方法需要分析每種協(xié)議的特定的行為特性，標準的通信協(xié)議易于掌握，私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應用則會有較多的變化，或進行加密使用就會影響流量分析的效果，甚至無法識別。有時同一應用軟件的不同版本間也會出現不同的流量特征，即版本的變化會造成協(xié)議特征的變化。另外，網絡中的單向流量、數據的時延、抖動都會對流量分析的算法產生影響。以上這些因素都是流量分析的難點和痛點。

運營商的骨干網絡逐漸向扁平化發(fā)展，網絡出口的數量增加和結構日趨復雜，及動態(tài)路由算法的大量使用，使得網絡流量在多條鏈路或多個不同ISP之間動態(tài)調配，導致在某個觀察點只能得到部分流量，這對于依賴雙向流量特征的分析方法無法實施。基于P2P的應用目前也在不斷擴大，P2P的發(fā)展使得應用和傳輸分離，應用端點和傳輸分離，打破了原有的B/S或C/S的傳統(tǒng)傳輸模式，多源頭并發(fā)傳輸使得流量特征模糊化，使得數據采集的有效性無法保障。還有一些網絡應用為了逃避被檢測到，常常采用已知協(xié)議的方法，例如FTP、HTTP、POP3等，由于IP地址的區(qū)分，冒用已知協(xié)議并不會影響正常網絡通信，但給流量分析帶來很大難度。

寬帶網絡流量分析不僅可以使我們可以清楚的知道網絡流量的內容，還可以為網絡建設、網絡優(yōu)化、運營管理、網絡安全保障提供依據和手段。同時，網絡應用在不斷推陳出新，各種私有化的協(xié)議和加密方法不斷出現，且由于用戶接入帶寬的不斷提高，核心網流量呈幾何速度增長，這些因素在客觀上也大大增加了網絡流量分析的難度和成本?，F有的網絡流量分析再次面臨挑戰(zhàn)，網絡流量的分析研究工作需要不斷深入進行。

參考文獻

[1]Nader F.Mir.計算機與通信網絡[M].潘淑文，等，譯.北京：中國電力出版社，2010，1.

篇3

隨著網絡技術的不斷發(fā)展及網絡應用的不斷推廣，校園網規(guī)模日益擴大且網結構與應用日趨復雜，如何對校園網進行全面有效的監(jiān)控是目前網絡管理面臨的巨大挑戰(zhàn)，這給校園網網絡監(jiān)控技術帶來了廣闊的研究領域，網絡監(jiān)控技術的核心技術就是對網絡中的流量進行即時準確的分析，本文首先對常用的流量分析技術進行簡單的介紹。又重點介紹了sFlow技術，針對sFlow的特點，在校園網中部署了一個基于sFlow技術與Juniper網絡設備的網絡監(jiān)控系統(tǒng)，并對系統(tǒng)如何實現網絡監(jiān)控進行了描述，此系統(tǒng)可實時有效的對校園網流量進行分析，對校園網管理有很大的實用價值。

1流量分析技術介紹

當前能對網絡的流量進行分析的類型主要有以下兩種:

1．1點接觸型流量分析

點接觸型流量分析技術的原理為:在網絡中的某個接入點上，利用探針檢測該接入點的每個pack-age，所利用的方法為逐個包拆分，并在檢測的同時完成統(tǒng)計。點接觸型流量分析的優(yōu)點為:此技術中流量的采集只依賴于探針的包處理機制，與網絡中使用何種類型的交換機沒有關聯;由于本技術采用逐個包拆分的方法，所以可自主制定策略來滿足用戶的需求。缺點為:接入點的個數有限，只能對有限的點進行數據的采集，如果想在網絡的所有關鍵點布置接入點，成本較大;在關鍵接入點串入網絡流量采集設備，會增加網絡的故障點。采用點接觸型流量分析的代表設備為:IDS，FLUKE測試等。

1．2面接觸型流量分析

面接觸型流量分析技術的原理:利用交換機固有的流量采集來完成報文中關鍵信息的統(tǒng)計工作［1］。面接觸型流量分析的優(yōu)點為:此技術不同于點接觸型流量分析，無需在網絡的關鍵接入點上布置探針，只需要布置一臺交換機設備用以流量采集統(tǒng)計，即可采集分析核心層流量，并不影響整個網絡的性能;此技術可在網絡的任一點上采集整個網絡的流量;整個校園網中，只需布置一套監(jiān)控系統(tǒng)，成本低。缺點為:此技術采集的數據只局限于某種類型的package的采樣值，而不是包的全部，相較于點接觸型流量分析來說，采集的數據較少。采用面接觸型流量分析的代表設備為:NET-FLOW監(jiān)控，sFlow監(jiān)控等。當前CERNET校園網都是萬兆核心層網絡平臺，根據前面對兩種流量分析技術的介紹可知，相較于點接觸型流量分析技術，面接觸型在采集與分析如此巨大網絡流量時，有顯而易見不比擬的優(yōu)勢。本文采用當前較主流的sFlow監(jiān)控系統(tǒng)完成校園網網絡流量的采集與監(jiān)控。

2sFlow技術應用

2．1sFlow技術介紹

sFlow，是由InMon公司于2001年提出的一種基于“統(tǒng)計采樣”的網絡流量監(jiān)測技術［2］，以RFC3176［3］文件的形式進行了。sFlow通過對校園網中網絡設備處理的package進行采集來獲取網絡中流量的信息，之后把采集后的數據包發(fā)送給流量分析服務器進行分析，讓用戶詳盡與實時地知道網絡的性能與安全等問題［4］。目前，僅有Foundry和JuniperNetworks等廠商的部分型號的交換機支持sFlow。sFlow的主要優(yōu)勢在于:進行整個網絡監(jiān)視成本更低;擁有的“一直在線技術”能夠對網絡流量進行實時采集與分析能力;嵌入到ASIC中的強勁技術;全網的視圖都是可看見的;采樣的速率是可以自主配置的;整個網絡的交換性能不受影響;網絡帶寬基本不受影響;包頭的信息是完整的;第二到七層的詳細信息是完整的并且支持多種協(xié)議。

2．2實現原理

sFlow的網絡流量監(jiān)測實現一般由兩部分構成:sFlow(Agent)和sFlow流量采集器(Collector)［2］。sFlow系統(tǒng)的基本原理為:分布在校園網的sFlow把sFlow報文發(fā)送到Collector。

2．3sFlow技術

在校園網中的布署本文以Juniper交換機和PRTG軟件為例部署系統(tǒng)。首先在校園網絡的各個層級交換機(Agent)啟用sFlow，通過收集設備上相關端口的流量轉況并實時將整個校園網絡的流量發(fā)送到服務器端(Collector)。服務器端部署PRTG軟件，由PRTG分析軟件來對從交換機收到的數據包進行全面、實時、豐富的流量及統(tǒng)計分析。

3結語

要實現對網絡全面、實時的監(jiān)控分析必須依靠先進有效的網絡監(jiān)控協(xié)議和技術來滿足業(yè)務日益增長的需求。sFlow網絡技術的出現可以很大程度滿足當前及未來幾年校園網絡發(fā)展規(guī)模，為我們網絡管理員的日常巡檢維護帶來了極大的方便，也為保障校園網絡的安全、穩(wěn)定、高效運行提供了很好的依據。

參考文獻

篇4

網絡管理中非常重要且非?；A的一個環(huán)節(jié)就是網絡流量監(jiān)測，網絡流量監(jiān)測即是通過對網絡數據的連續(xù)采集，以此來監(jiān)測網絡的流量。網絡及其重要成分的性能指標也是對網絡流量數據的統(tǒng)計和計算得到的。網絡管理員根據當前的和歷史的存儲網絡及其重要成分的性能的數據數據，就可對網絡及其主要成分的性能進行性能管理，通過數據分析獲得性能的變化趨勢。分析制約網絡性能的瓶頸問題。在網絡流量監(jiān)測的基礎上，管理員可對感興趣的網絡管理對象設置閾值范圍以配置網絡閾值對象，閾值對象監(jiān)控實時輪詢網絡獲取定義對象的當前值。若超出閥值的上限和下限則報警，幫助管理員發(fā)現網絡瓶頸，這樣即可實現一定程度上的故障管理，而網絡流量監(jiān)測本身也涉及到安全管理方面的內容。所以，研究網絡流量監(jiān)測是非常有意義的。

2網絡流量的特性

2.1數據流是雙向的，但通常是非對稱的?；ヂ摼W上大部分的應用都是雙向交換數據的，因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異，這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。

2.2大部分TCP會話是短期的。超過90%的TCP會話交換的數據量小于10K字節(jié)，會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的WWW文檔傳輸都小于10K字節(jié)，WWW的巨大增長使其在這方面產生了決定性的影響。1.3包的到達過程不是泊松過程大部分傳統(tǒng)的排隊理論和通信網絡設計都假設包的到達過程是泊松過程，即包到達的間斷時間的分布是獨立的指數分布。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布，而且不是獨立分布的。大部分時候是多個包連續(xù)到達，即包的到達是有突發(fā)性的。很明顯，泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協(xié)議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性，從而促進了網絡通信量模型的研究。

2.3網絡通信量具有局域性?；ヂ摼W流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關（時間局域性）和基于空間的相關（空間局域性）。

3網絡流量的監(jiān)測技術與方法

3.1網絡流量的監(jiān)測技術種類

（1）基于流量鏡像協(xié)議分析。流量鏡像（在線TAP）協(xié)議分析方式是把網絡設備的某個端口（鏈路）流量鏡像給協(xié)議分析儀，通過7層協(xié)議解碼對網絡流量進行監(jiān)測。與其他3種方式相比，協(xié)議分析是網絡測試的最基本手段，特別適合網絡故障分析。缺點是流量鏡像（在線TAP）協(xié)議分析方式只針對單條鏈路，不適合全網監(jiān)測。

（2）基于硬件探針的監(jiān)測技術。硬件探針是一種用來獲取網絡流量的硬件設備，使用時將它串接在需要捕捉流量的鏈路中，通過分流鏈路上的數字信號而獲取流量信息。一個硬件探針監(jiān)視一個子網（通常是一條鏈路）的流量信息。對于全網流量的監(jiān)測需要采用分布式方案，在每條鏈路部署一個探針，再通過后臺服務器和數據庫，收集所有探針的數據，做全網的流量分析和長期報告。與其他的3種方式相比，基于硬件探針的最大特點是能夠提供豐富的從物理層到應用層的詳細信息。但是硬件探針的監(jiān)測方式受限于探針的接口速率，一般只針對1000M以下的速率。而且探針方式重點是單條鏈路的流量分析，Netflow更偏重全網流量的分析。

（3）基于SNMP的流量監(jiān)測技術。基于SNMP的流量信息采集，實質上是測試儀表通過提取網絡設備Agent提供的MIB（管理對象信息庫）中收集一些具體設備及流量信息有關的變量。相似的方式還包括RMON。與其他的方式相比，基于SNMP的流量監(jiān)測技術受到設備廠家的廣泛支持，使用方便，缺點是信息不夠豐富和準確，分析集中在網絡的2、3層的信息和設備的消息。SNMP方式經常集成在其他的3種方案中，如果單純采用SNMP做長期的、大型的網絡流量監(jiān)控，在測試儀表的基礎上，需要使用后臺數據庫。

（4）基于Netflow的流量監(jiān)測技術。Netflow流量信息采集是基于網絡設備（Cisco）提供的Netflow機制實現的網絡流量信息采集。Netflow為Cisco之專屬協(xié)議，已經標準化，并且Juniper、extreme、華為等廠家也逐漸支持，Netflow由路由器、交換機自身對網絡流量進行統(tǒng)計，并且把結果發(fā)送到第3方流量報告生成器和長期數據庫。一旦收集到路由器、交換機上的詳細流量數據后，便可為網絡流量統(tǒng)計、網絡使用量計價、網絡規(guī)劃、病毒流量分析，網絡監(jiān)測等應用提供計數根據。Netflow方式是網絡流量統(tǒng)計方式的發(fā)展趨勢。在綜合比較四種技術之后，不難得出以下結論：基于SNMP的流量監(jiān)測技術能夠滿足網絡流量分析的需要，且信息采集效率高，適合在各類網絡中應用。

3.2網絡流量的監(jiān)測方法

篇5

一、前沿

選擇交換機硬件時，應確定核心層、分布層和接入層分別需要何種交換機來滿足網絡帶寬需求，應考慮未來的帶寬需。應購買合適的交換機硬件來滿足當前及未來的帶寬需求。為了更準確地選擇合適的交換機，要定期執(zhí)行和記錄流量分析。

二、流量分析

流量分析是測量網絡帶寬使用率并分析相關數據來調整性能、規(guī)劃容量并作出硬件升級決策的過程，流量分析是通過流量分析軟件來實現的。盡管對網絡流量并沒有確切的定義，但為了便于理解流量分析，可以理解為網絡流量是指在一定時間內通過網絡發(fā)送的數據量。所有的網絡數據無論來自何方，無論發(fā)往何處，都是流量的一部分。監(jiān)控網絡流量的方法有許多種?？梢允止けO(jiān)控各個交換機端口來收集一段時間內的帶寬利用率。在分析流量數據時，可能根據每天特定時段的流量以及大部分數據的來源和目的地來確定未來的流量需求。但是，為了獲得準確地結果，需要記錄足夠的數據。手工記錄流量數據是件費時費力的機械活，市面上有一些自動化的解決方案。

三、分析工具

現在市面上有許多流量分析攻擊可以將流量數據自動記錄到數據庫中，并執(zhí)行趨勢分析。在大型網絡中，采用軟件收集解決方案是唯一有效的流量分析方式。通過軟件收集數據時，可以看到在給定的時間內網絡上每個接口的運行狀況。通過輸出的圖表，可以直觀的發(fā)現流量問題。比用柱狀表示的流量數據更容易理解。

四、用戶群分析

用戶群分析是確定各類用戶群體及其對網絡性能的影響的過程，用戶的分組方式會影響與端口密度和流量有關的問題，進而影響網絡交換機的選擇。

在典型的辦公樓中，一般根據終端用戶的職能對其進行分組，這是因為相同職能用戶所需訪問的資源和應用程序也大體相同。每個部門的用戶數、應用程序需求以及需要通過網絡訪問的可用數據資源各有不同。不僅要查看網絡中指定交換機上的設備數量，還應該調查終端用戶應用程序生產的網絡流量。有些用戶群使用產生大量網絡流量的應用程序，而其他用戶則不然，通過測量不同用戶群使用的所有應用程序所生成的網絡流量并確定數據源的位置，可以確定增加用戶對該用戶群的影響。

小企業(yè)中工作組大小的用戶群僅用幾臺交換機提供支持，通常連接到服務器所在的交換機上。在中型企業(yè)中，用戶群由許多交換機提供支持。中型企業(yè)用戶群所需的資源可能位于地理上分散的若干區(qū)域中。因此，用戶群的位置會影響數據存儲和服務器的位置。分析用戶群的應用程序使用率的難題之一是使用率并非純粹取決于用戶所在的部門或地理位置。還需要分析應用程序穿越多臺網絡交換機所帶來的負面影響。并據此確定總體影響。

五、數據存儲和數據服務器分析

在分析網絡流量時，應考慮數據存儲和服務器的位置，以便確定它們對網絡流量的影響。數據存儲可以是服務器、存儲區(qū)域網絡（SAN）、網絡連接存儲（NAS）、磁帶備份設備或任何其他存儲大量數據的設備或組件。

在考慮數據存儲和服務器的流量時，應同時考慮客戶端到服務器的流量和服務器到服務器的流量。通過觀察不同用戶群使用的各種應用程序的數據路徑，可以找到潛在的瓶頸，確定在哪些地方因為帶寬不足會影響應用程序的性能。為改善性能，可以聚合鏈路來提供帶寬，或者使用能夠處理流量負載的快速交換機來取代慢速交換機。

六、拓撲結構圖

拓撲結構圖是網絡基礎架構的圖形表現形式，拓撲結構圖顯示所有的交換機如何互連，乃至詳細到哪個交換機端口與設備互連。拓撲結構圖以圖形的形式顯示交換機之間用于提供災難恢復和性能增強的任何冗余路徑或聚合端口，顯示網絡中交換機的位置和數目并標出交換機的配置。通過拓撲結構圖，可以直觀地找到網絡流量的潛在瓶頸，可以抓住流量分析數據的要點，知道哪些網絡區(qū)域的改進能夠最有效地提高網絡的整體性能。

七、結語

對于中小型企業(yè)而言、基于數據、語音和視頻的數字通信至關重要。因此，正確設計局域網是企業(yè)日常運營的基本需求。作為網絡技術人員，必須能夠判斷什么才是設計合理的局域網，能夠選擇合適的設備來滿足中小型企業(yè)的網絡需求。

參 考 文 獻

篇6

中圖分類號:TP

文獻標識碼:A

文章編號:1672-3198(2010)17-0348-01

1 網絡流量的特征

1.1 數據流是雙向的,但通常是非對稱的

互聯網上大部分的應用都是雙向交換數據的,因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異,這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。

1.2 大部分TCP會話是短期的

超過90%的TCP會話交換的數據量小于10K字節(jié),會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的,但是由于80%的WWW文檔傳輸都小于10K字節(jié),WWW的巨大增長使其在這方面產生了決定性的影響。1.3 包的到達過程不是泊松過程

大部分傳統(tǒng)的排隊理論和通信網絡設計都假設包的到達過程是泊松過程,即包到達的間斷時間的分布是獨立的指數分布。簡單的說,泊松到達過程就是事件(例如地震,交通事故,電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而,近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布,而且不是獨立分布的。大部分時候是多個包連續(xù)到達,即包的到達是有突發(fā)性的。很明顯,泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協(xié)議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性,從而促進了網絡通信量模型的研究。

1.4 網絡通信量具有局域性

互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和目的地址上,從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。

2 網絡流量的測量

網絡流量的測量是人們研究互聯網絡的一個工具,通過采集和分析互聯網的數據流,我們可以設計出更加符合實際的網絡設備和更加合理的網絡協(xié)議。計算機網絡不是永遠不會出錯的,設備的一小點故障都有可能使整個網絡癱瘓,或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發(fā)現和解決問題。互聯網流量的測量從不同的方面可以分為:

2.1 基于硬件的測量和基于軟件的測量

基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量,這些設備一般都比較昂貴,而且受網絡接口數量,網絡插件的類型,存儲能力和協(xié)議分析能力等諸多因素的限制。基于軟件的測量通常依靠修改工作站的內核中的網絡接口部分,使其具備捕獲網絡數據包的功能。與基于硬件的方法比較,其費用比較低廉,但是性能比不上專用的網絡流量分析器。

2.2 主動測量和被動測量

被動測量只是記錄網絡的數據流,不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。

2.3 在線分析和離線分析

有的網絡流量分析器支持實時地收集和分析網絡數據,使用可視化手段在線顯示流量數據和分析結果,大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據,把數據存儲下來,并不對數據進行實時的分析。

2.4 協(xié)議級分類

對于不同的協(xié)議,例如以太網(Ethernet)、幀中繼(Frame Relay)、異步傳輸模式(Asynchronous Transfer Mode),需要使用不同的網絡插件來收集網絡數據,因此也就有了不同的通信量測試方法。

3 網絡流量的監(jiān)測技術

根據對網絡流量的采集方式可將網絡流量監(jiān)測技術分為:基于網絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。

3.1 基于網絡流量全鏡像的監(jiān)測技術

網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備,實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比,流量鏡像采集的最大特點是能夠提供豐富的應用層信息。

3.2 基于Netflow的流量監(jiān)測技術

Netflow流量信息采集是基于網絡設備提供的Netflow機制實現的網絡流量信息采集。

篇7

1 引言

隨著互聯網絡的迅速發(fā)展，網絡數據流量特征的研究近年來引起了人們廣泛關注。網絡數據流量分析系統(tǒng)的定位重點在對網絡流量的流量、流向、協(xié)議的細節(jié)監(jiān)視和分析，網絡安全監(jiān)視。在容量規(guī)劃、入侵檢測和路由優(yōu)化時，網絡管理員需要知道網絡的數據流量情況和盡量多的測量信息。

2 關鍵技術

⑴數據流。數據流是指輸入數據a1，a2，..按順序到達。這些數據描述了一個信號A。A是一個一維函數A：[1...N]R2。模型取決于ai如何描述A。本文把數據流技術和傳統(tǒng)的網絡管理技術相結合， 取得了較好的應用效果。

⑵流量監(jiān)測原理。網絡流量監(jiān)測有主動監(jiān)測和被動監(jiān)測兩種不同的實現方法。主動測量方法是向被測網絡中注入附加的“探測流量”并進行返回數據的采集來實現監(jiān)測的方法，該如果處理不當，也會給網絡增加額外的負荷，影響測量結果的客觀性，甚至使測量結果不準確，產生Heisenburg效應。而被動測量方法是在網絡的某點采集、記錄并且分析網絡的流量信息來實現測量的方法。被動測量可以完全消除附加的“探測流量”和Heisenbutg 效應，這是被動測量的優(yōu)點，但存在可能會涉及隱私和安全問題的不足。由于Internet上大多數數據傳輸是不加密的，鑒于被動監(jiān)測的優(yōu)點，本系統(tǒng)采用基于數據包捕獲的被動監(jiān)測技術。

⑶winpcap。在網絡管理與安全防護中，對網絡數據流量進行分析，是非常重要的一個任務，從防火墻到攻擊檢測系統(tǒng)，都會用到類似功能。開發(fā)此類軟件過程相當復雜。而winpcap （indows packet capture）是windows平臺下一個免費公共的網絡訪問系統(tǒng)。它提供了以下的各項功能：

1>捕獲原始數據報；2>按照自定義的規(guī)則將某些特殊的數據報過濾掉；3>在網絡上發(fā)送原始的數據報；4>收集網絡通信過程中的統(tǒng)計信息。

3 系統(tǒng)架構

無論是基于網絡安全，還是基于網絡計費系統(tǒng)的改進，網絡數據流量分析無疑是必要的，人們對網絡依賴很強。網絡數據流量系統(tǒng)的架構包括三層：數據層（瀏覽統(tǒng)計、數據庫管理）、訪問應用層、展現層（在線統(tǒng)計器、流量統(tǒng)計器、網絡速度監(jiān)視器）。

4 系統(tǒng)設計

⑴網絡監(jiān)視器。網絡監(jiān)視器是監(jiān)視網絡通信的，其主要工作有三項：winpcap捕捉包、包分析、記錄。

1）winpcap捕捉包。在網絡包捕獲系統(tǒng)的實現中，采用的是WINPCAP包捕獲應用系統(tǒng)框架。網絡監(jiān)聽模塊將網絡接口設置為混亂模式，將網絡上傳輸的數據包截取下來，供協(xié)議分析模塊使用。由于效率的需要，有時要根據設置過濾網絡上的一些數據包，如特定IP，特定MAC地址、特定協(xié)議的數據包等。網絡監(jiān)聽模塊的過濾功能的效率是該網絡監(jiān)聽的關鍵，因為對于網絡上的每一數據包都會使用該模塊過濾，判斷是否符合過濾條件。

為提高效率，數據包過濾應該在系統(tǒng)內核里來實現。獲得數據包之后，如果在捕獲過程結束后創(chuàng)建了兩個線程實現對捕獲數據的實時性處理。

2）包分析。包分析指將捕捉來的數據報進行分析。由于要進行流量統(tǒng)計需要很多必要的信息，作為統(tǒng)計依據，如IP地址、協(xié)議類型等。其中，數據長度可由函數調用返回的內容得到而且此時得到的是實際在網上的包長度。

3）記錄。通過包的分析后，將有用的信息記錄到文件中去。其中包括目的IP、源IP，數據長度、協(xié)議類型、以及為了統(tǒng)計方便需要的時間信息。

⑵流量統(tǒng)計器。流量統(tǒng)計器，是對流量監(jiān)視器的記錄結果進行統(tǒng)計，將網絡監(jiān)視器的記錄文件內容讀出，并根據網址分割標準及源和目的地分別統(tǒng)計出流向網外的國內和國外流量，并將結果按照日期分別存儲在數據中。

5 系統(tǒng)實現

⑴捕捉包的實現。包捕捉作為一個獨立的應用程序運行，它從網上截獲包，并以文件形式將有用信息記錄下來，為流量統(tǒng)計準備統(tǒng)計的原始依據。

⑵在線統(tǒng)計的實現。ping利用了原始套接口技術發(fā)送ICMP回射請求，并接收工CMP回射應答。Socket是CP/IP編程的底層API（網絡編程接口）。在實現ping后可以將其作為一個函數調用，就很容易實現在線統(tǒng)計。

篇8

經濟飛速發(fā)展的同時，科學技術也在不斷地進步，網絡已經成為當前社會生產生活中不可或缺的重要組成部分，給人們帶來了極大的便利。與此同時，網絡系統(tǒng)也遭受著一定的安全威脅，這給人們正常使用網絡系統(tǒng)帶來了不利影響。尤其是在大數據時代，無論是國家還是企業(yè)、個人，在網絡系統(tǒng)中均存儲著大量重要的信息，網絡系統(tǒng)一旦出現安全問題將會造成極大的損失。

1基本概念

1.1網絡安全態(tài)勢感知

網絡安全態(tài)勢感知是對網絡安全各要素進行綜合分析后，評估網絡安全整體情況，對其發(fā)展趨勢進行預測，最終以可視化系統(tǒng)展示給用戶，同時給出相應的統(tǒng)計報表和風險應對措施。網絡安全態(tài)勢感知包括五個方面1：（1）網絡安全要素數據采集：借助各種檢測工具，對影響網絡安全性的各類要素進行檢測，采集獲取相應數據；（2）網絡安全要素數據理解：對各種網絡安全要素數據進行分析、處理和融合，對數據進一步綜合分析，形成網絡安全整體情況報告；（3）網絡安全評估：對網絡安全整體情況報告中各項數據進行定性、定量分析，總結當前的安全概況和安全薄弱環(huán)節(jié)，針對安全薄弱環(huán)境提出相應的應對措施；（4）網絡安全態(tài)勢預測：通過對一段時間的網絡安全評估結果的分析，找出關鍵影響因素，并預測未來這些關鍵影響因素的發(fā)展趨勢，進而預測未來的安全態(tài)勢情況以及可以采取的應對措施。（5）網絡安全態(tài)勢感知報告：對網絡安全態(tài)勢以圖表統(tǒng)計、報表等可視化系統(tǒng)展示給用戶。報告要做到深度和廣度兼?zhèn)?，從多層次、多角度、多粒度分析系統(tǒng)的安全性并提供應對措施。

1.2DPI技術

DPI（DeepPacketInspection）是一種基于數據包的深度檢測技術，針對不同的網絡傳輸協(xié)議（例如HTTP、DNS等）進行解析，根據協(xié)議載荷內容，分析對應網絡行為的技術。DPI技術廣泛應用于網絡流量分析的場景，比如網絡內容分析領域等。DPI技術應用于網絡安全態(tài)勢感知領域，通過DPI技術的應用識別能力，將網絡安全關注的網絡攻擊、威脅行為對應的流量進行識別，并形成網絡安全行為日志，實現網絡安全要素數據精準采集。DPI技術發(fā)展到現在，隨著后端業(yè)務應用的多元化，對DPI系統(tǒng)的能力也提出了更高的要求。傳統(tǒng)DPI技術的實現主要是基于知名協(xié)議的端口、特征字段等作為識別依據，比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等協(xié)議特征的識別、基于源IP、目的IP、源端口和目的端口的五元組特征識別。但是隨著互聯網應用的發(fā)展，越來越多的應用采用加密手段和私有協(xié)議進行數據傳輸，網絡流量中能夠準確識別到應用層行為的占比呈現越來越低的趨勢。在當前網絡應用復雜多變的背景下，很多網絡攻擊行為具有隱蔽性，比如數據傳輸時采用知名網絡協(xié)議的端口，但是對傳輸流量內容進行定制，傳統(tǒng)DPI很容易根據端口特征，將流量識別為知名應用，但是實際上，網絡攻擊行為卻“瞞天過?！?，繞過基于傳統(tǒng)DPI技術的IDS、防火墻等網絡安全屏障，在互聯網上肆意妄為。新型DPI技術在傳統(tǒng)DPI技術的基礎上，對流量的識別能力更強?；緦崿F原理是對接入的網絡流量根據網絡傳輸協(xié)議、內容、流特征等多元化特征融合分析，實現網絡流量精準識別。其目的是為了給后端的態(tài)勢感知系統(tǒng)提供準確的、可控的數據來源。新型DPI技術通過對流量中傳輸的不同應用的傳輸協(xié)議、應用層內容、協(xié)議特征、流特征等進行多維度的分析和打標，形成協(xié)議識別引擎。新型DPI的協(xié)議識別引擎除了支持標準、知名應用協(xié)議的識別，還可以對應用層進行深度識別。

2新型DPI技術在網絡安全態(tài)勢感知領域的應用

新型DPI技術主要應用于數據采集和數據理解環(huán)節(jié)。在網絡安全要素數據采集環(huán)節(jié)，應用新型DPI技術，可以實現網絡流量的精準采集，避免安全要素數據采集不全、漏采或者多采的現象。在網絡安全要素數據理解環(huán)節(jié)，在對數據進行分析時，需要基于新型DPI技術的特征知識庫，提供數據標準的說明，幫助態(tài)勢感知應用可以理解這些安全要素數據。新型DPI技術在進行網絡流量分析時主要有以下步驟，（1）需要對攻擊威脅的流量特征、協(xié)議特征等進行分析，將特征形成知識庫，協(xié)議識別引擎加載特征知識庫后，對實時流量進行打標，完成流量識別。這個步驟需要確保獲取的特征是有效且準確的，需要基于真實的數據進行測試統(tǒng)計，避免由于特征不準確誤判或者特征不全面漏判的情況出現。有了特征庫之后，（2）根據特征庫，對流量進行過濾、分發(fā)，識別流量中異常流量對應的攻擊威脅行為。這個步驟仍然要借助于協(xié)議識別特征知識庫，在協(xié)議識別知識庫中記錄了網絡異常流量和攻擊威脅行為的映射關系，使得系統(tǒng)可以根據異常流量對應的特征庫ID，進而得出攻擊威脅行為日志。攻擊威脅行為日志包含捕獲時間、攻擊者IP和端口、被攻擊者IP和端口、攻擊流量特征、攻擊流量的行為類型等必要的字段信息。（3）根據網絡流量進一步識別被攻擊的災損評估，同樣是基于協(xié)議識別知識庫中行為特征庫，判斷有哪些災損動作產生、災損波及的數據類型、數據范圍等。網絡安全態(tài)勢感知的分析是基于步驟2產生的攻擊威脅行為日志中記錄的流量、域名、報文和惡意代碼等多元數據入手,對來自互聯網探針、終端、云計算和大數據平臺的威脅數據進行處理,分析不同類型數據中潛藏的異常行為,對流量、域名、報文和惡意代碼等安全元素進行多層次的檢測。針對步驟1的協(xié)議識別特征庫，可以采用兩種實現技術：分別是協(xié)議識別特征庫技術和流量“白名單”技術。

2.1協(xié)議識別特征庫

在網絡流量識別時，協(xié)議識別特征庫是非常重要的，形成協(xié)議識別特征庫主要有兩種方式。一種是傳統(tǒng)方式，正向流量分析方法。這種方法是基于網絡攻擊者的視角分析，模擬攻擊者的攻擊行為，進而分析模擬網絡流量中的流量特征，獲取攻擊威脅的流量特征。這種方法準確度高，但是需要對逐個應用進行模擬和分析，研發(fā)成本高且效率低下，而且隨著互聯網攻擊行為的層出不窮和不斷升級，這種分析方法往往存在一定的滯后性。第二種方法是近年隨著人工智能技術的進步，逐漸應用的智能識別特征庫。這種方法可以基于威脅流量的流特征、已有網絡攻擊、威脅行為特征庫等，通過AI智能算法來進行訓練，獲取智能特征庫。這種方式采用AI智能識別算法實現，雖然在準確率方面要低于傳統(tǒng)方式，但是這種方法可以應對互聯網上層出不窮的新應用流量，效率更高。而且隨著特征庫的積累，算法本身具備更好的進化特性，正在逐步替代傳統(tǒng)方式。智能特征庫不僅僅可以識別已經出現的網絡攻擊行為，對于未來可能出現的網絡攻擊行為，也具備一定的適應性，其適應性更強。這種方式還有另一個優(yōu)點，通過對新發(fā)現的網絡攻擊、威脅行為特征的不斷積累，完成樣本庫的自動化更新，基于自動化更新的樣本庫，實現自動化更新的流量智能識別特征庫，進而實現AI智能識別算法的自動升級能力。為了確保采集流量精準，新型DPI的協(xié)議識別特征庫具備更深度的協(xié)議特征識別能力，比如對于http協(xié)議能夠實現基于頭部信息特征的識別，包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等頭部信息，對于https協(xié)議，也能夠實現基于SNI的特征識別。對于目前主流應用，支持識別的應用類型包括網絡購物、新聞、即時消息、微博、網絡游戲、應用市場、網絡視頻、網絡音頻、網絡直播、DNS、遠程控制等，新型DPI的協(xié)議特征識別庫更為強大。新型DPI的協(xié)議識別特征庫在應用時還可以結合其他外部知識庫，使得分析更具目的性。比如通過結合全球IP地址庫，實現對境外流量定APP、特定URL或者特定DNS請求流量的識別，分析其中可能存在的跨境網絡攻擊、安全威脅行為等。

2.2流量“白名單”

在網絡流量識別時也同時應用“流量白名單”功能，該功能通過對網絡訪問流量規(guī)模的統(tǒng)計，對流量較大的、且已知無害的TOPN的應用特征進行提取，同時將這些特征標記為“流量白名單”。由于“流量白名單”中的應用往往對應較高的網絡流量規(guī)模，在網絡流量識別時，可以優(yōu)先對流量進行“流量白名單”特征比對，比對成功則直接標記為“安全”。使用“流量白名單”技術，可以大大提高識別效率，將更多的分析和計算能力留給未知的、可疑的流量。流量白名單通常是域名形式，這就要求新型DPI技術能夠支持域名類型的流量識別和過濾。隨著https的廣泛應用，也有很多流量較大的白名單網站采用https作為數據傳輸協(xié)議，新型DPI技術也必須能夠支持https證書類型的流量識別和過濾。流量白名單庫和協(xié)議識別特征庫對網絡流量的處理流程參考下圖1：

3新型DPI技術中數據標準

安全態(tài)勢感知系統(tǒng)在發(fā)展中，從各個廠商獨立作戰(zhàn)，到現在可以接入不同廠商的數據，實現多源數據的融合作戰(zhàn)，離不開新型DPI技術中的數據標準化。為了保證各個廠商采集到的安全要素數據能夠統(tǒng)一接入安全態(tài)勢感知系統(tǒng)，各廠商通過制定行業(yè)數據標準，一方面行業(yè)內部的安全數據采集、數據理解達成一致，另一方面安全態(tài)勢感知系統(tǒng)在和行業(yè)外部系統(tǒng)進行數據共享時，也能夠提供和接入標準化的數據。新型DPI技術中的數據標準包括三個部分，第一個部分是控制指令部分，安全態(tài)勢感知系統(tǒng)發(fā)送控制指令，新型DPI在接收到指令后，對采集的數據范圍進行調整，實現數據采集的可視化、可定制化。同時不同的廠商基于同一套控制指令，也可以實現不同廠商設備之間指令操作的暢通無阻。第二個部分是安全要素數據部分，新型DPI在輸出安全要素數據時，基于統(tǒng)一的數據標準，比如HTTP類型的數據，統(tǒng)一輸出頭域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常見頭部和頭部關鍵內容。對于DNS類型的數據，統(tǒng)一輸出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通過定義數據描述文件，對輸出字段順序、字段說明進行描述。針對不同的協(xié)議數據，定義各自的數據輸出標準。數據輸出標準也可以從業(yè)務應用角度進行區(qū)分，比如針對網絡攻擊行為1定義該行為采集到安全要素數據的輸出標準。第三個部分是內容組織標準，也就是需要定義安全要素數據以什么形式記錄，如果是以文件形式記錄，標準中就需要約定文件內容組織形式、文件命名標準等，以及為了便于文件傳輸，文件的壓縮和加密標準等。安全態(tài)勢感知系統(tǒng)中安全要素數據標準構成參考下圖2：新型DPI技術的數據標準為安全態(tài)勢領域各類網絡攻擊、異常監(jiān)測等數據融合應用提供了基礎支撐，為不同領域廠商之間數據互通互聯、不同系統(tǒng)之間數據共享提供便利。

4新型DPI技術面臨的挑戰(zhàn)

目前互聯網技術日新月異、各類網絡應用層出不窮的背景下，新型DPI技術在安全要素采集時，需要從互聯網流量中，將網絡攻擊、異常流量識別出來，這項工作難度越來越大。同時隨著5G應用越來越廣泛，萬物互聯離我們的生活越來越近，接入網絡的終端類型也多種多樣，針對不同類型終端的網絡攻擊也更為“個性化”。新型DPI技術需要從規(guī)模越來越大的互聯網流量中，將網絡安全相關的要素數據準確獲取到仍然有很長的路要走?；谛滦虳PI技術，完成網絡態(tài)勢感知系統(tǒng)中的安全要素數據采集，實現從網絡流量到數據的轉化，這只是網絡安全態(tài)勢感知的第一步。網絡安全態(tài)勢感知系統(tǒng)還需要基于網絡安全威脅評估實現從數據到信息、從信息到網絡安全威脅情報的完整轉化過程，對網絡異常行為、已知攻擊手段、組合攻擊手段、未知漏洞攻擊和未知代碼攻擊等多種類型的網絡安全威脅數據進行統(tǒng)計建模與評估，網絡安全態(tài)勢感知系統(tǒng)才能做到對攻擊行為、網絡系統(tǒng)異常等的及時發(fā)現與檢測，實現全貌還原攻擊事件、攻擊者意圖，客觀評估攻擊投入和防護效能，為威脅溯源提供必要的線索。

篇9

面向服務架構(SOA)將應用程序的不同功能單元包裝成“服務(Service)”，通過這些服務之間定義良好的接口和協(xié)議聯系起來。接口采用中立的方式定義，獨立于具體實現服務的硬件平臺、操作系統(tǒng)和編程語言，使得構建在各種這樣系統(tǒng)中的服務可以使用統(tǒng)一和通用的方式進行通信。這種具有中立接口定義的特征稱為服務之間的松耦合。面向服務架構是一種軟件體系結構的思想，它需要依賴具體的實現技術。本文采用Web服務分布式管理(WSDM)標準來支持面向服務架構的實現。

為了解決網絡環(huán)境下管理系統(tǒng)和基礎設施的協(xié)同工作以及管理集成問題，OASIS組織在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服務分布式管理(Web services distributed manage-ment，WSDM)標準，對Web Service管理提供標準化的支持，通過使用Web Service來實現對不同平臺的管理。

WSDM是一個用于描述特定設備、應用程序或者組件的管理信息和功能的標準。所有描述都是通過Web服務描述語言進行的。WSDM標準實際上是由兩個不同的標準組成的，WSDM-MUWS標準以及WS-DM-MOWS標準。

圖1是WSDM的工作模式，可管理用戶發(fā)現這個Web Service端點，然后，通過與端點交換消息，從而獲取信息、定制事件以及控制與端點相關聯的可管理資源。WSDM規(guī)范側重于提供對可管理資源的訪問。管理是資源的一個可能具有的特性，可管理資源的實現是通過Web Service端點提供一組管理功能。WSDM架構不限制可管理資源的實現策略，實現方式包括直接訪問資源、用非方法、用管理等，實現細節(jié)對于管理消費者來說都是透明的。

WSDM作為一種功能強大的分布式系統(tǒng)集成解決方案，其主要特點如下：

(1)面向資源。WSDM的關注點是資源，因為一個資源就代表了多個Web服務，因此在該標準中，對資源屬性和功能的詳細描述顯得尤為重要。為此，WSDM采用了專門的Web標準(如WS-Resource)對資源相關信息進行定義。

(2)實現分離。由于采用與實現操作無關的WSDL語言定義接口，使得接口與服務實現了分離，所以無論Web服務其內在實現細節(jié)如何改變都不會對客戶端的操作方式有任何影響。這樣做不但較好地封裝了管理方法的實現細節(jié)，而且實現了對已有資源的重用。

(3)服務的可組合性。WSDM能隨著應用環(huán)境規(guī)模的變化而變化，首先，WSDM標準的自身實現只需定義較少的屬性和操作，使得其在小規(guī)模的系統(tǒng)中可以得到穩(wěn)定的應用：其次，對于大規(guī)模應用環(huán)境而言，WSDM可以隨著應用需求的變化靈活地添加某些服務。從而在使用者和部署人員之間起很好的協(xié)調作用。

(4)模型的兼容性。主要表現在WSDM能描述和封裝任何資源模型(如cIM、SM-NP、SID等)，并為其提供相應的Web服務接口。

2　系統(tǒng)設計方案

網絡流量采集使用了三種技術：

(1)基于網管設備MIB的SNMP模式；

(2)基于網絡探針技術的IP流量數據捕獲模式；

(3)基于NetFlow技術的數據流捕獲模式。

針對基于SNMP模式，實現基于WSDM的SNMP網關，通過該網關收集SNMP設備上的MIB信息；針對基于網絡探針技術模式，可實現基于WSDM的網絡探針服務；針對基于NetFlow技術模式，流量數據是通過NetFlow的主動式數據推送機制獲得的，網絡設備中的NetFlow是通過規(guī)范的報文格式將流量數據送往指定主機，WSDM服務提供了接收和傳輸NetFlow流量數據的功能。

2.1　系統(tǒng)架構

流量監(jiān)測系統(tǒng)結構可劃分為三個層次，即資源層、管理服務層、展示層，如圖2所示。

(1)資源層

資源層由提供流量采集服務的分布式流量采集器(WSDM Agent)組成，它們通過調用管理服務層的WSDM Agent注冊服務實行自主注冊，具備向管理服務層主動匯報、自主管理和主動服務等功能。

(2)管理服務層

管理服務層包括應用組件、服務組件、管理平臺以及數據庫。其中應用組件是對展示層提供支持的各種

管理服務，包括策略管理模塊、WSDM Agent管理模塊、流量數據管理模塊以及流量分析模塊等系統(tǒng)功能實現的模塊。服務組件是對資源層的各種WSDMAgent資源的支持，包括安全審計、日志服務、異常服務、自主管理等，主要是管理服務器自主實現的一些功能。數據庫部分是應用組件中各模塊對應的數據存儲。中間層的管理平臺是管理服務層的核心，是對應用組件、服務組件以及數據庫的支持，包括Web服務、WSDM服務的引擎和API等。

(3)展示層

展示層實現流量狀態(tài)顯示。可以從流量數據庫中取得所要查詢的網絡流量歷史信息，也可以調用管理服務層提供的服務觸發(fā)流量信息更新采集實時的流量數據，還可以通過服務將合法用戶的操作信息送到管理服務層。根據用戶需求采用圖形用戶界面將流量態(tài)勢分析的結果展示出來?？商峁┒喾N格式的流量報表。

2.2　流量分析系統(tǒng)設計

流量分析系統(tǒng)是整個流量監(jiān)測系統(tǒng)的核心。如圖3所示，該系統(tǒng)分為五個模塊：流量采集模塊、數據接收模塊、數據傳輸模塊、流量分析模塊、數據存儲與管理模塊。對照流量監(jiān)測系統(tǒng)架構，流量分析系統(tǒng)結構中的這五個功能模塊分別位于總體架構的各個層次。

篇10

1、網絡流量的特性

通過對互聯網通信量的測量，人們發(fā)現互聯網通信量的主要特性有:

1、數據流是雙向的，但通常是非對稱的

互聯網上大部分的應用都是雙向交換數據的，因此網絡的流是雙向的。但是兩個方向上的數據率有很大的差異，這是因為從網站下載時會導致從網站到客戶端方向的數據量比另外一個方向多。

2、大部分TCP會話是短期的

超過90%的TCP會話交換的數據量小于10K字節(jié)，會話持續(xù)時間不超過幾秒。雖然文件傳輸和遠程登陸這些TCP對話都不是短期的，但是由于80%的WWW文檔傳輸都小于10K字節(jié)，WWW的巨大增長使其在這方面產生了決定性的影響。

3、包的到達過程不是泊松過程

大部分傳統(tǒng)的排隊理論和通信網絡設計都假設包的到達過程是泊松過程，即包到達的間斷時間的分布是獨立的指數分布。簡單的說，泊松到達過程就是事件(例如地震，交通事故，電話等)按照一定的概率獨立的發(fā)生。泊松模型因為指數分布的無記憶性也就是事件之間的非相關性而使其在應用上要比其他模型更加簡單。然而近年來對互聯網絡通信量的測量顯示包到達的過程不是泊松過程。包到達的間斷時間不僅不服從指數分布，而且不是獨立分布的。大部分時候是多個包連續(xù)到達，即包的到達是有突發(fā)性的。很明顯，泊松過程不足以精確地描述包的到達過程。造成這種非泊松結構的部分原因是數據傳輸所使用的協(xié)議。非泊松過程的現象迫使人們懷疑使用簡單的泊松模型研究網絡的可靠性，從而促進了網絡通信量模型的研究。

4、網絡通信量具有局域性

互聯網流量的局域性包括時間局域性和空間局域性。用戶在應用層對互聯網的訪問反映在包的時間和源及目的地址上，從而顯示出基于時間的相關(時間局域性)和基于空間的相關(空間局域性)。

2、 網絡流量的測量

網絡流量的測量是人們研究互聯網絡的一個工具，通過采集和分析互聯網的數據流，我們可以設計出更加符合實際的網絡設備和更加合理的網絡協(xié)議。計算機網絡不是永遠不會出錯的，設備的一小點故障都有可能使整個網絡癱瘓，或者使網絡性能明顯下降。例如廣播風暴、非法包長、錯誤地址、安全攻擊等。對互聯網流量的測量可以為網絡管理者提供詳細的信息以幫助發(fā)現和解決問題?；ヂ摼W流量的測量從不同的方面可以分為:

1、基于硬件的測量和基于軟件的測量

基于硬件的測量通常指使用為采集和分析網絡數據而特別設計的專用硬件設備進行網絡流的測量，這些設備一般都比較昂貴，而且受網絡接口數量，網絡插件的類型，存儲能力和協(xié)議分析能力等諸多因素的限制?；谲浖臏y量通常依靠修改工作站的內核中的網絡接口部分，使其具備捕獲網絡數據包的功能。與基于硬件的方法比較，其費用比較低廉，但是性能比不上專用的網絡流量分析器。

2、主動測量和被動測量

被動測量只是記錄網絡的數據流，不向網絡流中注入任何數據。大部分網絡流量測量都是被動的測量。主動測量使用由測量設備產生的數據流來探測網絡而獲知網絡的信息。例如使用ping來估計到某個目的地址的網絡延時。

3、在線分析和離線分析

有的網絡流量分析器支持實時地收集和分析網絡數據，使用可視化手段在線地顯示流量數據和分析結果，大部分基于硬件的網絡分析器都具有這個能力。離線分析只是在線地收集網絡數據，把數據存儲下來，并不對數據進行實時的分析。

4、協(xié)議級分類

對于不同的協(xié)議，例如以太網(Ethernet )，幀中繼(Frame Relay )，異步傳輸模式( Asynchronous Transfer Mode )，需要使用不同的網絡插件來收集網絡數據，因此也就有了不同的通信量測試方法。

3、 網絡流量的監(jiān)測技術

    根據對網絡流量的采集方式可將網絡流量監(jiān)測技術分為:基于網絡流量全鏡像的監(jiān)測技術、基于SNMP的監(jiān)測技術和基于Netflow的監(jiān)測技術三種常用技術。

1、基于網絡流量全鏡像的監(jiān)測技術:網絡流量全鏡像采集是目前IDS主要采用的網絡流量采集模式。其原理是通過交換機等網絡設備的端口鏡像或者通過分光器、網絡探針等附加設備，實現網絡流量的無損復制和鏡像采集。和其它兩種流量采集方式相比，流量鏡像采集的最大特點是能夠提供豐富的應用層信息。