基本介紹
- 中文名：性能測試
- 外文名：performance testing
- 屬性：軟體術語
內容,客戶端,網路端,服務端,目的,類型,指標,步驟,制定目標和分析系統,選擇測試度量的方法,學習的相關技術和工具,制定評估標準,設計測試用例,運行測試用例,分析測試結果,方法,基準測試,性能規劃測試,滲入測試,峰谷測試,原則,工具,自動化測試工具介紹LR篇,輕鬆創建虛擬用戶,創建真實的負載,最大化投資回報,支持無線套用協定,支持Media Stream套用,性能測試工具PerformanceRunner,問題,
內容
性能測試在軟體的質量保證中起著重要的作用，它包括的測試內容豐富多樣。中國軟體評測中心將性能測試概括為三個方面：套用在客戶端性能的測試、套用在網路上性能的測試和套用在伺服器端性能的測試。通常情況下，三方面有效、合理的結合，可以達到對系統性能全面的分析和瓶頸的預測。
客戶端
性能測試圖像並發性能測試是重點
並發性能測試的過程是一個負載測試和壓力測試的過程，即逐漸增加負載，直到系統的瓶頸或者不能接收的性能點，通過綜合分析交易執行指標和資源監控指標來確定系統並發性能的過程。負載測試（Load Testing）是確定在各種工作負載下系統的性能，目標是測試當負載逐漸增加時，系統組成部分的相應輸出項，例如通過量、回響時間、CPU負載、記憶體使用等來決定系統的性能。負載測試是一個分析軟體應用程式和支撐架構、模擬真實環境的使用，從而來確定能夠接收的性能過程。壓力測試（Stress Testing）是通過確定一個系統的瓶頸或者不能接收的性能點，來獲得系統能提供的最大服務級別的測試。
並發性能測試的目的主要體現在三個方面：以真實的業務為依據，選擇有代表性的、關鍵的業務操作設計測試案例，以評價系統的當前性能；當擴展應用程式的功能或者新的應用程式將要被部署時，負載測試會幫助確定系統是否還能夠處理期望的用戶負載，以預測系統的未來性能；通過模擬成百上千個用戶，重複執行和運行測試，可以確認性能瓶頸並最佳化和調整套用，目的在於尋找到瓶頸問題。
當一家企業自己組織力量或委託軟體公司代為開發一套套用系統的時候，尤其是以後在生產環境中實際使用起來，用戶往往會產生疑問，這套系統能不能承受大量的並發用戶同時訪問? 這類問題最常見於採用在線上事務處理(OLTP)方式資料庫套用、Web瀏覽和視頻點播等系統。這種問題的解決要藉助於科學的軟體測試手段和先進的測試工具。
舉例說明：電信計費軟體
眾所周知，每月20日左右是市話交費的高峰期，全市幾千個收費網點同時啟動。收費過程一般分為兩步，首先要根據用戶提出的電話號碼來查詢出其當月產生費用，然後收取現金並將此用戶修改為已交費狀態。一個用戶看起來簡單的兩個步驟，但當成百上千的終端，同時執行這樣的操作時，情況就大不一樣了，如此眾多的交易同時發生，對應用程式本身、作業系統、中心資料庫伺服器、中間件伺服器、網路設備的承受力都是一個嚴峻的考驗。決策者不可能在發生問題後才考慮系統的承受力，預見軟體的並發承受力，這是在軟體測試階段就應該解決的問題。
大多數公司企業需要支持成百上千名用戶，各類套用環境以及由不同供應商提供的元件組裝起來的複雜產品，難以預知的用戶負載和愈來愈複雜的套用程式，使公司擔憂會發生投放性能差、用戶遭受反應慢、系統失靈等問題。其結果就是導致公司收益的損失。
性能測試圖像
性能測試圖像測試的基本策略是自動負載測試，通過在一台或幾台PC機上模擬成百或上千的虛擬用戶同時執行業務的情景，對應用程式進行測試，同時記錄下每一事務處理的時間、中間件伺服器峰值數據、資料庫狀態等。通過可重複的、真實的測試能夠徹底地度量套用的可擴展性和性能，確定問題所在以及最佳化系統性能。預先知道了系統的承受力，就為最終用戶規劃整個運行環境的配置提供了有力的依據。
並發性能測試前的準備工作
測試環境：配置測試環境是測試實施的一個重要階段，測試環境的適合與否會嚴重影響測試結果的真實性和正確性。測試環境包括硬體環境和軟體環境，硬體環境指測試必需的伺服器、客戶端、網路連線設備以及印表機/掃瞄器等輔助硬體設備所構成的環境；軟體環境指被測軟體運行時的作業系統、資料庫及其他套用軟體構成的環境。
一個充分準備好的測試環境有三個優點：一個穩定、可重複的測試環境，能夠保證測試結果的正確；保證達到測試執行的技術需求；保證得到正確的、可重複的以及易理解的測試結果。
測試工具：並發性能測試是在客戶端執行的黑盒測試，一般不採用手工方式，而是利用工具採用自動化方式進行。成熟的並發性能測試工具有很多，選擇的依據主要是測試需求和性能價格比。著名的並發性能測試工具有QALoad、LoadRunner、Benchmark Factory和Webstress等。這些測試工具都是自動化負載測試工具，通過可重複的、真實的測試，能夠徹底地度量套用的可擴展性和性能，可以在整個開發生命周期、跨越多種平台、自動執行測試任務，可以模擬成百上千的用戶並發執行關鍵業務而完成對應用程式的測試。
測試數據：在初始的測試環境中需要輸入一些適當的測試數據，目的是識別數據狀態並且驗證用於測試的測試案例，在正式的測試開始以前對測試案例進行調試，將正式測試開始時的錯誤降到最低。在測試進行到關鍵過程環節時，非常有必要進行數據狀態的備份。製造初始數據意味著將合適的數據存儲下來，需要的時候恢復它，初始數據提供了一個基線用來評估測試執行的結果。
在測試正式執行時，還需要準備業務測試數據，比如測試並發查詢業務，那么要求對應的資料庫和表中有相當的數據量以及數據的種類應能覆蓋全部業務。
模擬真實環境測試，有些軟體，特別是面向大眾的商品化軟體，在測試時常常需要考察在真實環境中的表現。如測試防毒軟體的掃描速度時，硬碟上布置的不同類型檔案的比例要儘量接近真實環境，這樣測試出來的數據才有實際意義。
並發性能測試的種類與指標
採用自動化負載測試工具執行的並發性能測試，基本遵循的測試過程有：測試需求與測試內容，測試案例制定，測試環境準備，測試腳本錄製、編寫與調試，腳本分配、回放配置與載入策略，測試執行跟蹤，結果分析與定位問題所在，測試報告與測試評估。
性能測試圖像
性能測試圖像並發性能測試監控的對象不同，測試的主要指標也不相同，主要的測試指標包括交易處理性能指標和UNIX資源監控。其中，交易處理性能指標包括交易結果、每分鐘交易數、交易回響時間（Min：最小伺服器回響時間；Mean：平均伺服器回響時間；Max：最大伺服器回響時間；StdDev：事務處理伺服器回響的偏差，值越大，偏差越大；Median：中值回響時間；90%：90%事務處理的伺服器回響時間）、虛擬並發用戶數。
套用實例：“新華社多媒體資料庫 V1.0”性能測試
中國軟體評測中心（CSTC）根據新華社技術局提出的《多媒體資料庫（一期）性能測試需求》和GB/T 17544《軟體包質量要求和測試》的國家標準，使用工業標準級負載測試工具對新華社使用的“新華社多媒體資料庫 V1.0”進行了性能測試。
性能測試的目的是模擬多用戶並發訪問新華社多媒體資料庫，執行關鍵檢索業務，分析系統性能。
性能測試的重點是針對系統並發壓力負載較大的主要檢索業務，進行並發測試和疲勞測試，系統採用B/S運行模式。並發測試設計了特定時間段內分別在中文庫、英文庫、圖片庫中進行單檢索詞、多檢索詞以及變檢索式、混合檢索業務等並發測試案例。疲勞測試案例為在中文庫中並發用戶數200，進行測試周期約8小時的單檢索詞檢索。在進行並發和疲勞測試的同時，監測的測試指標包括交易處理性能以及UNIX（Linux）、Oracle、Apache資源等。
測試結論：在新華社機房測試環境和區域網路測試環境中，100M頻寬情況下，針對規定的各並發測試案例，系統能夠承受並發用戶數為200的負載壓力，最大交易數/分鐘達到78.73，運行基本穩定，但隨著負載壓力增大，系統性能有所衰減。
系統能夠承受200並發用戶數持續周期約8小時的疲勞壓力，基本能夠穩定運行。
通過對系統UNIX（Linux）、Oracle和Apache資源的監控，系統資源能夠滿足上述並發和疲勞性能需求，且系統硬體資源尚有較大利用餘地。
建議進一步最佳化軟體系統，充分利用硬體資源，縮短交易回響時間。
疲勞強度與大數據量測試
疲勞測試是採用系統穩定運行情況下能夠支持的最大並發用戶數，持續執行一段時間業務，通過綜合分析交易執行指標和資源監控指標來確定系統處理最大工作量強度性能的過程。
性能測試圖像大數據量測試可以分為兩種類型：針對某些系統存儲、傳輸、統計、查詢等業務進行大數據量的獨立數據量測試；與壓力性能測試、負載性能測試、疲勞性能測試相結合的綜合數據量測試方案。大數據量測試的關鍵是測試數據的準備，可以依靠工具準備測試數據。
速度測試主要是針對關鍵有速度要求的業務進行手工測速度，可以在多次測試的基礎上求平均值，可以和工具測得的回響時間等指標做對比分析。
網路端
套用在網路上性能的測試重點是利用成熟先進的自動化技術進行網路套用性能監控、網路套用性能分析和網路預測。
網路套用性能分析
網路套用性能分析的目的是準確展示網路頻寬、延遲、負載和TCP連線埠的變化是如何影響用戶的回響時間的。利用網路套用性能分析工具，例如Application Expert，能夠發現套用的瓶頸，我們可知套用在網路上運行時在每個階段發生的套用行為，在套用執行緒級分析套用的問題。可以解決多種問題：客戶端是否對資料庫伺服器運行了不必要的請求？當伺服器從客戶端接受了一個查詢，套用伺服器是否花費了不可接受的時間聯繫資料庫伺服器？在投產前預測套用的回響時間；利用Application Expert調整套用在廣域網上的性能；Application Expert能夠讓你快速、容易地仿真套用性能，根據最終用戶在不同網路配置環境下的回響時間，用戶可以根據自己的條件決定套用投產的網路環境。
網路套用性能監控
在系統試運行之後，需要及時準確地了解網路上正在發生什麼事情；什麼套用在運行，如何運行；多少PC正在訪問LAN或WAN；哪些應用程式導致系統瓶頸或資源競爭，這時網路套用性能監控以及網路資源管理對系統的正常穩定運行是非常關鍵的。利用網路套用性能監控工具，可以達到事半功倍的效果，在這方面我們可以提供的工具是Network Vantage。通俗地講，它主要用來分析關鍵應用程式的性能，定位問題的根源是在客戶端、伺服器、應用程式還是網路。在大多數情況下用戶較關心的問題還有哪些應用程式占用大量頻寬，哪些用戶產生了最大的網路流量，這個工具同樣能滿足要求。
網路預測
考慮到系統未來發展的擴展性，預測網路流量的變化、網路結構的變化對用戶系統的影響非常重要。根據規劃數據進行預測並及時提供網路性能預測數據。我們利用網路預測分析容量規劃工具PREDICTOR可以作到：設定服務水平、完成日網路容量規劃、離線測試網路、網路失效和容量極限分析、完成日常故障診斷、預測網路設備遷移和網路設備升級對整個網路的影響。
從網路管理軟體獲取網路拓撲結構、從現有的流量監控軟體獲取流量信息（若沒有這類軟體可人工生成流量數據），這樣可以得到現有網路的基本結構。在基本結構的基礎上，可根據網路結構的變化、網路流量的變化生成報告和圖表，說明這些變化是如何影響網路性能的。PREDICTOR提供如下信息：根據預測的結果幫助用戶及時升級網路，避免因關鍵設備超過利用閥值導致系統性能下降；哪個網路設備需要升級，這樣可減少網路延遲、避免網路瓶頸；根據預測的結果避免不必要的網路升級。
服務端
性能測試圖像UNIX資源監控指標和描述
監控指標 描述
平均負載 系統正常狀態下，最後60秒同步進程的平均個數
衝突率 在乙太網上監測到的每秒衝突數
進程/執行緒交換率 進程和執行緒之間每秒交換次數
CPU利用率 CPU占用率（%）
磁碟交換率 磁碟交換速率
接收包錯誤率 接收乙太網數據包時每秒錯誤數
包輸入率 每秒輸入的乙太網數據包數目
中斷速率 CPU每秒處理的中斷數
輸出包錯誤率 傳送乙太網數據包時每秒錯誤數
包輸入率 每秒輸出的乙太網數據包數目
讀入記憶體頁速率 物理記憶體中每秒讀入記憶體頁的數目
寫出記憶體頁速率 每秒從物理記憶體中寫到頁檔案中的記憶體頁數
目或者從物理記憶體中刪掉的記憶體頁數目
記憶體頁交換速率 每秒寫入記憶體頁和從物理記憶體中讀出頁的個數
進程入交換率 交換區輸入的進程數目
進程出交換率 交換區輸出的進程數目
系統CPU利用率 系統的CPU占用率（%）
用戶CPU利用率 用戶模式下的CPU占用率（%）
磁碟阻塞 磁碟每秒阻塞的位元組數
目的
包括以下幾個方面
1．評估系統的能力，測試中得到的負荷和回響時間數據可以被用於驗證所計畫的模型的能力，並幫助作出決策。
2．識別體系中的弱點：受控的負荷可以被增加到一個極端的水平，並突破它，從而修復體系的瓶頸或薄弱的地方。
3．系統調優：重複運行測試，驗證調整系統的活動得到了預期的結果，從而改進性能。
4．驗證穩定性（resilience）可靠性（reliability）：在一個生產負荷下執行測試一定的時間是評估系統穩定性和可靠性是否滿足要求的唯一方法。
類型
負載測試（Load Testing）：負載測試是一種主要為了測試軟體系統是否達到需求文檔設計的目標，譬如軟體在一定時期內，最大支持多少並發用戶數，軟體請求出錯率等，測試的主要是軟體系統的性能。
壓力測試（Stress Testing）：強度測試也就是壓力測試，壓力測試主要是為了測試硬體系統是否達到需求文檔設計的性能目標，譬如在一定時期內，系統的cpu利用率，記憶體使用率，磁碟I/O吞吐率，網路吞吐量等，壓力測試和負載測試最大的差別在於測試目的不同。
容量測試（Volume Testing）：確定系統最大承受量，譬如系統最大用戶數，最大存儲量，最多處理的數據流量等。
性能測試中包含以下測試類型：
性能配置 - 核實在操作條件保持不變的情況下，測試對象在使用不同配置時其性能行為的可接受性。
性能評價通常是和用戶代表一起協作並且以多級方法執行的。
性能分析的第一級涉及單一主角/用例實例的結果評價和多個測試執行的結果比較。例如，在測試對象上沒有其他活動的情況下，記錄單一主角執行單一用例的性能行為，並將結果與相同主角/用例的其他幾個測試執行進行比較。第一級分析有助於確定可以表明系統資源中存在爭用的趨勢，該趨勢將影響從其他性能測試結果所得出的結論的有效性。
分析的第三級有助於理解性能問題的起因和加權值。該詳細分析採用低級數據並且使用統計方法，幫助測試員從數據中得出正確的結論。詳細分析為決策提供客觀和定量的標準，但是它耗時較長，並且要求對統計學有基本的理解。
當性能行為差異確實存在，或是由於某些與測試數據收集相關的隨機事件引起時，詳細分析使用統計加權值的概念來幫助理解。即認為在基本級上，任何事件都具有隨機性。統計測試確定是否存在無法用隨機事件解釋的系統差異。
指標
性能測試主要是通過自動化的測試工具模擬多種正常、峰值以及異常負載條件來對系統的各項性能指標進行測試。負載測試和壓力測試都屬於性能測試，兩者可以結合進行。通過負載測試，確定在各種工作負載下系統的性能，目標是測試當負載逐漸增加時，系統各項性能指標的變化情況。壓力測試是通過確定一個系統的瓶頸或者不能接收的性能點，來獲得系統能提供的最大服務級別的測試。
在實際工作中我們經常會對兩種類型軟體進行測試：bs和cs，這兩方面的性能指標一般需要哪些內容呢？
Bs結構程式一般會關注的通用指標如下（簡）：
Web伺服器指標指標：
* Avg Rps: 平均每秒鐘回響次數=總請求時間 / 秒數；
* Avg time to last byte per terstion （mstes）：平均每秒業務腳本的疊代次數，有人會把這兩者混淆；
* Successful Rounds：成功的請求；
* Failed Rounds ：失敗的請求；
* Successful Hits ：成功的點擊次數；
* Failed Hits ：失敗的點擊次數；
* Hits Per Second ：每秒點擊次數；
* Successful Hits Per Second ：每秒成功的點擊次數；
* Failed Hits Per Second ：每秒失敗的點擊次數；
* Attempted Connections ：嘗試連結數；
* User 0 Connections ：用戶連線數，也就是資料庫的連線數量；
* Number of deadlocks：資料庫死鎖；
* Buffer Cache hit ：資料庫Cache的命中情況
當然，在實際中我們還會察看多用戶測試情況下的記憶體，CPU，系統資源調用情況。這些指標其實是引申出來性能測試中的一種：競爭測試。什麼是競爭測試，軟體競爭使用各種資源（數據紀錄，記憶體等），看他與其他相關係統對資源的爭奪能力。
性能測試圖像
性能測試圖像c/s
client/Server 客戶端/伺服器架構
b/s
基於瀏覽器/Web伺服器的三層架構
基於中間件套用伺服器的三層架構l
基於Web伺服器和中間件的多層架構l
步驟
在每種不同的系統架構的實施中，開發人員可能選擇不同的實現方式，造成實際情況紛繁複雜。我們不可能對每種技術都詳細解說，這裡只是介紹一種方法提供給你如何選擇測試策略，從而幫助分析軟體不同部分的性能指標，進而分析出整體架構的性能指標和性能瓶頸。
由於工程和項目的不同，所選用的度量，評估方法也有不同之處。不過仍然有一些通用的步驟幫助我們完成一個性能測試項目。步驟如下
1． 制定目標和分析系統
2． 選擇測試度量的方法
3． 學習的相關技術和工具
4． 制定評估標準
5． 設計測試用例
6． 運行測試用例
7． 分析測試結果
制定目標和分析系統
每一個性能測試計畫中第一步都會制定目標和分析系統構成。只有明確目標和了解系統構成才會澄清測試範圍，知道在測試中要掌握什麼樣的技術。
目標：
1． 確定客戶需求和期望
2． 實際業務需求
3． 系統需求
系統組成這裡包含幾方面含義：系統類別，系統構成，系統功能等。了解這些內容的本質其實是幫助我們明確測試的範圍，選者適當的測試方法來進行測試。
系統類別：分清系統類別是我們掌握什麼樣的技術的前提，掌握相應技術做性能測試才可能成功。例如：系統類別是bs結構，需要掌握 http協定，java，html等技術。或者是cs結構，可能要了解作業系統，winsock，com等。所以甄別系統類別對於我們來說很重要。
系統構成：硬體設定，作業系統設定是性能測試的制約條件，一般性能測試都是利用測試工具模仿大量的實際用戶操作，系統在超負荷情形下運作。不同的系統構成性能測試就會得到不同的結果。
系統功能：系統功能指系統提供的不同子系統，辦公管理系統中的公文子系統，會議子系統等，系統功能是性能測試中要模擬的環節，了解這些是必要的。
選擇測試度量的方法
經過第一步，將會對系統有清醒的認識。接下來我們將把精力放在軟體度量上，收集系統相關的數據。
度量的相關方面：
* 制定規範
* 制定相關流程，角色，職責
* 制定改進策略
* 制定結果對比標準
學習的相關技術和工具
性能測試是通過工具，模擬大量用戶操作，對系統增加負載。所以需要掌握一定的工具知識才能進行性能測試。大家都知道性能測試工具一般通過winsock,http等協定記錄用戶操作。而協定選擇是基於軟體的系統架構實現（web一般選擇http協定，cs選擇winsock協定），不同的性能測試工具，腳本語言也不同，比如rational robot中vu腳本用類c語言實現。
開展性能測試需要對各種性能測試工具進行評估，因為每一種性能測試工具都有自身的特點，只有經過工具評估，才能選擇符合現有軟體架構的性能測試工具。確定測試工具後，需要組織測試人員進行工具的學習，培訓相關技術。
制定評估標準
任何測試的目的都是確保軟體符合預先規定的目標和要求。性能測試也不例外。所以必須制定一套標準。
通常性能測試有四種模型技術可用於評估：
*線性投射：用大量的過去的，擴展的或者將來可能發生的數據組成散布圖，利用這個圖表不斷和系統的當前狀況對比。
性能測試圖像
性能測試圖像*分析模型：用排隊論公式和算法預測回響時間，利用描述工作量的數據和系統本質關聯起來
*模仿：模仿實際用戶的使用方法測試你的系統
*基準：定義測試和你最初的測試作為標準，利用它和所有後來進行的測試結果進行對比
設計測試用例
設計測試用例是在了解軟體業務流程的基礎上。設計測試用例的原則是受最小的影響提供最多的測試信息，設計測試用例的目標是一次儘可能的包含多個測試要素。這些測試用例必須是測試工具可以實現的，不同的測試場景將測試不同的功能。因為性能測試不同於平時的測試用例，儘可能把性能測試用例設計的複雜，才有可能發現軟體的性能瓶頸。
運行測試用例
通過性能測試工具運行測試用例。同一環境下作的性能測試得到的測試結果是不準確的，所以在運行這些測試用例的時候，需要用不同的測試環境，不同的機器配置上運行。
分析測試結果
運行測試用例後，收集相關信息，進行數據統計分析，找到性能瓶頸。通過排除誤差和其他因素，讓測試結果體現接近真實情況。不同的體系結構分析測試結果的方法也不同，bs結構我們會分析網路頻寬，流量對用戶操作回響的影響，而cs結構我們可能更關心會系統整體配置對用戶操作的影響。
方法
在開發階段前期，應該使用基準測試來確定應用程式中是否出現性能倒退。基準測試可以在一個相對短的時間內收集可重複的結果。進行基準測試的最好方法是，每次測試改變一個且只改變一個參數。例如，如果想知道增加JVM記憶體是否會影響應用程式的性能，就逐次遞增JVM記憶體（例如，從1024 MB增至1224 MB，然後是1524 MB，最後是2024 MB），在每個階段收集結果和環境數據，記錄信息，然後轉到下一階段。這樣在分析測試結果時就有跡可循。下一小節我將介紹什麼是基準測試，以及運行基準測試的最佳參數。
開發階段後期，在應用程式中的bug已經被解決，應用程式達到一種穩定狀態之後，可以運行更為複雜的測試，確定系統在不同的負載模式下的表現。這些測試被稱為容量規劃測試、滲入測試(soak test)、峰谷測試（peak-rest test)，它們旨在通過測試應用程式的可靠性、健壯性和可伸縮性來測試接近於現實世界的場景。對於下面的描述應該從抽象的意義上理解，因為每個應用程式的使用模式都是不同的。例如，容量規劃測試通常都使用較緩慢的ramp-up（下文有定義），但是如果應用程式在一天之中的某個時段中有快速突發的流量，那么自然應該修改測試以反映這種情況。但是，要記住，因為更改了測試參數（比如ramp-up周期或用戶的考慮時間（think-time)），測試的結果肯定也會改變。一個不錯的方法是，運行一系列的基準測試，確立一個已知的可控環境，然後再對變化進行比較。
基準測試
基準測試的關鍵是要獲得一致的、可再現的結果。可再現的結果有兩個好處：減少重新運行測試的次數；對測試的產品和產生的數字更為確信。使用的性能測試工具可能會對測試結果產生很大影響。假定測試的兩個指標是伺服器的回響時間和吞吐量，它們會受到伺服器上的負載的影響。伺服器上的負載受兩個因素影響：同時與伺服器通信的連線（或虛擬用戶）的數目，以及每個虛擬用戶請求之間的考慮時間的長短。很明顯，與伺服器通信的用戶越多，負載就越大。同樣，請求之間的考慮時間越短，負載也越大。這兩個因素的不同組合會產生不同的伺服器負載等級。記住，隨著伺服器上負載的增加，吞吐量會不斷攀升，直到到達一個點。
注意，吞吐量以穩定的速度增長，然後在某一個點上穩定下來。
在某一點上，執行佇列開始增長，因為伺服器上所有的執行緒都已投入使用，傳入的請求不再被立即處理，而是放入佇列中，當執行緒空閒時再處理。
注意，最初的一段時間，執行佇列的長度為零，然後就開始以穩定的速度增長。這是因為系統中的負載在穩定增長，雖然最初系統有足夠的空閒執行緒去處理增加的負載，最終它還是不能承受，而必須將其排入佇列。
當系統達到飽和點，伺服器吞吐量保持穩定後，就達到了給定條件下的系統上限。但是，隨著伺服器負載的繼續增長，系統的回響時間也隨之延長，雖然吞吐量保持穩定。
注意，在執行佇列（圖2）開始增長的同時，回響時間也開始以遞增的速度增長。這是因為請求不能被及時處理。
為了獲得真正可再現的結果，應該將系統置於相同的高負載下。為此，與伺服器通信的虛擬用戶應該將請求之間的考慮時間設為零。這樣伺服器會立即超載，並開始構建執行佇列。如果請求（虛擬用戶）數保持一致，基準測試的結果應該會非常精確，完全可以再現。
您可能要問的一個問題是：“如何度量結果？”對於一次給定的測試，應該取回響時間和吞吐量的平均值。精確地獲得這些值的唯一方法是一次載入所有的用戶，然後在預定的時間段內持續運行。這稱為“flat”測試。
與此相對應的是“ramp-up”測試。
ramp-up測試中的用戶是交錯上升的（每幾秒增加一些新用戶）。ramp-up測試不能產生精確和可重現的平均值，這是因為由於用戶的增加是每次一部分，系統的負載在不斷地變化。因此，flat運行是獲得基準測試數據的理想模式。
這不是在貶低ramp-up測試的價值。實際上，ramp-up測試對找出以後要運行的flat測試的範圍非常有用。ramp-up測試的優點是，可以看出隨著系統負載的改變，測量值是如何改變的。然後可以據此選擇以後要運行的flat測試的範圍。
Flat測試的問題是系統會遇到“波動”效果。
注意波動的出現，吞吐量不再是平滑的。
這在系統的各個方面都有所體現，包括CPU的使用量。
注意，每隔一段時間就會出現一個波形。CPU使用量不再是平滑的，而是有了像吞吐量圖那樣的尖峰。
此外，執行佇列也承受著不穩定的負載，因此可以看到，隨著系統負載的增加和減少，執行佇列也在增長和縮減。
注意，每隔一段時間就會出現一個波形。執行佇列曲線與上面的CPU使用量圖非常相似。
最後，系統中事務的回響時間也遵循著這個波動模式。
注意，每隔一段時間就會出現一個波形。事務的回響時間也與上面的圖類似，只不過其效果隨著時間的推移逐漸減弱。
當測試中所有的用戶都同時執行幾乎相同的操作時，就會發生這種現象。這將會產生非常不可靠和不精確的結果，所以必須採取一些措施防止這種情況的出現。有兩種方法可以從這種類型的結果中獲得精確的測量值。如果測試可以運行相當長的時間（有時是幾個小時，取決於用戶的操作持續的時間），最後由於隨機事件的本性使然，伺服器的吞吐量會被“拉平”。或者，可以只選取波形中兩個平息點之間的測量值。該方法的缺點是可以捕獲數據的時間非常短。
性能規劃測試
對於性能規劃類型的測試來說，其目標是找出，在特定的環境下，給定應用程式的性能可以達到何種程度。此時可重現性就不如在基準測試中那么重要了，因為測試中通常都會有隨機因子。引入隨機因子的目的是為了儘量模擬具有真實用戶負載的現實世界應用程式。通常，具體的目標是找出系統在特定的伺服器回響時間下支持的當前用戶的最大數。例如，您可能想知道：如果要以5秒或更少的回響時間支持8,000個當前用戶，需要多少個伺服器？要回答這個問題，需要知道系統的更多信息。
要確定系統的容量，需要考慮幾個因素。通常，伺服器的用戶總數非常大（以十萬計），但是實際上，這個數字並不能說明什麼。真正需要知道的是，這些用戶中有多少是並發與伺服器通信的。其次要知道的是，每個用戶的“考慮時間”即請求間時間是多少。這非常重要，因為考慮時間越短，系統所能支持的並發用戶越少。例如，如果用戶的考慮時間是1秒，那么系統可能只能支持數百個這樣的並發用戶。但是，如果用戶的考慮時間是30秒，那么系統則可能支持數萬個這樣的並發用戶（假定硬體和應用程式都是相同的）。在現實世界中，通常難以確定用戶的確切考慮時間。還要注意，在現實世界中，用戶不會精確地按照間隔時間發出請求。
於是就引入了隨機性。如果知道普通用戶的考慮時間是5秒，誤差為20%，那么在設計負載測試時，就要確保請求間的時間為5×（1 +/- 20%）秒。此外，可以利用“調步”的理念向負載場景中引入更多的隨機性。它是這樣的：在一個虛擬用戶完成一整套的請求後，該用戶暫停一個設定的時間段，或者一個小的隨機時間段（例如，2×（1 +/- 25%）秒），然後再繼續執行下一套請求。將這兩種隨機化方法運用到測試中，可以提供更接近於現實世界的場景。
進行實際的容量規劃測試了。接下來的問題是：如何載入用戶以模擬負載狀態？最好的方法是模擬尖峰時間用戶與伺服器通信的狀況。這種用戶負載狀態是在一段時間內逐步達到的嗎？如果是，應該使用ramp-up類型的測試，每隔幾秒增加x個用戶。或者，所有用戶是在一個非常短的時間內同時與系統通信？如果是這樣，就應該使用flat類型的測試，將所有的用戶同時載入到伺服器。兩種不同類型的測試會產生沒有可比性的不同測試。例如，如果進行ramp-up類型的測試，系統可以以4秒或更短的回響時間支持5,000個用戶。而執行flat測試，您會發現，對於5,000個用戶，系統的平均回響時間要大於4秒。這是由於ramp-up測試固有的不準確性使其不能顯示系統可以支持的並發用戶的精確數字。以門戶應用程式為例，隨著門戶規模的擴大和集群規模的擴大，這種不確定性就會隨之顯現。
這不是說不應該使用ramp-up測試。對於系統負載在一段比較長的時間內緩慢增加的情況，ramp-up測試效果還是不錯的。這是因為系統能夠隨著時間不斷調整。如果使用快速ramp-up測試，系統就會滯後，從而報告一個較相同用戶負載的flat測試低的回響時間。那么，什麼是確定容量的最好方法？結合兩種負載類型的優點，並運行一系列的測試，就會產生最好的結果。例如，首先使用ramp-up測試確定系統可以支持的用戶範圍。確定了範圍之後，以該範圍內不同的並發用戶負載進行一系列的flat測試，更精確地確定系統的容量。
滲入測試
滲入測試是一種比較簡單的性能測試。滲入測試所需時間較長，它使用固定數目的並發用戶測試系統的總體健壯性。這些測試將會通過記憶體泄漏、增加的垃圾收集（GC)或系統的其他問題，顯示因長時間運行而出現的任何性能降低。測試運行的時間越久，您對系統就越了解。運行兩次測試是一個好主意——一次使用較低的用戶負載（要在系統容量之下，以便不會出現執行佇列），一次使用較高的負載（以便出現積極的執行佇列）。
測試應該運行幾天的時間，以便真正了解應用程式的長期健康狀況。要確保測試的應用程式儘可能接近現實世界的情況，用戶場景也要逼真（虛擬用戶通過應用程式導航的方式要與現實世界一致），從而測試應用程式的全部特性。確保運行了所有必需的監控工具，以便精確地監測並跟蹤問題。
峰谷測試
峰谷測試兼有容量規劃ramp-up類型測試和滲入測試的特徵。其目標是確定從高負載（例如系統尖峰時間的負載）恢復、轉為幾乎空閒、然後再攀升到高負載、再降低的能力。
實現這種測試的最好方法就是，進行一系列的快速ramp-up測試，繼之以一段時間的平穩狀態（取決於業務需求），然後急劇降低負載，此時可以令系統平息一下，然後再進行快速的ramp-up；反覆重複這個過程。這樣可以確定以下事項：第二次高峰是否重現第一次的峰值？其後的每次高峰是等於還是大於第一次的峰值？在測試過程中，系統是否顯示了記憶體或GC性能降低的有關跡象？測試運行（不停地重複“峰值/空閒”周期）的時間越長，您對系統的長期健康狀況就越了解。
原則
1）情況許可時，應使用幾種測試工具或手段分別獨立進行測試，並將結果相互印證，避免單一工具或測試手段自身缺陷影響結果的準確性；
2）對於不同的系統，性能關注點是有所區別的，應該具體問題具體分析；
3）查找瓶頸的過程應由易到難逐步排查：
伺服器硬體瓶頸及網路瓶頸（區域網路環境下可以不考慮網路因素）
套用業務瓶頸（SQL語句、資料庫設計、業務邏輯、算法、數據等）
4）性能調優過程中不宜對系統的各種參數進行隨意的改動，應該以用戶配置手冊中相關參數設定為基礎，逐步根據實際現場環境進行最佳化，一次只對某個領域進行性能調優（例如對CPU的使用情況進行分析），並且每次只改動一個設定，避免相關因素互相干擾；
5）調優過程中應仔細進行記錄，保留每一步的操作內容及結果，以便比較分析；
6）性能調優是一個經驗性的工作，需要多思考、分析、交流和積累；
7）了解“有限的資源，無限的需求”；
8）儘可能在開始前明確調優工作的終止標準。
工具
自動化測試工具介紹LR篇
HPLoadRunner 是一種預測系統行為和性能的負載測試工具。通過以模擬上千萬用戶實施並發負載及實時性能監測的方式來確認和查找問題，LoadRunner 能夠對整個企業架構進行測試。通過使用LoadRunner ，企業能最大限度地縮短測試時間，最佳化性能和加速套用系統的發布周期。
loadrunner啟動界面
loadrunner啟動界面企業的網路套用環境都必須支持大量用戶，網路體系架構中含各類套用環境且由不同供應商提供軟體和硬體產品。難以預知的用戶負載和愈來愈複雜的套用環境使公司時時擔心會發生用戶回響速度過慢，系統崩潰等問題。這些都不可避免地導致公司收益的損失。LoadRunner 能讓企業保護自己的收入來源，無需購置額外硬體而最大限度地利用現有的IT 資源，並確保終端用戶在套用系統的各個環節中對其測試套用的質量，可靠性和可擴展性都有良好的評價。
輕鬆創建虛擬用戶
使用LoadRunner 的Virtual User Generator，您能很簡便地創立起系統負載。該引擎能夠生成虛擬用戶，以虛擬用戶的方式模擬真實用戶的業務操作行為。它先記錄下業務流程（如下訂單或機票預定），然後將其轉化為測試腳本。利用虛擬用戶，您可以在Windows ，UNIX 或Linux 機器上同時產生成千上萬個用戶訪問。所以LoadRunner能極大的減少負載測試所需的硬體和人力資源。另外，LoadRunner 的TurboLoad 專利技術能。
提供很高的適應性。TurboLoad 使您可以產生每天幾十萬名線上用戶和數以百萬計的點擊數的負載。
為了進一步確定您的Virtual user 能夠模擬真實用戶，您可利用LoadRunner 控制某些行為特性。例如，只需要點擊一下滑鼠，您就能輕易控制交易的數量，交易頻率，用戶的思考時間和連線速度等。
創建真實的負載
Virtual users 建立起後，您需要設定您的負載方案，業務流程組合和虛擬用戶數量。用LoadRunner 的Controller，您能很快組織起多用戶的測試方案。Controller 的Rendezvous 功能提供一個互動的環境，在其中您既能建立起持續且循環的負載，又能管理和驅動負載測試方案。
而且，您可以利用它的日程計畫服務來定義用戶在什麼時候訪問系統以產生負載。這樣，您就能將測試過程自動化。同樣您還可以用Controller 來限定您的負載方案，在這個方案中所有的用戶同時執行一個動作---如登入到一個庫存應用程式——---來模擬峰值負載的情況。另外，您還能監測系統架構中各個組件的性能——--- 包括伺服器，資料庫，網路設備等——---來幫助客戶決定系統的配置。
LoadRunner 通過它的AutoLoad 技術，為您提供更多的測試靈活性。使用AutoLoad ，您可以根據用戶人數事先設定測試目標，最佳化測試流程。例如，您的目標可以是確定您的套用系統承受的每秒點擊數或每秒的交易量。
最大化投資回報
所有Mercury Interactive 的產品和服務都是集成設計的，能完全相容地一起運作。由於它們具有相同的核心技術，來自於LoadRunner和ActiveTest TM 的測試腳本，在Mercury Interactive 的負載測試服務項目中，可以被重複用於性能監測。藉助Mercury Interactive的監測功能－－Topaz TM 和ActiveWatch TM ，測試腳本可重複使用從而平衡投資收益。更重要的是，您能為測試的前期部署和生產系統的監測提供一個完整的套用性能管理解決方案。
支持無線套用協定
隨著無線設備數量和種類的增多，您的測試計畫需要同時滿足傳統的基於瀏覽器的用戶和無線網際網路設備，如手機和PDA。LoadRunner 支持2 項最廣泛使用的協定：WAP和I-mode。此外，通過負載測試系統整體架構，LoadRunner 能讓您只需要通過記錄一次腳本，就可完全檢測上述這些無線網際網路系統。
支持Media Stream套用
LoadRunner 還能支持Media Stream套用。為了保證終端用戶得到良好的操作體驗和高質量Media Stream，您需要檢測您的Media Stream應用程式。使用LoadRunner ，您可以記錄和重放任何流行的多媒體數據流格式來診斷系統的性能問題，查找原由，分析數據的質量。
完整的企業套用環境的支持。
LoadRunner 支持廣泛的協定，可以測試各種IT 基礎架構。
性能測試工具PerformanceRunner
PerformanceRunner（簡稱PR）是性能測試軟體，通過模擬高並發的客戶端，通過協定和報文產生並發壓力給伺服器，測試整個系統的負載和壓力承受能力，實現壓力測試、性能測試、配置測試、峰值測試等。
功能如下：
● 錄製測試腳本
PR通過兼聽應用程式的協定和連線埠，錄製應用程式的協定和報文，創建測試腳本。PR採用java作為標準測試腳本，支持參數化、檢查點等功能。
● 關聯與session
對於應用程式，特別是B/S架構程式中的session，通過“關聯”來實現。用戶只需要點擊“關聯”的按鈕，PR會自動掃描測試腳本，設定關聯，實現有session的測試。
● 集合點
PR支持集合點，通過函式可以設定集合點。設定集合點能夠保證在一個時間點上的並發壓力達到預期的指標，使性能並發更真實可信。
● 產生並發壓力
性能腳本創建之後，通過創建項目，設定壓力模型，就可以產生壓力。PR能夠在單台機器上產生多達5000個並發的壓力。
● 套用場景支持
通過設定多項目腳本的壓力曲線，可以實現套用場景測試。
● 執行監控
在啟動性能測試之後，系統會按照設定的場景產生壓力。在執行過程中，需要觀察腳本執行的情況，被測試系統的性能指標情況。PR通過執行監控來查看這些信息。
● 性能分析報表
一次性能測試執行完成，會創建各種性能分析報表，包括cpu相關、吞吐率、並發數等。
系統要求：windows(32位/64位) 2000/xp/vista/2003/7/2008
問題
本文介紹了進行性能測試的幾種方法。取決於業務需求、開發周期和應用程式的生命周期，對於特定的企業，某些測試會比其他的更適合。但是，對於任何情況，在決定進行某一種測試前，都應該問自己一些基本問題。這些問題的答案將會決定哪種測試方法是最好的。
這些問題包括：
結果的可重複性需要有多高？
測試需要運行和重新運行幾次？
您處於開發周期的哪個階段？
您的業務需求是什麼？
您的用戶需求是什麼？
您希望生產中的系統在維護停機時間中可以持續多久？
在一個正常的業務日，預期的用戶負載是多少？
將這些問題的答案與上述性能測試類型相對照，應該就可以制定出測試應用程式的總體性能的完美計畫。
