int8

int8是一種8位有符號整數數據類型，其數值範圍通常為-128到127。在多種程式語言與框架中均有對應實現，例如在C#中其別名為sbyte，在C標準庫中定義為int8_t。

該數據類型在人工智慧模型最佳化領域有重要套用，具體表現為int8量化技術，即將模型中的浮點數（如float32）轉換為8位整數，旨在減少記憶體占用和提升計算速度。這項技術在處理大模型和部署於移動設備、嵌入式設備時受到關注。

基本介紹

• 外文名：int8
• 產品類型：數據類型

定義與基本特性

int8是一種8位有符號整數數據類型，其數值範圍通常為-128到127。在計算機記憶體中，int8通常占用1位元組（8位），採用二進制補碼形式表示數值，其中最高位（第7位）為符號位，其餘7位用於表示數值。

int8屬於值類型。所有值類型的整數都支持算術、位邏輯、比較和相等等運算符。每個int8類型通常具有MinValue和MaxValue屬性（或類似常量）來表示其取值範圍。

整數字面量可表示為十進制、十六進制或二進制形式。int8類型可與其他整數類型進行隱式或顯式轉換。如果目標類型可以存儲源類型的所有值，則轉換是隱式的；否則，需要使用強制轉換表達式執行顯式轉換。

在程式語言中的實現

在C#中，sbyte關鍵字與System.SByte類型等價，表示int8類型，範圍從-128到127。在託管代碼與非託管代碼互動進行類型封送時，C#的sbyte類型會映射到原生類型int8_t。在Visual Basic中，SByte數據類型保存8位帶符號整數，值的範圍為-128到127。可以通過為其分配十進制文本、十六進制文本、八進制文本或（從 Visual Basic 2017 開始）二進制文本來聲明和初始化SByte變數。從Visual Basic 2017開始，還可以使用下劃線字元_作為數字分隔設定以增強可讀性。SByte的默認值為0，其對應的.NET Framework類型是System.SByte結構。在MATLAB中，int8()函式用於將數據轉換為int8類型。在C語言中，或頭檔案提供了int8_t類型，以及配套的格式化宏和極值常量。在C 中，自C++11起，頭檔案定義了int8_t等固定寬度的整數類型，確保在不同平台上具有相同的大小（8位）和表示範圍（-128到127）。該頭檔案同樣定義了INT8_MIN和INT8_MAX等宏來表示其邊界值。在JScript（Visual Studio）中，sbyte類型存儲為一個有符號的位元組，可以表示-128至127範圍內的整數，其屬性和方法與.NET Framework中的SByte相同。在Python中，可通過NumPy庫來創建或轉換int8類型數組。使用NumPy的int8類型時，需注意數值溢出和截斷問題，因為超出-128到127範圍的數值會被自動處理。合理使用int8數組可以顯著減少記憶體占用並可能提升計算性能。在Go語言中，int8類型的大小為1位元組，在結構體中的對齊值也為1位元組。在C/C++中，如Visual Studio環境，可能存在非標準的__int8類型作為擴展。

int8量化技術

int8量化是一種將模型中的浮點數（如float32）參數和激活值轉換為8位整數（int8）的技術。其主要目的在於通過降低數據精度來減少模型的記憶體占用、提升計算速度並降低功耗。由於8位整數占用空間僅為32位浮點數的四分之一，該技術在資源受限的嵌入式或移動設備部署場景中具有優勢。

其核心原理主要包括數據縮放與取整兩個步驟。數據縮放需要確定縮放因子和零點偏移，以將原始浮點數據的範圍映射到int8的表示範圍內，int8的表示範圍通常為-128到127。常見的映射方法包括對稱量化和非對稱量化。隨後，將縮放後的浮點數據四捨五入到最接近的整數值，完成量化。

實施int8量化通常包含準備階段、模型校準、可選的量化感知訓練、量化模型評估以及部署等階段。準備階段需選擇量化框架與工具，例如，PyTorch框架提供了torch.quantization模組，支持訓練後動態量化、訓練後靜態量化和量化感知訓練(QAT)等多種方法，ncnn框架則對int8量化推理進行了深度最佳化，包括重構計算架構、支持多種量化策略（如KL、ACIQ、EasyQuant），以及進行端到端的int8量化推理融合。模型校準使用代表性數據集確定縮放因子與零點偏移。為減少精度損失，可進行量化感知訓練以微調模型。隨後需評估量化前後模型的精度與性能，最終將模型部署到目標硬體平台。

該技術能提升推理性能，因為int8運算速度通常遠快於浮點運算，理論上，int8量化可將模型尺寸減少到原來的四分之一，計算效率提升，理論加速比可達4倍。記憶體占用可降至原始float32模型的四分之一。功耗也得以降低。這些優勢使其在移動端和嵌入式AI套用中具有價值。

然而，int8量化也面臨挑戰。量化過程中的取整操作會引入精度損失。不同硬體平台對int8運算的支持與最佳化程度各異，存在兼容性問題。量化流程可能增加模型最佳化與部署的難度和成本，即複雜性增加。為應對精度損失，可採用不同的量化策略，如對稱量化適合高斯分布權重，非對稱量化可處理有偏分布；逐通道量化相比逐層量化可提升精度，但增加計算開銷。通常可通過精細的校準、量化感知訓練以及針對目標平台選擇合適工具鏈來應對這些挑戰。

性能與記憶體考量

int8數據類型在通用計算中，其運算通常需要擴展到32位進行計算，過程涉及數據擴展和截斷，指令相對複雜。現代CPU通常缺乏對8位運算的直接硬體支持，需用32位指令模擬，訪存對齊也會影響效率。在SIMD指令集中，int8支持最多元素但算術指令較少，主要支持加減和飽和運算，複雜運算需先擴展到int32。

使用int8數據類型可以顯著節省記憶體（僅為int16的一半），提高快取命中率，並使數據傳輸更高效。在某些情況下，運行時環境（如公共語言運行時）可以將int8變數緊密地打包在一起，進一步節省記憶體消耗。

通過合理的記憶體對齊可以最佳化int8數據的存儲效率，減少因對齊產生的記憶體填充。例如，在Go語言中，int8類型的大小和對齊值均為1位元組。但在結構體中，編譯器可能為了滿足後續欄位的對齊要求而在int8欄位後填充未使用的位元組，通過調整欄位順序可以最佳化記憶體布局。

在移動端AI推理等特定場景下，對int8運算元的深度最佳化能充分發揮硬體潛力。例如，MNN對ConvolutionDepthwise Int8量化運算元在ARM平台上的性能做了較大的最佳化。最佳化方法包括改變數據的排列方式以及使用Sdot指令。對於Int8類型的輸入數據，在ARM平台上將C4的數據排列方式改為C16的排列，以保證連續讀取16個Int8類型數據填滿向量暫存器。ARM V8.2平台提供的sdot指令能提高運算元性能，但使用前需重排數據。最佳化後，在華為Mate40 Pro上測試，Convolution Depthwise Int8量化運算元的耗時從最佳化前的4.46 ms降低到使用C16排列後的2.78 ms，再進一步使用sdot指令最佳化後降至1.75 ms。此類最佳化可以充分發揮硬體算力，使性能接近理論上限。

這類最佳化展示了通過結合算法、數據布局和硬體指令，能夠克服int8在通用計算中的一些性能瓶頸，實現高效的推理。

套用場景

int8數據類型及其量化技術套用於人工智慧與機器學習模型推理，通過將模型權重和激活值從高精度浮點數轉換為8位整數，減少記憶體占用和計算量，從而提升推理速度並降低功耗。記憶體占用減少為float32的四分之一。這在Stable Diffusion等大模型的部署中尤為關鍵。具體套用包括圖像分類、目標檢測、語音識別等任務，在大模型部署中，int8量化能顯著降低推理延遲和模型存儲空間。此外，PyTorch提供了訓練後靜態量化、量化感知訓練等多種int8量化實現方案。

int8數據類型及其量化技術適用於嵌入式系統與移動設備，其記憶體占用小、計算效率高的特性有助於降低功耗。這對於記憶體、算力和電池資源受限的移動和嵌入式設備尤為重要。這使得int8量化模型能夠高效部署於智慧型手機、物聯網設備、自動駕駛車載單元等邊緣計算場景，在滿足實時性要求的同時降低功耗。

在Python/NumPy等科學計算環境中，將大型數據集的數據類型轉換為int8可以大幅節省記憶體空間，提高數據處理效率。這得益於int8類型在記憶體中僅占用1位元組，且NumPy等庫對其提供了高效的原生支持。

通過標量量化技術，將高精度嵌入向量轉換為int8，可以在幾乎保持性能的同時，將存儲需求降低至原來的1/4，並顯著提升向量檢索速度。

在圖像處理領域，圖像的像素值通常可以用int8類型的數組進行存儲和處理。

在網路通信與數據交換中，使用int8等固定大小的整數類型有助於定義明確的數據結構，減少序列化後的數據包大小，從而提高網路傳輸效率。