規模化法則（Scaling Law）也稱尺度定律，是被業界認為是大模型預訓練第一性原理，也是在機器學習領域，特別是對於大型語言模型而言，模型性能與其規模（如參數數量）、訓練數據集大小以及用於訓練的計算資源之間存在的一種可預測的關係。這種關係通常表現為隨著這些因素的增長，模型性能會按照一定的冪律進行改善。
基本介紹
- 外文名：Scaling Law
- 所屬學科：人工智慧
定義,原理,套用,意義,
定義
Scaling Law在中文中通常被翻譯為“縮放定律”或“規模定律”。這個術語在不同學科領域中有不同的套用，但在人工智慧和機器學習領域，它主要用來描述模型性能如何隨著模型大小、數據集大小和計算資源的增加而變化。
原理
規模化法則行為的關鍵因素如下：
- 模型大小：隨著模型中參數數量的增加，性能通常會按照冪律改善。
- 數據集大小：更大的訓練數據集通常帶來更好的性能，也遵循冪律關係。
- 計算：用於訓練的計算資源（浮點運算次數）與性能改善相關。
套用
- 自然語言處理（NLP）：在NLP領域，Scaling Law最初被觀察到並套用於語言模型。隨著模型大小的增加，訓練損失降低，模型生成性能提高，捕捉全局信息的能力增強。然而，最近的研究表明，在NLP領域，單純依靠增加模型規模和數據量來提升性能的方法可能已接近瓶頸。
- 多模態模型：在多模態模型領域，如圖像生成和視頻生成，Scaling Law同樣適用。隨著模型大小的增加，訓練損失降低，生成性能提高，捕捉全局信息的能力增強。例如，Vidu 1.5在多模態領域展現了Scaling Law的潛力，通過無微調和大一統的技術架構方案，實現了對複雜主體的精準控制。
意義
在大語言模型中，邊際效益遞減是指隨著模型規模的增大，每增加相同數量的參數或計算資源，獲得的性能提升逐漸減少的現象。這是Scaling Law中非常關鍵的一個方面，它對於理解和決策模型設計及其部署策略有著重要的指導意義。
