Dynamic Tanh（DyT）是一種動態雙曲正切函式，由劉壯、何愷明、Yann LeCun等人於2025年3月14日提出，用於替代Transformer中的歸一化層。它通過可學習的參數α和tanh函式實現縮放和極值抑制，無需計算激活統計信息。DyT可直接替換現有架構中的歸一化層，在視覺、語言、語音、DNA等多種Transformer模型上的測試表明，其性能與歸一化層相當或更優，且計算效率更高。後續研究如Derf在此基礎上進行了改進。
基本含義,發展歷程,基本特徵,套用,相關研究,
基本含義
Dynamic Tanh（DyT），全稱動態雙曲正切（Dynamic Tanh），是一種用於替代神經網路中歸一化層的逐元素操作。其核心定義為 DyT(x) = γ * tanh(αx) + β，或 DyT(x) = tanh(αx) * weight + bias。其中，α 是一個可學習的標量參數，用於動態縮放輸入；γ（或 weight）和 β（或 bias）是可學習的逐通道向量參數，用於將輸出調整回合適的尺度。
DyT的設計靈感來源於對層歸一化行為的觀察，即歸一化層在實踐中往往會產生類似tanh函式的S形輸入-輸出映射。DyT通過可學習的α參數自適應地調整輸入信號的縮放因子，並利用tanh函式的有界性來抑制激活值中的極端值。DyT模擬了歸一化層穩定訓練、促進收斂的核心功能，但無需計算輸入特徵的統計信息。
發展歷程
Dynamic Tanh (DyT) 由劉壯、何愷明、Yann LeCun等研究團隊於2025年03月提出。相關論文與新聞報導發布於2025年03月14日至15日。其設計靈感來源於對層歸一化（LayerNorm）行為的觀察：層歸一化在實踐中通常會產生類似tanh的S形輸入-輸出映射。該研究首次挑戰了深度學習神經網路中“歸一化層不可或缺”的傳統觀念。
2025年05月，進一步的研究驗證了DyT在多種Transformer架構（包括視覺、語言、語音、DNA序列建模等）中的有效性。其在大多數任務中能達到與歸一化層相當甚至更好的性能，並且提升了訓練和推理速度。
2025年11月，有研究將DyT套用於實時檢測Transformer（RT-DETR），以增強小目標檢測能力。在製藥外觀分類等特定任務中取得了性能提升。
2026年01月，由劉壯團隊主導的後續研究提出了名為Derf的改進方法。Derf與DyT類似，是一種不依賴統計量的逐點操作。在多個領域（如圖像分類、生成、語音、DNA建模、語言模型）的實驗中，其表現穩定優於DyT，並能持平或超越傳統歸一化層。
基本特徵
Dynamic Tanh(DyT)是一種替代神經網路中歸一化層的逐元素（element-wise）操作。其核心定義為：DyT(x) = γ * tanh(αx) + β。其中α是可學習的標量參數，負責縮放調整輸入；γ和β是可學習的逐通道（per-channel）矢量參數（即weight和bias），將輸出縮放到任意尺度。
DyT的實現非常簡潔，例如在PyTorch中僅需數行代碼即可完成其核心類定義。該定義通常包含、、三個可學習參數。
DyT無需計算激活值的統計信息（如均值、標準差）。這一特性減少了計算複雜度，其計算複雜度從傳統歸一化層的O(C)降低到了O(1)。
DyT通過可學習參數α動態縮放輸入，並利用tanh函式的有界性（S形曲線）來抑制激活值的極端值。這模擬了層歸一化（LayerNorm）的關鍵行為，從而有助於維持訓練穩定性。
對於非LLM模型，其性能對α0的初始化（通常在0.5-1.2之間）相對不敏感，默認值常設為0.5。但對於大語言模型（LLM），對α0進行精細調整可以帶來明顯的性能提升。通常更寬的網路需要更小的α0以實現最佳性能。
套用
Dynamic Tanh (DyT) 作為一種替代歸一化層的逐元素操作，其核心套用方式是直接替換現有Transformer架構中的層歸一化（LayerNorm）或RMSNorm層，而無需改變模型的其他部分或進行大量超參數調整。
在計算機視覺領域，DyT被套用於多種模型。在監督學習的ImageNet-1K圖像分類任務中，用於Vision Transformer (ViT) 和 ConvNeXt 模型，其性能略優於或與LayerNorm相當。在自監督學習模型如MAE和DINO中，DyT的表現與LayerNorm持平。在擴散模型Diffusion Transformer (DiT) 的圖像生成任務中，DyT在FID指標上取得了與LayerNorm相當或更好的性能。
在大語言模型領域，DyT被用於替換LLaMA模型中的RMSNorm。實驗表明，在所有測試的模型規模上，DyT的性能與RMSNorm相當，且訓練損失曲線高度一致。在LLM訓練中，對DyT的可學習參數α進行精細的初始化調整可以帶來明顯的性能提升。
在語音模型領域，在LibriSpeech數據集上預訓練的wav2vec 2.0Transformer模型中，DyT的表現與LayerNorm相當。
在DNA序列建模領域，在HyenaDNA和Caduceus等模型上進行預訓練，DyT保持了與原有歸一化層相當的性能。
在目標檢測領域，有研究將DyT集成到Real-Time Detection Transformer (RT-DETR) 中，替換原有的LayerNorm。在一項針對小目標檢測的任務中，DyT顯著提升了小目標檢測的平均精度（APsmall）和召回率（ARsmall）。
此外，後續研究提出了性能更優的替代方案，如Derf，在多個領域的性能穩定優於DyT。
相關研究
Derf是由劉壯團隊在2026年提出的，是DyT的後續改進工作，同樣是一種不依賴統計量的逐點層。在ImageNet圖像分類（ViT）、擴散模型（DiT）、語音識別（wav2vec 2.0）、DNA序列建模以及語言模型（GPT-2）等多個任務和領域中，Derf的性能均穩定優於DyT，甚至超過了傳統的歸一化層。雖然DyT在訓練集上的擬合能力弱於Derf和傳統歸一化層，但Derf在測試集上表現出了更好的泛化能力。
DyT被套用於增強RT-DETR模型，通過替換LayerNorm，在藥物外觀分類的小物體檢測任務中顯著提升了平均精度（APsmall）和召回率（ARsmall），驗證了DyT在特定視覺任務中的有效性。
