FLoRA(上海交通大學和上海AI Lab開發的框架)

FLoRA是上海交通大學和上海AI Lab開發的框架，使用Tucker分解最佳化多維張量的低秩微調，保留了原參數的拓撲關係和互動性。

基本介紹

• 外文名：FLoRA
• 開發方：上海交通大學、上海AI Lab

產品優勢

相比LoRA，FLoRA在參數量減少80%的情況下，仍能達到相同的效果，適用於包括Conv2D層和Linear層在內的多種層。FLoRA通過核張量模型維度間的關係，避免了傳統方法中因拆分參數而破壞結構的問題，提高了多維參數微調的效率和效果。