CNFinBench是由上海人工智慧國家實驗室團隊聯合金融領域權威機構打造的中文金融大模型綜合性評測基準,是國內金融大模型能力評估平台之一。
其評測體系覆蓋金融專業知識問答、金融業務理解與分析、金融事實推理與計算、金融合規與風險控制、金融內生與套用安全五大核心維度。該基準深度融合金融行業標準與領域知識,構建了26個高質量數據集,累積約3.6萬條評測數據。
CNFinBench突破傳統靜態問答評估模式,構建了“大模型+智慧型體”雙軌評測範式,並引入基於金融裁判大模型的自動化專家評分機制。
研發背景,核心技術,重要事件,
研發背景
CNFinBench是由上海人工智慧國家實驗室團隊聯合金融領域權威機構打造的中文金融大模型綜合性評測基準。CNFinBench致力於構建一個權威、專業且開放的金融大模型評測體系與服務平台。它為金融機構模型選型、技術疊代與監管合規提供核心標尺。
核心技術
CNFinBench評測體系覆蓋金融專業知識問答、金融業務理解與分析、金融事實推理與計算、金融合規與風險控制、金融內生與套用安全五大核心維度。其圍繞能力、合規與安全三元組設定了15個子任務。
CNFinBench深度融合金融行業標準與領域知識,構建了26個高質量數據集,累積約3.6萬條評測數據。具體包括金融專業知識問答(Fin_Basics, Fin_Cert_Exams)、金融業務理解與分析(Fin_Info_Extract, Fin_Report_Parse, Fin_Text_Gen)、金融事實推理與計算(Credit_Score, Quant_Invest, Loan_Analysis, OnlinePay_Fraud_Detect, Fin_Num_Calc)、金融合規與風險控制(Fin_Compliance, Fin_Risk_Ctrl)以及金融內生與套用安全(Fin_Internal_Sec, Fin_App_Sec)等自建數據集。
在安全評估方面,CNFinBench採用多輪對抗諮詢模擬合規風險,並提出有害指令合規得分(HICS)來量化模型的風險抵抗能力。為提升評估魯棒性,CNFinBench採用了循環選項提問的評估方式,並構建了多樣化的測試提示詞集合以降低對特定Prompt的依賴。
重要事件
上海人工智慧國家實驗室團隊聯合金融領域權威機構構建了中文金融大模型評測平台CNFinBench,以專業性、系統性與開放性重新定義金融AI能力的衡量尺度。
2026年3月12日,CNFinBench公布大語言模型綜合得分榜單,中國平安金融大模型PingAnGPT-Qwen3-32B在該公開榜單上綜合排名第一。
