推理池

推理池。其面臨的核心挑戰是平均利用率不足30%，導致大量AI硬體算力閒置，Token成本高昂。為應對此挑戰，有解決方案通過AI Infra層算力調度技術來提升推理池的有效算力利用率。

定義與背景

推理池平均利用率不足30%，企業花費重金建設的AI硬體算力池有超過一半算力閒置，導致成本高昂但效率低下，如何有效降低Token成本成為核心挑戰。

面臨的問題與挑戰

推理池平均利用率不足30%。很多花費重金建設、動輒數萬、數十萬卡的AI硬體算力池，竟有超過一半以上的算力在“摸魚,吃空餉”。如何有效降低Token成本，成為最核心和迫切的挑戰。

技術原理與解決方案

華為雲推出了算力作業系統——柔性智算FlexNPU，通過AI Infra層算力調度技術提升推理池的有效算力利用率，從而以相同AI硬體算力投入提供更大的Token吞吐輸出。