基本介紹
- 外文名：Noam Shazeer
- 國籍：美國
- 出生地：美國
- 職業：計算機科學家
- 主要成就：Transformer架構核心發明者、共同發表《Attention Is All You Need》論文、創立Character.AI
- 出生日期：1974年
個人經歷,主要成就,主要作品,榮譽獎項,個人生活,軼事趣聞,相關作品,
個人經歷
2000年，Shazeer加入谷歌，成為早期員工（第200號員工）。他曾在谷歌擔任首席軟體工程師，負責過早期廣告系統，並推動了谷歌搜尋拼寫校正功能的改進。
2017年，Shazeer作為核心作者之一參與了劃時代論文《Attention Is All You Need》的發表，該論文提出了Transformer架構。他重寫了項目的代碼，顯著提升了系統性能，其貢獻被團隊成員高度評價。
2021年，因對谷歌的官僚主義和風險規避（如其開發的聊天機器人發布受阻）感到失望，Shazeer離開谷歌。同年，他與前同事Daniel De Freitas共同創立了AI聊天機器人公司Character.AI，並擔任執行長（CEO）。
2024年8月，谷歌以約25-27億美元的價格收購了Character.AI的核心團隊。Shazeer與De Freitas及約30名研究人員重返谷歌，加入DeepMind。回歸後，Shazeer被任命為Gemini AI項目的聯合技術負責人，與Jeff Dean、Oriol Vinyals等人合作。
主要成就
Noam Shazeer是Transformer架構的核心發明者之一。2017年，他作為八位作者之一，共同發表了論文《Attention Is All You Need》。在項目中，他根據團隊的基本想法重新編寫了整個項目的代碼實現，將系統性能提升到了新的水平，其貢獻被團隊成員稱為施展“魔法”。
在谷歌工作期間，Shazeer在多個關鍵產品和技術領域做出了貢獻。他於2001年參與改進並上線了谷歌搜尋的拼寫糾正功能。他開發了谷歌早期的廣告系統PHIL，並於2005年成為廣告文本排名團隊的技術主管。此外，他創建了谷歌第一個用於垃圾郵件檢測的機器學習系統（2006年），並開發了用於對新聞文章進行排名的機器學習系統（2008年）。
Shazeer提出或共同提出了多項被廣泛採用的技術。他聯合提出了Adafactor最佳化器，提出了被廣泛套用於各種Transformer模型中的Gated Linear Unit (GLU)，以及Multi Query Attention (MQA) 機制。此外，他深度參與了混合專家模型（Mixture of Experts,MoE）的研究，是《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》論文的作者之一，並參與了後續GShard、Switch Transformers等MoE模型的研究工作。在語言模型領域，他曾領導開發了谷歌的LaMDA對話模型。
主要作品
Noam Shazeer是2017年發表的Transformer架構論文《Attention Is All You Need》的八位作者之一。同年，Noam Shazeer作為第一作者與Geoffrey Hinton、Jeff Dean等人合作發表了《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》。
Noam Shazeer還曾聯合提出Adafactor最佳化器。他提出了用於提升模型推理效率的注意力機制變體Multi Query Attention (MQA)。他還提出了被廣泛套用於各種Transformer模型中的Gated Linear Layer (GLU)。
榮譽獎項
1994年，Noam Shazeer參加國際數學奧林匹克競賽（IMO）並取得滿分，1994年、1996年，分別在普特南數學競賽中排名第6名、第10名。2023年，Noam Shazeer被《時代》周刊評為“全球百大AI人物”之一。
個人生活
Noam Shazeer童年時期即展現出數學天賦，3歲便開始自學算術，並於1994年參加國際數學奧林匹克競賽（IMO）並獲得滿分。他於杜克大學學習數學和計算機科學，並曾前往加州大學伯克利分校攻讀研究生（未完成學業）。在職業選擇上，Noam Shazeer最初加入谷歌的動機是“撈一筆就跑”，但被谷歌的發展前景和待解決的問題所吸引而長期留下，並在此結識了導師Jeff Dean。此外，在OpenAI的早期階段，他曾擔任顧問，並極力推薦Sam Altman來擔任OpenAI的CEO。
軼事趣聞
Noam Shazeer在Transformer論文《Attention Is All You Need》的初稿作者排序中名列第一，但他本人表示意外，並開玩笑說“我可不是這么想的”，如果他當初知道這篇論文會那么出名的話，他“可能會對作者排序更加介意”。
Shazeer以對硬體底層的好奇心著稱，在谷歌的Mesh-TensorFlow項目中，他曾深入追問TPU的環形網路結構等細節，例如：“你們的晶片居然是環形網路結構？那數據包在裡面怎么跑？怎么映射到神經網路的張量計算里？”這種好奇心最終促成了谷歌在軟硬體協同設計上的諸多突破。
Shazeer對機器學習訓練中的Bug持有獨特看法，他認為由於模型對噪音的容忍度，某些Bug可能會產生未知的正面效果，為調試提供了新的視角。
Shazeer推崇谷歌“微型廚房區域”等促進隨機交流的環境，認為這種自由閒聊的空間有助於碰撞想法。
相關作品
2025年，在矽谷舉行的Hot Chips 2025大會上，Noam Shazeer發表了題為《下一階段AI的預測》的主題演講。
