NVIDIA、推論特化アクセラレータ「Groq 3 LPX」を量産開始——AI エージェントの応答を高速化

何が起きたか

NVIDIA は米国時間 8 月 24 日（日本時間 25 日）、半導体分野の学会 Hot Chips で、推論に特化した AI アクセラレータ「Groq 3 LPX」を本格量産に入れたと発表しました。Groq 3 LPX は、同社が 2025 年 12 月に約 200 億ドル（自社最大級のディール）で資産取得したスタートアップ Groq 由来の第一号チップで、学習向けの GPU とは別に「学習済みモデルを速く動かす（推論）」ことに絞って設計されています。データセンターでは、GPU を中核とする次世代基盤「Vera Rubin」のラックの隣に、256 基の推論チップを収めた専用ラックとして並べて使う構成が示されました。第三者機関 Artificial Analysis によるベンチマークでは、オープンモデル Gemma 4 31B を用いて 10 万トークンという長い文脈でも毎秒 3,400 トークンを出力し、対抗製品より高速だったとされています。

なぜ重要か

これまで AI 半導体の話題は、モデルを鍛える「学習」の性能が中心でした。しかし実際の業務で効いてくるのは、ユーザーの問いかけにどれだけ速く・安く答えを返せるかという「推論」の効率です。特に、複数の手順を自動でこなす AI エージェントは、一つの依頼の裏で何度もモデルを呼び出すため、1 回あたりの応答が速く安価であるほど実用性が跳ね上がります。NVIDIA が学習だけでなく推論の専用チップまで自社の陣営に取り込んだことは、AI を動かすコスト構造そのものを押し下げる方向に働き、利用料金の低下や応答の高速化として、いずれ末端の利用者にも波及していきます。

経営者の視点

自社が使う AI ツールの土台では、こうしたインフラの世代交代が静かに進んでいます。直接チップを買う必要はありませんが、「推論が速く・安くなる」流れは、AI サービスの月額料金や従量課金の引き下げ、これまで待たされていた処理の即時化という形で恩恵が届きます。契約の更新時には、同じ用途でより安いプランや高速なモデルが出ていないかを確認する習慣が、じわじわ効いてきます。加えて、複数手順を自動でこなすエージェント型のツールは応答速度が実用性を左右するため、試験導入では「正確さ」だけでなく「どれだけ待たされるか」も評価軸に入れておくとよいでしょう。