イーロン・マスクの経済的可能性があり、非常に多くのプロジェクトが進行中であれば、プロジェクトを立ち上げて実行するための最良のツールを自由に使えるのも不思議ではありません。その 1 つは、人工知能言語モデルをトレーニングするためのシステムである「Colossus」です。大物曰く、本作においては世界で最も強力なシステムだという。
X の出版物を通じて数日前に確認されたように、そのシステムは約 122 日で完成し、約 100,000 枚の Nvidia H100 グラフィックス カードで構成されています。このシステムの目的は、xAI ツールに命を吹き込む言語モデルである GROK をトレーニングすることです。
X の AI トレーニング システムは非常に強力ですが、懸念も生じます
このシステムはこの数字では天才的だが、マスク氏はわずか数カ月でその能力を倍増させたいと考えている。これを行うために、さらに 50,000 個の Nvidia H200 チップが追加され、H100 GPU の AI 加速性能が約 2 倍になります。
このプロジェクトを立ち上げるのにどれくらいの費用がかかったのかは正式には明らかにされていないが、決して安くはなかった。 H100 チップの価格はそれぞれ 20,000 ドルから 90,000 ドルですが、マスク氏はこれらのユニットが 100,000 個入ったパックを 1 回の実行で入手できるということでかなりの得をしたようです。
これらのチップの価格だけを計算して非常に安くなると、マスク氏は自身の言葉を借りれば、「世界で最も強力な AI トレーニング システム」の構築に少なくとも約 20 億ドルを費やしたことになる。これには、Nvidia の 50,000 個の新しい H200 チップや、インフラストラクチャ、データ センター、機器などのすべてのコストは含まれていません。
ほんの数週間前、X プレミアム プランのメンバー限定でGROK-2がリリースされ、このモデルのトレーニングには 15,000 の H100 グラフが使用されました。すでにいくつかのベンチマークでは、GROK-2 はGPT-4oに次ぐ 2 位になっています。 GROK-3 の場合、この新しいシステムがトレーニングに使用されるため、状況は完全に変わります。そのため、数か月後には最も有能な人工知能の 1 つになったとしても驚かないでしょう。
最近の声明でマスク氏は、GROK-3が12月に到着すると断言した。彼らの新しい「Colossus」クラスターは、直接的な影響なしに構築されたわけではないことに注意する必要があります。テネシー州メンフィスにあるこのシステムは、 150 MW の電力を消費し、システムの冷却のために 1 日あたり約 400 万リットルの水がすでに割り当てられています。 AI システムが環境に与える大きな影響は、この種のテクノロジーに関する懸念の長いリストに加わります。