ChatGPT の開発者である OpenAI の CEO であるサム アルトマン氏は、数カ月前に MIT 主催の「Imagination in Action」イベントに参加しました…ChatGPT が業界の AI のフラッグシップとして注目されているこの時期に、全体で言及されたトピックのいくつかは確かに関連しています。
したがって、たとえば、彼は多くの人にとって驚くべき予測を立てています。つまり、大規模なテキスト生成 AI モデルのサイズ制限 (パラメータの数で測定) に近づいているということです…しかし、それは、それらのモデルが容量の上限に達したことを意味するわけではありません。 , まあ、他の方法で改善できます。
Altman 氏は、各 LLM のパラメータ数に関して業界のある種の執着を非難し、それを1990 年代から 2000 年代に起こった最高メガヘルツ数を達成するためのチップ メーカー間の競争と直接比較しました。
「当時は誰もが自分の大きな数字を強調しようとしていた。」しかし、今日では GHz は後回しになっており、アルトマン氏は、 AI モデルのパラメーターについても同様に行うべきだと考えています。なぜなら、どちらも品質の低い指標だからです。
「ほとんどの人は、自分の iPhone が何ギガヘルツなのか知りませんが、速度は速いです。私たちが本当に重視しているのは機能であり、[LLM] 容量の急速な増加に注力し続けることが重要だと思います。」
「そして、漸進的なパラメータ減衰を優先したり、複数のモデルを同時に動作させたりする理由があれば、私たちはそうするでしょう。私たちはパラメータ数を気にして自慰行為をするためにここにいるわけではありません。」
これは興味深い。なぜなら、LLM 市場を分析した最近リークされた Google の内部文書には、大規模な独自モデル (ChatGPT や Bard など) とそのオープンソースの代替モデルとの間にはギャップがあると述べられていたからである。
「驚くほど早く終了します。[…]彼らは比較的有能です。」なぜなら、「彼らは 100 ドルと 130 億のパラメータを使って、我々が [達成するのに] 1000 万ドルと 5400 億のパラメータを費やして物事を達成しているからです。」
マスクとその仲間たちからの有名な手紙
アルトマンの介入の終わりに向けて、マスクが当時推進していた高度なAIの開発の一時停止を求める書簡の物議を醸した問題が取り上げられます…そして多くの人がそれをOpenAIとそのChatGPTに対する直接攻撃とみなしました（すべてのアルトマンと彼の元パートナーであるマスクの間にはよく知られた悪い雰囲気があるため)。
「私は（その書簡の）アプローチのいくつかの部分に本当に同意します。私たちは、GPT-4のトレーニングを終了してから開始するまで、6か月以上を費やしてGPT-4を研究し、[…] GPT-4を外部監査にさらしました。 できるだけ軽減することが重要です。」
しかし、そこから矛盾はさらに大きくなり、「残念ながら、この書簡にはどこで線を引くべきかについてのより技術的なニュアンスが欠けていると思います。」したがって、この文書は、GPT-5 の開発と想定される手紙の最初のバージョンでの言及を具体的に取り上げています。
「我々はそれをトレーニングしていないし、しばらくトレーニングするつもりもないので、その意味では（GPT-5を参照するのは）愚かだった。しかし、我々はGPT-4以外にもあらゆる種類のことを行っていると思う」関連するセキュリティ問題が含まれており、それは書簡からは完全に省略されていました[…][この]提案がそれに対処する最善の方法であるとは思いません。」
アルトマン氏によれば、 ChatGPT のリスクに関する彼自身の発言（見出しを作ろうとしていると非難されている）は、セキュリティに対する心からの懸念によって動機付けられている。なぜなら、たとえそれが主導権を握ったとしても、そのテクノロジーについてオープンな対話を持つことが重要だからである。彼や他の会社幹部に「ばかげたこと」を言うように。