最近、「ハイコンテキスト言語モデル」または LLM (チャットボットの背後にある頭脳) が、プログラムされていない予期せぬ能力を示し始めています…しかし心配しないでください、私たちは「スカイネットのシナリオ」に直面しているわけではありません。 (私たちが知る限り): 今のところ、彼らは大量の情報を管理する能力にのみ関係しています。
インターネット上で検索エンジンを使用していると想像してください。単語を入力すると、検索エンジンは数百万の選択肢の中から必要なものをミリ秒単位で正確に見つけ出します。
これらの AI モデルには、同様の方法で機能する「検索ヘッド」という内部要素があり、大きなテキスト ブロックにまたがる関連情報を見つけて使用するのに役立ちます。
アクティブ化または非アクティブ化すると、必要な情報にアクセスできなくなり、モデルが「幻覚」を起こしたり、根拠のない応答を生成したりする可能性があります。
そうですね、テキスト生成 AI モデルには「干し草の山の中の針」と呼ばれる演習があり、AI は、回答が人工的に挿入されたコンテキストを使用して質問に答えることを目的としています。このテストは、大きなコンテキスト ウィンドウに直面した場合の AI の堅牢性を保証するように設計されています。
この演習についてはすでに話しましたが、 クロード-3 が同じ演習を受けていることを感知できたため、彼が自己認識していると考えた人はどれくらいいたでしょうか。
「ブラックボックス」
重要なのは、これらのヘッドが普遍的であるだけでなく ( トランスフォーマーに基づいて検討されたすべてのモデルに存在する)、本質的なものであることを発見した最近発表された科学的研究であるということです。モデルの設計者が明示的にコーディングする必要はありません。
さらに良いことに、その存在は現代の AI モデルの複雑さの証拠です。人間の場合と同様、学習によって脳の特定の領域が意図せず特殊化される可能性があるため、言語モデルも機能を向上させる「特殊化」を開発しているようです。作成者からの直接の介入。専門家のアハメド・ハーレド氏は次のように述べています。
「ニューラル アーキテクチャの特定の部分がどのように自律的に特殊化するかを観察するのは興味深いことです。これは、ソフトウェア システムがどのように機能するかについての従来の理解に疑問を投げかけます。」
この元素の発見は、人工知能の将来に重大な影響を及ぼします。
- これは、明示的なプログラミングを行わずに実現できる機能があることを示しており、これはソフトウェア設計の従来の概念に挑戦するアイデアです。
- AI モデルを最適化して幻覚を軽減し、推論を改善する新しい方法を提案します。
ハイコンテキスト言語モデルの時代は始まったばかりであり、このような発見は、これらの複雑なシステムを探索し理解するための新たな道を開きます。これらの発見は、機械が単に「話す」か「書く」だけではないことを保証する鍵であると信じている人もいます。むしろ、「理解」と「推論」の精度がますます高まっています。
経由 | @emollick