11,000人以上の労働者を解雇した後、メタ社は2月にブログ投稿で、同社はすでに独自の人工知能を持っていると説明した。LlaMaは学術研究や産業研究、市民社会、政府機関で使用するための非営利ライセンスで提供される予定である。同社によれば、この選択の理由は「AIの完全性を維持し、侵害を防ぐため」だという。 誰かが不正に使用した。」
現在、 このテクノロジーに関する情報は市場に到達する前に漏洩しており、メタはすでに非常に強力な競争に比べて不利な状況にあります。 OpenAI、 Google Bard 、 Bing with ChatGPTによる人気のChatGPTの後、大手テクノロジー企業は現在、人工知能という非常に強力な分野を開拓しており、成功を目指す競争にはすでに強力な基準が設けられています。
Meta は、研究者が LLama について学べるように無料でアクセスできるようにしたいと考えていましたが、インターフェースとその操作は公開されていました。 Metaは、申請した研究者にのみモデルのチェックポイントを公開すると述べたが、何者かがモデルを含むトレントを公開したようだ。
誰か (メタではない) がモデルをリークし、 GitHub プル リクエストを通じてリンクを発表するというアイデアを思いつきました。彼らは Reddit から、「帯域幅の節約は冗談です。メタの従業員はそれに気づいていないか、まだ対応方法を考えているのかもしれません。」と説明しています。流出した文書には、LLamaが質問に対して提供する回答の例が含まれています ユーザーが尋ねる。すべて英語です。
リークから分かるLLamaとはどのようなものなのか
LLaMA は、GPT-3 と同様のパフォーマンスで多くのタスクを解決する能力があることを示しています。本質的には、DeepMind の Chinchilla プロジェクト (70B) に似ています。ただし、リークされた文書で説明されているように、チンチラ、PaLM、GPT-3 とは異なり、Meta の人工知能は公開データを使用しているため、私たちの研究はオープンソースと互換性があります。
Meta の LLaMAのチェックポイントとトークナイザーは、一部の 4chan ユーザーのおかげで、トレント経由でダウンロードできるようになりました (さまざまな議論が見られるインターネット フォーラムですが、時には非常に物議を醸すこともあります)。メタは、アクセスするためにフォームに記入するように求めます。
既存の AI の多くは、非公開または文書化されていないデータ (例: 「書籍 – 2TB」または「ソーシャル メディアでの会話」) に依存しています。この文書には、アーキテクチャ (Vaswani et al.、2017) とLLama のトレーニング方法に導入された変更の概要が記載されています。これらのモデルにコード化されたバイアスと毒性の一部も暴露されています。モデルをトレーニングするためのソースには、Wikipedia、Github、英語の CommonCrawl、Arxiv などがあります。
この AI が20 の異なる言語のテキストでトレーニングされていることは以前からわかっていましたが、ラテン文字とキリル文字の言語に重点を置いていますが、LLaMa は一連の単語を入力として受け取り、次の単語を予測してテキストを再帰的に生成できます。 Meta 氏は、LLaMa は必要な電力とコンピューティング リソースが少ない小型モデルであると説明しました。
ここ数カ月に発売された他の人工知能と同様に、 LLaMa にはエラーや虚偽の情報がないわけではありません。そのため、偏見、有害なコメント、その他のナンセンスなどの問題を最小限に抑えるために現在開発中であると説明しています。