知性 人為的な 今日、それは皆の唇にあります。 インターネットにアクセスして、ChatGPT、Dall-E、Synthesia などのプラットフォームを使用するだけです。 この点に関して、人工知能を使用して非常に異なることを行う 10 の Web サイトに関する興味深い記事を準備しています。 そうは言っても、最も広く使用されている AI の例を見てみましょう。 それはどのように生まれたのですか？ 今日誰もが使用できるバージョンにたどり着いた方法 無料で？
今日、私たちの多くは ChatGPT を使用していますが、その背後にあるものと、そこに至るまでの経緯を誰もが知っているわけではありません。 80年代から今日までの年表はこちら
80 年代から始めましょう: リカレント ニューラル ネットワーク
ChatGPT は、OpenAI によって開発された非常に大規模な言語モデルである GPT-3 のバージョンです。 言語モデルは一種の ニューラルネットワーク 非常に多くのテキストで訓練されている人。 ニューラル ネットワークは、人間の脳のニューロンが互いに通信する方法に着想を得たソフトウェアです。 あらゆるテキストはさまざまな長さの一連の文字と単語で構成されているため、言語モデルには、このタイプのデータを理解できるタイプのニューラル ネットワークが必要です。 再帰型ニューラル ネットワーク (リカレントニューラルネットワーク) は 80 年代に発明され、単語のシーケンスを処理できますが、トレーニングが遅く、以前に学習した単語をシーケンスで忘れることがあります。 LSTM は数百語のテキスト文字列を処理できましたが、言語機能は制限されていました。 何ですか？ "の頭字語長期短期記憶"または"長期記憶」は、人工知能の分野で使用される人工ニューラル ネットワークです。
も参照してください。 Chatbot と AI によって生成されたコンテンツの互換性を Google が確認
2017: トランスフォーマーによる人工知能のブレークスルーの年
現在の世代の大規模言語モデルにつながったブレークスルーは、Google の研究者チームが トランスフォーマーは、各単語またはフレーズがシーケンス内のどこに出現するかを追跡できるニューラル ネットワークの一種です。 LSTM の最大の問題が克服されていることがお分かりいただけるでしょう。 しかし、彼らはどうやってそれをしたのですか？ 応用言語学の概念がテクノロジーに入ります。 単語の意味は、多くの場合、その前後にある他の単語の意味に依存します。 これらを追跡する 文脈情報、トランスフォーマーはより長いテキスト文字列を処理し、単語の意味をより正確に捉えることができます。 たとえば、「ホットドッグ」は、文章では非常に異なる意味を持ちます」ホットドッグよりハンバーガーの方が好き"と"ホットドッグはマスタードと一緒に食べるのが一番」。 本質的に、人間が把握し、機械が把握できないコンテキスト情報によって、違いを生み出すことが可能になりました。
2018-2019: GPT 開発の年
OpenAI の最初の XNUMX つの主要な言語モデルは、互いに数か月以内に登場しました。 同社は、多目的および汎用の AI を開発したいと考えており、大規模な言語モデルがこの目標に向けた重要なステップであると考えています。 このようにして、ソフトウェアは 自分でデータのパターンを見つける、何を見ているか、何を読んでいるかは知らされません。 機械学習におけるこれまでの成功の多くは、教師あり学習と注釈付きデータに依存していましたが、手動のデータ ラベル付けは時間がかかり、トレーニングに使用できるデータセットのサイズが制限されます。 それは 最大の旋風を巻き起こすGPT-2. 実際、OpenAI は、人々が GPT-2 を使用している可能性を非常に懸念していると述べています。」欺瞞的、歪んだ、または虐待的な言葉を生成するフルモデルをリリースしないだろう」。 しかし、それだけではありません。
GPT-2 が印象的だった場合、OpenAI の続編である GPT-3 は文字通り革命を起こしました。 その能力 人間らしいテキストを生成する 大きな飛躍を表しました。 GPT-3 は、質問への回答、ドキュメントの要約、さまざまなスタイルのストーリーの生成、英語、フランス語、スペイン語、日本語間の翻訳などを行うことができます。 しかし、それは人間の基本的な特性を欠いているため、依然として人間に取って代わることはできません。 私たちはそれについて深く話しました この記事.
ソース| マサチューセッツ工科大学（MIT）
