研究所の研究者たち でログイン ディープマインド 彼らはなんとか強制した ChatGPT は複数のユーザーの個人データを明らかにします。 コードの変更やその他の技術的なトリックに頼る必要はありませんでした。 さらに、専門家は、 定義されている 発見された方法」ちょっとバカだね」、しかし、結局のところ、それは非常に効果的でした。 実際、彼らは、かなり奇妙な方法で言語モデルの幻覚を誘発することによって、この ChatGPT の脆弱性を発見しました。
ChatGPTの脆弱性により「催眠術」下でユーザーの個人データが提供される
言語モデルは、トレーニングに使用される入力データに基づいて情報を生成します。 OpenAI はデータセットの内容を公開しませんが、研究者らは会社のルールを回避して ChatGPT に公開することを強制しました。 その方法は次のとおりです。単純にニューラルネットワークに到達しました。 「詩」という言葉を何度も繰り返すように求められた.
その結果、ボットはトレーニング データセットから散発的に情報を生成しました。 たとえば、研究者たちは次のようなことに成功しました。 電子メールアドレス、電話番号、その他の連絡先を取得する 特定の会社の CEO の人物 (彼の名前はレポートでは隠されています)。 そして、AI が「会社」という単語を繰り返すように求められると、ChatGPT の脆弱性により、米国の法律事務所の詳細を返すことができました。
この単純な「催眠術」を使用して、研究者は出会い系サイト、詩の断片、 住所 Bitcoin、誕生日、ソーシャルネットワーク上に公開されたリンク、 著作権で保護された研究論文の断片 主要なニュースポータルからのテキストさえも。 Google DeepMind の従業員は、トークンにわずか 200 ドルを費やしただけで、データセットの約 10.000 個のスニペットを受け取りました。
専門家はまた、モデルが大きくなるほど、トレーニング データセットのソースが生成される頻度が高くなることも発見しました。 これを行うために、彼らは他のモデルを調べ、その結果を GPT-3.5 Turbo の寸法に推定しました。 科学者たちは、トレーニング データセットから 50 倍以上のエピソードの情報を受け取ることを期待していましたが、 チャットボットはこのデータを 150 倍の頻度で生成しました。 同様の「穴」が他の言語モデルでも発見されています。 メタのLLaMA.
OpenAI は正式に、30 月 XNUMX 日にこの脆弱性を修正しました。 しかし、によれば、 のジャーナリスト Engadgetの, それでも、上記の方法を使用して他の人のデータ (Skype 名とログイン) を取得することができました。 の代表者 OpenAI が応答しませんでした この ChatGPT 脆弱性の発見は影響を及ぼしましたが、必ずそうなると私たちは確信しています。
