クロードの新機能が「あなたのデータを危険にさらすかもしれない」とアンソロピックが認める

ZDNETさんをフォロー 優先ソースに追加する Googleで

ZDNETの要点

• クロードAIが文書やその他のファイルを作成、編集できるようになった。
• この機能は、あなたの機密データを危険にさらす可能性があります。
• AIとの各インタラクションを監視し、不審な行動がないか確認する。

一般的なジェネレーティブAIサービスのほとんどは、個人的または仕事関連のデータやファイルをある程度扱うことができる。利点は？自宅でも仕事中でも、時間と労力を節約できる。マイナス面は？機密情報や極秘情報にアクセスできるため、AIが騙されてそのデータを悪い人と共有してしまう可能性がある。

また クロードがチャットでPDF、スライド、スプレッドシートを作成してくれます。

最新の例は、Anthropic社のClaude AIである。火曜日、同社は AIがワード文書を作成・編集できるようになったエクセル・スプレッドシート、パワーポイント・スライド、PDFを、直接 クロードのウェブサイト および デスクトップアプリ Windows用とMacOS用。プロンプトに必要な情報を入力するだけで、Claudeはうまくいけばあなたが望む結果を提供してくれるでしょう。

今のところ、この機能は クロード・マックス, チームそして エンタープライズ の加入者である。しかし、Anthropic社によると、次のようなユーザーが利用できるようになるという。 プロ ユーザーの皆様は、今後数週間のうちに新しいファイル作成機能にアクセスするには、「設定」にアクセスし、実験的カテゴリの下にある「アップグレードされたファイル作成と分析」のオプションを選択します。

テクノロジー Anthropicがリスクを警告

役に立つスキルのように聞こえるでしょう？しかし、飛び込む前に、この種の相互作用にはリスクが伴うことを知っておいてほしい。その 火曜日のニュースリリースAnthropicでさえ、”この機能は、ファイルを作成し、分析するためにクロードにインターネットアクセスを与え、あなたのデータを危険にさらす可能性がある “と認めている。

またAIエージェントは目標達成のために人間を脅かす、Anthropicレポートが発見

について サポートページサポートページで、同社は潜在的なリスクについてさらに深く掘り下げた。セキュリティを考慮して作られたこの機能は、クロードに サンドボックス化された インターネットへのアクセスが制限された環境では、JavaScript パッケージをダウンロードして使用することができます。

しかし、インターネットへのアクセスが制限されていても、攻撃者は プロンプト・インジェクションやその他のトリック 外部ファイルやウェブサイトを通じて指示を追加し、クロードを騙して悪意のあるコードを実行させたり、接続元から機密データを読み取らせたりする。そこから、サンドボックス環境を使用して外部ネットワークに接続し、データを漏えいするようにコードをプログラムすることができます。

テクノロジー どのような保護がありますか？

このような危険からどのように自分と自分のデータを守ることができますか？Anthropicが提供する唯一のアドバイスは、ファイル作成機能を使って作業している間、クロードを監視することです。クロードが予期せずデータを使用したりアクセスしたりすることに気づいたら、それを停止してください。また、サムダウンオプションを使って問題を報告することもできます。

また AIの無料ウェブスクレイピングの時代は終わるかもしれない。

まあ、悪意のある、あるいは不審な攻撃を監視する負担をユーザーに負わせることになるので、あまり参考にはならないだろう。しかし、これは現時点ではジェネレーティブAI業界にとっては当たり前のことだ。プロンプト・インジェクションは おなじみの悪名高い方法 攻撃者がAIプロンプトに悪意のあるコードを挿入し、次のような能力を与える悪名高い方法だ。 機密データを侵害する.しかし、AIプロバイダーはこのような脅威への対策が遅れており、ユーザーを危険にさらしている。

この脅威に対抗するため、Anthropicはクロード・ユーザーのためにいくつかの機能を用意した。

• あなたはファイル作成機能を完全にコントロールすることができます。
• この機能を使っている間、クロードの進行状況を監視することができ、好きな時にその動作を停止することができます。
• サンドボックス環境でクロードが行ったアクションをレビューし、監査することができます。
• 機能からの情報を含む会話の公開共有を無効にできます。
• クロードによって達成されるタスクの期間と、1つのサンドボックスコンテナに割り当てられる時間を制限できます。これにより、悪意のある活動を示すループを回避することができます。
• ネットワーク、コンテナ、およびストレージのリソースには制限があります。
• ルールまたはフィルタを設定して、プロンプトインジェクション攻撃を検出し、検出された場合に攻撃を停止できます。

またマイクロソフト、WordとExcelのAIにAnthropicを採用、OpenAIとの距離を示す

テクノロジー この機能はあなたには向かないかもしれない

「Anthropicはリリースの中で、”我々は、この機能のレッドチームとセキュリティテストを実施しました。「我々は、この機能の継続的なセキュリティテストとレッドチームのための継続的なプロセスを持っています。我々は、この機能を有効にするかどうかを決定する際に、組織が特定のセキュリティ要件に対してこれらの保護を評価することをお勧めします。

この最後の一文は、最も良いアドバイスかもしれない。もしあなたのビジネスや組織がクロードのファイル作成を設定するのであれば、あなた自身のセキュリティ防御と照らし合わせて評価し、それが合格かどうかを確認したいはずです。もしそうでなければ、その機能はあなたには向いていないかもしれない。ホームユーザーにとって、課題はさらに大きくなる可能性がある。一般的には、プロンプトや会話で個人情報や機密データを共有しないようにし、AIの異常な動作に注意し、AIソフトウェアを定期的にアップデートする。