オンラインカジノ
リスクと報酬: Agentic AI を使用する際にセキュリティ リーダーが知っておくべきこと
覆面泥棒の一団が1億ドル以上相当の王冠を盗み、世界に衝撃を与えたルーブル美術館より昨年10月の白昼、7分足らずで出入りしました。
セキュリティ業界も衝撃を受けました。実践者たちが駆けつけた失敗を理解するそのおかげで、犯人たちはこのような大胆な強盗を実行することができました。事後の議論の中で、一部の安全保障指導者も「人工知能 (AI) があればこれを阻止できたかもしれない」と力強く宣言した。
で 、これらの電話は、AI を活用したセキュリティ テクノロジを販売する (したがって、そのテクノロジに既得権益を持っている) セキュリティ リーダーからのものです。しかし、彼らにも一理はあります。盗難の捜査中、フランス文化省の命令により、ビデオ監視が強盗を捉えていたものの、映像はリアルタイムで監視されていなかったことが判明した。博物館の制御室にはすべてのライブ フィードを同時に視聴できる十分なスクリーンがなかったため、博物館の制御室の警備員がその特定のライブ フィードに切り替えるまでに最大 8 分かかりました。警察は泥棒らが逃走してからわずか30秒後に現場に到着した。
「あの貴重な30秒間、もしカメラをもっと早く見ることができていれば、管制室職員からの警報がもう少し早くなり、窓侵入に対する抵抗時間が観測されたより長かっただけで済んだだろう」と文化総監部総監ノエル・コービン氏は語った。.
セキュリティ設定では、AI が複数のソースからの膨大な量のデータを同時にリアルタイムで処理できるため、非常に多くの映像を解析し、異常を特定し、同じ時間枠内で人間の目で見たり理解したりできる範囲を超えたパターンを検出することが可能になります。
AI テクノロジーの新しいバージョンであるエージェント AI は、AI エージェントを使用して意思決定を行い、独立して動作して複雑な一連のタスクを実行することで、この能力をさらに一歩進めることができます。エージェント型 AI を活用したセキュリティ システムは、潜在的なセキュリティ インシデントを発見するだけでなく、観察されたデータとその対応方法について判断を下すことにもつながります。
現在、ますます多くのセキュリティ テクノロジー ベンダーが、インシデントの自律的なトリアージ、誤報の解除、アクセス イベントの検証、さらには抑止と封じ込めの対応の開始と実行を目的とした、エージェントを活用したソリューションを提供しています。
「[AI] はビジネスのやり方を改善すると確信しています」と、Setracon Enterprise Security Risk Management Services の社長である Jeffrey Slotnick (CPP、PSP) 氏は Security Technology に語ります。
同時に、このテクノロジーはまだ初期段階にあり、実務者が管理する必要がある新しい種類のリスクをもたらします。責任とセキュリティの専門家は、組織はエージェント AI の潜在的なメリットを探る際に、テクノロジーの姿勢だけでなく、ガバナンスとリスク評価のプロセスを強化する必要があると述べています。
「エージェントは短期間でより多くのことを行えるようになるでしょう」と、法律およびコンサルティング会社マナットのパートナー兼プライバシーおよびデータセキュリティ担当リーダーのブランドン・ライリー氏は言う。 「つまり、驚異的なイノベーションと効率性を約束するスケーラビリティがありますが、それによって監視、透明性、インシデントのエスカレーションに大きな課題がもたらされます。」
セキュリティにおける AI の活用方法
セキュリティにおけるエージェント AI の可能性の核心は、以前は不可能だった方法でイベントをより適切に検出し、それに対処できるようにすることにあります。スリップアンドフォールの不正請求を検討してください。詐欺師は、企業がカメラ映像を保持する保持期間を意図的に待ってから、不正請求を提出することがよくあります。彼らの主張が遅れるということは、企業が防御として使用できるあらゆるセキュリティ映像が削除されたり、上書きされたりすることがよくあることを意味します。
すべてのビデオ映像に定期的に目を通し、滑落・転落事故の可能性がないかを確認し、万が一に備えてアーカイブすることを担当者に要求することは、信じられないほど時間とコストがかかります。しかし、エージェント AI システムは、この種のインシデントのすべての映像をリアルタイムで積極的に分析し、セキュリティ チームと施設チームにインシデントのフラグを立て、関連する映像を自動的にアーカイブして、将来の訴訟に備えて企業が確実に保存できるようにすることができます。
「エージェント AI を使用して、私たちが考えているのは、プロアクティブにできるかどうかということです。何か問題があった場合に、インシデントの概要を自動的に作成できますか? 自動的に抑止したり、映像をアーカイブしたりできるでしょうか?」エージェント AI ベースのセキュリティ ソリューションを提供する会社の 1 つである Verkada のエンジニアリング、AI、検索、および分析の責任者である Babak Behzad 氏は次のように述べています。
さて、侵入など、直ちに行動が必要なシナリオを想像してみてください。 3 年前、Verkada はビデオカメラのシーンをリアルタイムで分析する AI ベースの抑止システムを導入しました。システムが侵入者を発見すると、スピーカーを介して応答をトリガーし、敷地から立ち去るよう事前に録音された音声を再生します。昨年末にリリースされた別の AI を活用したエージェント システムは、これをさらに一歩進めたものです。侵入者が音声指示に従わない場合、Verkada の代表者らは、システムがシナリオをより深く分析し、次にとるべきステップについて判断を下し、それを自動的に実行できると述べています。次のステップは、その瞬間に合わせてカスタマイズされたメッセージをフォローアップすることを意味すると、Verkada の製品担当副社長の Andrew Bowers 氏は説明します。
たとえば、カスタマイズされたメッセージは次のようになります。「『やあ、黒いバックパックを背負ってスプレーペイントをしたあなた。もう閉店したと言いましたね。今すぐ帰ってください、そうでないとエスカレートします』とバウワーズ氏は言います。そこから、システムはアラームをトリガーしてセキュリティ対応を開始したり、法執行機関に通知したりするなど、より独立した手順を実行できます。
Agentic AI 導入のリスク
Agentic AI は、以前のタイプのリスクに加えて、軽減しないと重大な結果をもたらす可能性があるいくつかの固有のリスクを引き起こします。 セキュリティ専門家はモデルを確認する必要がありますs彼らは使用していますはその任務に適任であり、モデルに対するリスクを確実に管理していることを確認s 自分たち、セキュリティ業界での経歴を持つ弁護士でテクノロジー ガバナンス アドバイザーのブライアン アレン氏は言います。
リスクの 1 つは幻覚です。生成 AI システムが情報を捏造し、それを自信を持って事実として提示する場合です。エージェントAIその後、その悪い情報に基づいて行動し、問題が永続化する可能性があります。幻覚はこれらのシステムの仕組みに固有のものであり、完全に回避することはできないため、セキュリティ担当者は幻覚がいつ発生するかを特定し、管理するプロセスが必要だとアレン氏は説明します。 AI システムは、プロンプト インジェクション攻撃に対しても脆弱です。プロンプト インジェクション攻撃では、アクセスするデータに隠された悪意のある命令によってシステムが「汚染」され、その命令が実行されます。この攻撃により、エージェント AI システムが機密データを公開したり、許可されないまたは破壊的なアクションを実行したりする可能性があります。
しかし、おそらく、エージェント AI システムの最大かつ最も独特なリスクは、複合エラーの可能性です。 AI エージェントは複雑な複数ステップの一連のアクションを自律的に実行するため、1 つの不正確さまたはエラーが気づかれないままにしておくと指数関数的に蓄積する可能性があります。この脅威により、接続ポイントをマッピングし、障害が発生した場所を特定し、障害を停止するメカニズムを導入できることが重要になります。
Agentic AI は「決定を下し、その後、別の決定を下し、その後、別のアクションを実行し、さらに別のアクションを実行できます」と、Manatt のデジタルおよびテクノロジー ディレクターである Sam Tyner-Monroe 氏は述べています。 「そこで、可観測性の部分が本当に役に立ちます。それを分解して、プロセスのどの [時点] で失敗したかを知ることができるのです。」
可観測性は説明可能性、つまり何が起こっているかを見るだけでなく、エージェント システムが行う決定を理解する能力と密接に関連しています。タイナー・モンロー氏は、この理解には優れたロギング (システムによって実行されたイベントの不変のタイムスタンプ付き記録) と優れた技術的専門知識、そして強力なガバナンスが必要であると述べています。企業が AI システムをよりよく観察し、理解できるように設計されたツールの市場は成長していますが、この責任をテクノロジーに完全に引き渡すことはできません。アレン氏は、「人間を関与させる」というアイデアだけでは十分な効果が得られないと言う。企業は、人間がどこに関与するのか、その点が適切である理由、その人間が介入する必要がある場合の基準は何かについて、批判的に考える必要があります。
全体として、セキュリティ担当者がエージェント AI サービスの導入を検討している場合、その内部に何があるかを本当に理解する必要がある、とスロットニック氏は言います。 AIはどのようにして開発されたのでしょうか？どのようなデータを使用しているのでしょうか?どのように設計されたのですか？
彼はまた、どのような種類のデータが収集され、それがどのように使用されるかについて非常に確固たる指針があることを強調しました。これらのポリシーは、ガバナンスだけでなくパフォーマンスの正確性にとっても重要です。これらのシステムは不完全なデータに依存しており、」、欠陥があり、偏見の影響を受けやすくなっています。 顔認識システムは、白人に比べて黒人や肌の色が濃い人のエラー率が高く、誤認逮捕や投獄につながることが示されています。
「収集される情報が倫理的であることを確認する必要があります」とスロットニック氏は言います。 「そして、行われている決定が倫理的かつ道徳的であること。」
間違いの責任は誰にありますか?
エージェント AI は新しいテクノロジーであり、グレーゾーンもいくつかあるかもしれませんが、責任に関する長年の判例に簡単に対応すると、Security Technology に取材した専門家は説明しました。
は十分に確立されています。これは、他人に代わって行動する権限を与えられた個人または団体を指します。したがって、AI エージェントが自律的に動作するとしても、AI エージェントを導入する企業がその動作とエラーに対してほぼ確実に責任を負うことになります。
「多くの場合、AI エージェントによって行われた行動が、裁判所が他人の代理として行動する人物を評価するのと同じ枠組みで見られたり評価されたりしてはならない理由はありません」とライリー氏は言います。 「これがエージェント法の実際の仕組みです。権限の範囲、権限を与える当事者の知識、エージェントとやり取りする人が（権限を引き受けることに関して）どう思ったかについて質問します。」
カナダの行政裁判所は、AI がエージェント法にどのように該当するかをすでに評価しています。 2024 年、法廷メンバーはエア カナダに対し、航空会社のポリシーに反して顧客に提供された AI カスタマー サービス チャットボットの払い戻しを履行するよう命じました。法廷中、航空会社はチャットボットが不正確な情報を提供した際の「自らの行動に責任がある」と主張した。
法廷は AI を「ただ非難することはできない」と述べた、とアレン氏は言い、デューデリジェンスを確実に完了することは企業のリーダーと取締役会の間の二重責任であると付け加えた。
「I に点を付け、T に×印を付けましたか? そして、衛生状態は良好でしたか? 習慣は良好でしたか? ポリシーはありましたか?」アレンは言います。 「もしあなたがそんなことをしていなかったら、おそらくあなたは怠慢です。」
リスク ガバナンスのための強力なプロセスの作成
アレンは取締役会や最高監査責任者と協力してこれらの新しい AI テクノロジーに取り組んでいます。彼は、これまでのリスク管理の実践を大幅に改善する必要があることを目の当たりにしています。
「これは委員会に関するものではありません。AI テクノロジーの管理に関するものではありません。情報に基づいたリスクと報酬のバランスを組織に迅速に提供するためのプロセスを管理するものです」とアレン氏は言います。 「そして、私たちが見ている限り、世にあるガバナンス モデルや実践の多くは、この種の複雑な実践に適しているとは思えません。エージェント型 AI は、物事にさらなる挑戦をもたらすでしょう。」
この新たなテクノロジーでは、これまで以上に利害関係者間の統合が必要になるとアレン氏は付け加えた。法務顧問、プライバシー弁護士、人事部長、CIO、CISO、および AI モデルについて直接の知識を持つ担当者はすべて、リスク管理の実践に一貫して関与する必要があります。
ライリー氏もこれに同意し、委員会を設立するだけで本質的にリスクとガバナンスの実践を隅に追いやることは、企業が AI のガバナンス プログラムを作成し始めるときに犯す「最大の間違い」であると彼が見ていると述べています。「この環境はまさに一元的な責任を求めており、取締役会までエスカレーションできるチェーンが必要です。」と彼は言います。技術面において、タイナー・モンロー氏は、組織が取り組むべき 3 つの重要な実践方法は次のとおりであると述べています。
- 権限。エージェントには何をする権限がありますか?そしてその権限はどのように管理されているのでしょうか?
- 自治。エージェントはどの程度の自律性を持って行動する必要がありますか?どのようなツールを使用できますか?
- 可観測性。エージェントが何をしているかわかりますか?
スロットニックとアレンは、セキュリティが「遅れを取り戻している」一方で、すでにこのテクノロジーを使用している他の業界に目を向けることを勧めています。ある意味では、サイバーセキュリティでさえ物理的セキュリティよりも進んでいますが、同じ慣行や対策の多くが適用されます。
そこから、セキュリティリーダーは小さなことから始めることができます。企業が新たなテクノロジーや法的課題に対処できるよう支援する法律事務所、ZwillGen の AI 部門の法務ディレクター、ジェイ クマラサミー氏は、アクセスできるツールが非常に少なく、必要な権限がほとんどなく、機密性の高いデータを扱わないエージェントから始めることをお勧めします。
「これにより、チームがどのように連携するのか、誰が何に対して責任を負うのか、さまざまなリスクは何なのか、何か問題が起こった場合はどうなるのか、誰もが理解できるようになります。」と彼は説明します。 「問題が起こらないことを願っていますが、少なくともこの小規模な環境では、何か問題が発生した場合に、インシデント対応について多くのことを学ぶことができます。」
は、新興テクノロジー、デジタル文化、社会と文化に対するテクノロジーの影響に焦点を当てているテクノロジーライター兼編集者です。彼女の作品は次のような出版物に掲載されています。幸運、ベンチャービート、有線, OneZero、LeadDev、およびニューヨーク監視員。彼女はニューヨークに拠点を置いています。
