顔認識ソフトウェアは公正ですか?米国国立標準技術研究所 (NIST) は最近、99 人の開発者からの 189 のソフトウェア アルゴリズムを評価し、ほとんどのプログラムが性別、年齢、人種的背景などの人口統計に応じて異なるレベルの精度を示すことを発見しました。

NIST の報告書、(NISTIR 8280) は、進行中の顔認識研究の一環として 2019 年末にリリースされました。プログラムのこれまでのセグメントでは、顔認識の精度と速度、顔画像の品質評価、顔のモーフィングやディープ フェイク テクノロジーの検出能力の進歩が測定されてきました。

人口統計に焦点を当てたこの研究では、2 つの異なるタスクでアルゴリズムをテストしました。1 つは、写真がデータベース内の同じ人物の別の写真と一致することを確認すること (「1 対 1」マッチングとして知られ、スマートフォンのロック解除などの検証に最も一般的に使用されます) と、写真に写っている人物に一致するものがデータベース内にあるかどうかを判断すること (「1 対多」マッチング。関心のある人物を検出するために使用できます)。

NIST チームはアルゴリズムの偽陽性率と偽陰性率も測定しました。誤検知の場合、アルゴリズムは、2 人の異なる人物の写真に同一人物が写っていると判断しました。偽陰性の場合、アルゴリズムは 2 枚の写真に同じ人物が写っていることを正しく検出できませんでした。

NIST は過去に顔認識アルゴリズムの精度を評価しましたが、このレポートの主な違いの 1 つは、特に 1 対多のマッチングのテストにおいて、人口統計的要素が追加されたことでした。

アルゴリズムをテストするために、米国国務省、国土安全保障省、および FBI が提供したデータベースから、849 万人の人々の 1,827 万枚の画像を含む 4 つの写真コレクションが抽出されました。写真には、被写体の性別、年齢、人種や出身国などのメタデータ情報が含まれており、NIST チームはこれらのタグ間のエラー率を判断することができました。

「人口統計レポートは、人口統計グループ間のパフォーマンスの違いを調べて、偽陽性率または偽陰性率が変化したかどうかを確認します」と、NIST の画像グループ マネージャーの Craig Watson 氏は言います。 「調査結果は、さまざまなアルゴリズムが異なる人口統計グループ間で異なるエラー率を持っていることを示しました。」

この研究では、アルゴリズム全体でいくつかの広範な発見が明らかになりました。1 対 1 の照合では、アジア系アメリカ人とアフリカ系アメリカ人の顔の偽陽性率が白人の画像よりも高いことがわかりました。アメリカが開発したアルゴリズムの中では、アジア人、アフリカ系アメリカ人、先住民グループの 1 対 1 マッチングで同様の誤検知率が見られました。アメリカ先住民の人口統計では誤検知率が最も高かった。

しかし、アジア諸国で開発されたアルゴリズムでは、アジア人の顔と白人の顔の間で偽陽性率に大きな差はありませんでした。

1 対多のマッチングの場合、NIST チームはアフリカ系アメリカ人女性の偽陽性率が他のどのグループよりも高いことを発見しました。

「結果には冤罪が含まれる可能性があるため、1対多の照合における誤検知の差は特に重要である」と報告書は述べている。全体として、偽陽性率は男性よりも女性の方が高かったが、その影響は人種による誤り率の差よりも小さかった。

顔認識アルゴリズムのエラー率は、アプリケーションに応じて異なる重みを持ちます、とワトソン氏は言います。アクセス制御の状況では、ドアに立っている人が資格情報と一致することを検出できないという偽陰性の影響は、多くの場合、単なる迷惑か時間の無駄です。その人はすぐには入場できず、再試行するか、バッジなどの別の資格情報を使用する必要があります。ただし、法執行機関や捜査の用途では、監視リストに載っている人物を特定しないと多大な影響を及ぼす可能性があります。

同様に、監視リストに載っている人物に似ている可能性のある無実の人に誤って警告する誤検知も、冤罪や不当投獄の可能性を通じて長期的な影響を与える可能性があります。

ユースケースで顔認識アルゴリズムを使用するかどうかを決定する際、エンドユーザーは失敗のコストを考慮する必要があるとワトソン氏は言います。

セキュリティ技術の選択肢を比較検討する際に考慮すべきもう一つのことは状況です、とコロンビア大学ソーシャルワークスクールの准教授であり、有色人種の若者がオフラインとオンラインで暴力にどのように対処するかを研究する研究イニシアティブであるSAFELabのディレクターであるデズモンド・パットン氏は言います。

パットンは画像ベースの分析を含むプロジェクトに取り組んできました。彼は、さまざまな場所で行動がどのように変化するか、さまざまな状況で衣服や手のジェスチャーが何を意味するかなどのコンテキストを検出するアルゴリズムには非常に大きな課題があると述べています。

たとえば、ギャングの看板を点滅させている若者の写真は、必ずしもその人物がギャングのメンバーであることを意味するとは限らない、と彼は言います。むしろ、状況の文脈（その場にいる他の人々、地理的地域）によっては、対象者が自分自身を守るため、またはコミュニティへの帰属を示すための単なる方法である可能性があります。

「多くの場合、目標は最も正確なシステムを持つことですが、最も正確なシステムは、支援を目的としたコミュニティに対して兵器化される可能性もあります。」とパットン氏は言います。

より公平なテクノロジーを展開するには、セキュリティ責任者には、さまざまなシナリオや可能性に対処するために、さまざまな民族や学歴、あるいはツールの使用によって影響を受ける可能性のある個人からなる多様なチームが必要だとパットン氏は言います。

「テーブルでこれらの問題の反対側に立つ人々には、あらゆる課題を予期してもらいたいのです。」と彼は説明します。 「しかし、これらのツールが効果的である可能性があるさまざまな方法についても警告します。」

たとえば、暴力の可能性を警告する兆候など、特定の危険信号を検出する分析は、単にリスクを軽減するだけでなく、対象者を助けるためのカウンセリングや支援を提供するきっかけとして使用できる可能性があると彼は付け加えています。

「何らかの理由で、私たちはこれらのシステムを盲目的に信頼しますが、何度も何度もそれらを現実の世界に適用すると、すぐに限界があることに気づきます。私たちはこれらのシステムをその能力をはるかに超えて信頼しているのです。」とパットン氏は付け加えます。

NIST の調査では、すべてのアルゴリズムで人口統計全体でこのような高い誤検知率が得られたわけではありません。レポートでは、アルゴリズムが異なればパフォーマンスも異なることが強調されました。ワトソン氏が述べているように、顔認識ツールを合理的に最適に適用するには、エンド ユーザーは「ユースケースを知り、アルゴリズムを知り、データを知る必要があります。これら 3 つすべてが意思決定において重要です。」

NIST 報告書の作成者も彼の意見に同調し、「アルゴリズム固有の変動を考慮すると、そのアルゴリズムを知ることはシステム所有者の義務です。NIST やその他の場所から公開されているテスト データが所有者に情報を提供することはできますが、通常は、操作画像データに関する操作アルゴリズムの精度を具体的に測定することが有益であり、おそらくバイオメトリクス テスト ラボを利用して支援することになります。」