カジノサイト
甘い小さな嘘: 研究者たちは欺瞞を見破る方法を模索
見知らぬ人があなたに嘘をついたとしたら、どうやってわかりますか?彼らの会話パターンは変わるでしょうか？彼らの心拍数は加速するでしょうか?彼らはアイコンタクトを破るでしょうか？提供される詳細情報はさらに多くなりますか、それとも少なくなりますか?
嘘を見破るのは困難で、特に嘘をついているのが自分のよく知っている人物でない場合はなおさらです。捜査官は、セキュリティクリアランスプロセスの一環として身元調査インタビューを実施するときに、この立場になることがよくあります。彼らは多くの人物と会話し、学業経験から外国人との交際、反逆罪まで多岐にわたる一連の質問をする。その後、彼らが誠実であるかどうかを評価する必要があります。
これらの調査員は、対象者へのインタビューに多大な時間を費やし、どの回答がより多くの注目を集めるか、またはさらなる調査を行うかを決定します。これにより、申請者の機密保持許可を取得する能力が失われる可能性があります。このプロセスには約81 日。対面でのインタビューを行うには、かなりの人的資源が必要です。
この苦境を受けて、研究者グループは最近、誰かが嘘をついているかどうかを検出する上でテクノロジーがどのような役割を果たすことができるかを調査し、捜査員がフォローアップすべき領域を強調し、機密情報の漏洩手続きをより効率的にすることを検討しました。そして今月発表された彼らの最初の研究は有望なものです。
103 人の参加者からの調査結果に基づくと、欺瞞を検出するための最も正確なアプローチは、インタビュー対象者が一般的な単語を使用した回数をカウントする機械学習モデルです。
「この研究が示しているのは、これらのツールは管理された環境でも機能するということです」と、この研究の実施に参加した軍事社会学者でパーディーランド大学大学院教授のマレク・N・ポサード氏は言う。 「より大きなサンプルでトレーニングすると、より忠実度を高めることができます。これは、現場でさらにテストする必要がある『そこ』があることを示しています。」
研究
パフォーマンス説明責任評議会は、ランド研究所の国家安全保障研究部門を後援し、模擬捜査中に個人が虚偽であるか真実であるかを示す音声パターンを検出するための身元調査プロセスで機械学習やその他の面接手法をどのように使用できるかを評価しました。
研究者 Posard、Christian Johnson、Julia L. Melin、Emily Ellinger、Hillary Reininger は協力して、4 つの異なる欺瞞検出モデルをテストするシナリオを作成しました。彼らは 103 人の参加者を募集し、全員が 2013 年にエドワード スノーデンが国家安全保障局 (NSA) から機密情報を漏洩したという記事を読みました。
スノーデンの漏洩を利用したストーリーラインが使用されたのは、研究者らが「ストーリーをクリアランスプロセスに現実的であり、記憶に残るものにしたかったからです」とポサード氏は言う。
一部の参加者は事件に関するニュース報道を読み、他の参加者はメッセージに機密情報が含まれているというマークが付いたメモを読みました。その後、参加者は 2 つのグループに割り当てられました。1 つは読んだ内容について嘘をつくように言われたグループ (58 人の参加者、全体の 56 パーセント)、もう 1 つは真実を話すように言われたグループ (45 人の参加者、全体の 44 パーセント)。
その後、元FBI捜査官らがビデオ電話会議やテキストベースのチャットを通じて参加者にインタビューし、何が起こったのかを「完全に思い出す」こと、視覚的および聴覚的詳細を語ること、物語を読んでいるときにどう感じたかを共有すること、「一時的に思い出す質問」に答えること、漏れた可能性のある情報を開示することをインタビュー対象者に求めた。
研究者らはビデオインタビューの記録を、自動音声認識を使用するアマゾン ウェブ サービス (AWS) Transcribe にアップロードしました—深層学習プロセス—録音を音声からテキストに変換します。また、人々は書き起こしをレビューし、録音が正確であることを確認するために相互参照しました。テキスト チャットは Microsoft Word ドキュメントにまとめられ、AWS にアップロードされました。
研究者らはその後、記録を調べて複数の機械学習モデルを訓練し、正直な参加者が嘘つきを見分けることができるかどうかを確認した。含まれるモデル:
- 単語ベクトル:インタビュー対象者が一般的な単語を使用した回数を数えます。
- 言語的スタンス:スタンス ベクトルの使用 - 単語をカテゴリに分類する。
- メタデータ:話すリズム、一意の単語の平均長、6 文字以上の単語の割合など、音声のメタレベルの特徴を調査します。
- チャットとビデオのワード ベクトル:テキストベースのチャットとビデオを介して行われたインタビューのトランスクリプト内の単語ベクトルを調べています。
モデル分析
トランスクリプトとモデルを分析した結果、研究者らは、誰かが嘘をついているかどうかを見分ける最も正確な方法は単語ベクトル (76 パーセント) であり、僅差でチャットとビデオの単語ベクトル (72 パーセント)、言語的スタンス (64 パーセント)、メタデータ (63 パーセント) であることを発見しました。
「私たちのすべてのモデルにおいて、真実を語る人には自伝的発言（Iの使用）がはるかに一般的ですが、嘘をつく人はあなたという言葉で注意を自分からそらす可能性がはるかに高いようです」と研究者らは結論付けた。 「他の研究では、二人称代名詞は真実を語る者よりも欺瞞者に使用されるという逆の結果が得られたことに注意してください。」
言語的スタンスモデルを使用して記録を評価することになると、研究者らは、真実を語る人の上位のスタンスが自伝的発言、言語的言及、時間と日付、共通の権威、怒りであることを発見しました。
「比較すると、欺瞞的な状態にある人々で特定された上位のスタンスベクトルは、あなたへの言及/注意（例：見た目）、不確実性（例：たぶん）、後ろへの投影（例：慣れている）、主観的な認識（例：そう思われる）、および口頭の合図（例：あなたたち）であった」と研究者らは指摘した。 「不確実性のスタンスは、嘘をつくと面接対象者に精神的な負担がかかるという仮説の特に優れたテストです。[結果] 不確実性のスタンスは、真実を語る人よりも嘘をつく人によって使用されることが示されています。」
詐欺師と正直な個人は、メタデータ モデルを使用してトランスクリプトを分析した場合、統計的に有意な意味で違いはありませんでした。しかし研究者らは、嘘をつく人は複雑な言葉をあまり使わない傾向があることを発見した。これにより、彼らは真実を語る人よりも早く話すことができるようになるかもしれません。
研究者らは、チャットとビデオのトランスクリプトを分析したところ、嘘をつく人には「あなた」ベースの言葉遣いがより一般的である一方、真実を語る人には「私」ベースの言葉遣いがより一般的であることも発見した。ビデオとチャットベースのトランスクリプトを組み合わせることで、結果の精度も向上しました。
「これは、インタビュー環境でより多くのテキストを収集できるほど、このクラスのモデルのパフォーマンスが向上することを示唆しています」と研究者らは書いています。 「インタビュー対象者を長く往復のチャットに参加させることは、いくつかの質問をするよりも生産的です。さらに良いのは、さまざまなインタビュー方法のデータを組み合わせることで、1 つのメディアに存在する可能性のあるバイアスの潜在的な影響を軽減するのに役立ちます。」
偏見の特定
参加者が性別で均等に代表されたという限られた研究から得られた主な教訓の 1 つは、面接プロセスに組み込まれている可能性のある偏見であったとポサード氏は言います。参加者の 99% が自分の性別を記録し、面接官は全員男性でした。
「モデルを男性と女性の両方でトレーニングしたところ、検出欺瞞の精度が 76% であった」と研究者らは発見しました。 「参加者の性別を使用してモデルをトレーニングしたところ、男性の方が正確でした。」
モデルはまた、男性と女性は、真実を語るときに「私」をより頻繁に使用するなど、だまそうとするときに使用する言葉が異なることも発見しました。また、女性はインタビュー中、スノーデンを形容するのに「男性」を使う傾向が高かった。
「これは重要な違いです。なぜなら、被験者の性別が男性よりも女性の方が顕著であったことを示唆しているからです。」と研究者らは述べています。 「また、被験者または面接官の性別が面接の質問に対する被験者の反応に影響を与えた可能性があるかどうかという疑問も生じます。」
機密保持手続きのための身元調査を行う職員は主に男性であり、申請者の約 25% が女性であるため、これは特に重要です。潜在的な偏見に対処しない場合、またはチェックアンドバランスのためのシステムが整備されていない場合、調査および申請プロセスで個人が不平等に受け入れられるか拒否される可能性があります。
今後の推奨事項
この特定の研究には参加者が 103 人しかいなかったため、より多くの参加者グループでこの研究が再現され、研究者がより適切なデータを扱えるようになることを期待しているとポザール氏は述べています。
しかしながら、研究者らは限られた研究結果に基づいて、4つの調査結果と6つの推奨事項を発表した。その中には、人々がだまそうとするときに使用する言語信号があり、機械学習はこれらの信号の一部を検出できるため、連邦政府は単語ベクトルを使用したインタビューデータの機械学習モデルをテストして、だまそうとする試みを特定する必要があることが含まれています。
私たちは、セキュリティ クリアランス調査の面接部分で機械学習が欺瞞を検出できるかどうかの調査に着手しました。**ネタバレ注意** その可能性があります
— ランド株式会社 (@RANDCorporation)
また、彼らは、ビデオ面接とチャット面接での欺瞞の的中率が同様であるため、連邦政府が対面面接プロセスの代替としてビデオとチャットサービスを介して面接を実施することを検討していると提案した。研究者らはさらに、機械学習ツールを利用してパイロットデータの追加分析を実施することで既存の調査プロセスを強化するとともに、機械学習モデルを検証して人種、性別、年齢に基づく面接対象者の偏見を制限することを推奨しました。
しかし、今後の鍵となるのは、人間が常に最新情報を把握し、このプロセスに関与できるようにすることです。機械学習ツールは人間の研究者の仕事を補完するものであるべきですが、人間の研究者に取って代わるものではないとポサード氏は言います。
「古いシステムは廃棄されるべきではありません」と彼は付け加えた。代わりに、将来的にはインタビュー対象者がチャットやビデオ会議を使用して、機械学習ツールを使用して分析される一連の初期データを収集する可能性があります。人間の調査員は、潜在的な問題としてフラグが立てられたデータを追跡できます。
「チャットは基本的な情報を得るのに効果的かもしれません」とポサード氏は付け加えた。 「そして、そのチャットの一部をインタビュー自体と組み合わせると、潜在的に有望になる可能性があります。」