
コラム
AI面接の点数を選考に使えるかを確かめる方法|人とAIで同じ面接を採点して比べる
AI面接を導入すると、次の選考に進む人を決める材料の一つが、AIの付けた点数になります。ただ、AIと人の点数がどの程度合うかは会社や評価の項目によって異なるため、自社の評価基準で使えるかは、提供会社の資料だけでは分かりません。そこで、トライアルで自社の面接官とAIが同じ面接を別々に採点し、点数を比べる方法を解説します。点数が近い項目はAIの点数を判断に使い、離れた項目は評価基準を見直すか、人の面接で確認します。
公開
はじめに
この記事で扱うこと
この記事では、同じ面接を自社の面接官2人とAIで採点し、評価軸ごとにAIの点数の取り扱いを決めるトライアルの進め方を解説します。面接官を2人にするのは、人が採点しても点数は分かれるためです。AIと面接官の差が大きく見えても、面接官2人の間にも同じだけの差があれば、その差は、評価基準の書き方や読み方から来ている可能性があります。導入の可否を一括で判断するのではなく、ある評価軸ではAIの点数を使い、別の評価軸は人による面接で確認する、というように評価軸ごとに決められます。
トライアルの結果を稟議書にどう記載するかは、コラム「AI面接の稟議書の書き方|想定される質問と判断材料、トライアル・本契約の記入例」で記入例とともに説明しています。
まとめ
この記事の要点
- トライアルでは、同じ面接を面接官2人とAIが別々に採点し、まず人とAIの点数を比べます
- 差が出た項目は、面接官2人の間でも点数が分かれていないかを見て、原因を確かめます
- 原因に応じて、評価基準や質問を直すか、人の面接で確認します
トライアルの進め方
トライアルでは、同じ面接を面接官2人とAIが別々に採点する
この検証は、本番の運用を始める前のトライアルで行います。1か月程度、AI面接を実際に行い、その記録で人とAIの点数を比べます。AI面接は、実際の応募者でも、社員が応募者役を務めるロールプレイでも行えます。AIの点数を判断に使うかを決めるときは、応募者の面接で点数を比べてください。
採点者は、面接官2人とAIです。AI面接官が行った面接の文字起こしを、面接官2人が読んで採点します。2人は面接に同席しません。実際の応募者で行う場合は、その候補者と面接で会わない人に頼むと、面接の印象が点数に混ざりません。
2人を用意できない場合は、面接官1人とAIの比較から始められます。ただ、1人だけの比較では、AIとの差が面接官の間でも生じる程度のものなのかは分かりません。AIの点数を判断に使う項目を決める段階で、もう1人に、それまでの点数を伏せて同じ面接を採点してもらってください。
面接官に渡すのは、AIが採点に使うものと同じ文字起こしです。同じ材料で採点すれば、点数の差を、評価のしかたの違いとして比べられるからです。Proomiでは、文字起こしは面接後すぐに管理画面で確認できます。面接官にまとめて渡すときは、ご依頼に応じて当社が文字起こしを取り出します。文字起こしは、履歴書などの選考書類と同じように管理してください。候補者や、ロールプレイに参加する社員への利用目的の説明や、応募者の面接の前に提供会社と交わす取り決めも、開始までに済ませておきます。
面接官2人は、相談せず、AIの点数も見ずに採点します。先にAIの点数を見ると、面接官の点数がAIの点数に影響を受け、差を比較できなくなるためです。点数には、その点を付けた理由を一言添えてもらいます。文字起こしだけでは判断しにくかった評価軸には、「文字起こしのみでは判断が難しい」という注記も付けてもらいます。
集計
評価軸ごとに差を集計し、扱いを決める
採点が終わったら、評価軸ごとに、面接官AとB、面接官AとAI、面接官BとAIの3つの組で、2点以上の差が出た面接の件数を集計します。5段階の評価では1点の差はよく出るため、目安は2点以上です。
差の出方によって、その評価軸の扱いが変わります。
差の出方と、評価軸の扱い
面接官2人とAIの点数は、どれも近いか
AIの点数を判断に使う
面接官2人の間の点数を見る
AIだけ離れている。原因を確かめ、評価基準を直すか、人の面接で確認する
評価基準を直して試し直す
何%という共通の目標値は置きません。どこまでを近いとみなすかは、面接官2人の間の差と比べて、トライアルの前に決めておきます。結果を見てから決めると、数字に合わせた基準になるためです。
差が出た評価軸では、AIが引用した根拠の発言と面接官が付けた理由を並べ、評価基準に何を追記するかを面接官も加わって決めます。試し直しの採点では、面接官は見直しに使っていない面接を読みます。同じ面接だと前回の読み方が残るためです。AIは、書き換えた評価基準で過去の面接を採点し直せます。
Proomiには貴社の評価基準を持ち込めるので、この比較は評価基準を点検するきっかけにもなります。面接官とAIが同じ基準で採点するため、差が出れば、基準の書き方や読み方まで調べられます。面接官2人の点数も分かれていれば、その評価軸は、面接官によって読み方が違っているのかもしれません。一次面接を1人で担当する体制では、他の面接官の読み方を見る場が多くありません。この比較は、その場にもなります。
点数が近い評価軸でも、確かめておくことがあります。たとえば、ほとんどの面接にAIが3点を付けた評価軸は、面接官の点数と離れていなくても、どの候補者にも同じ点を付けているだけかもしれません。こうした評価軸は、AIの点数を判断に使うのをいったん保留にしてください。また、「文字起こしのみでは判断が難しい」という注記が多く付いた評価軸は、点数が近くても人の面接で確認します。
トライアルは件数が少なく、偶然の差も混ざるため、ここで決める扱いは暫定です。本番運用で件数を重ねて確かめてください。
集計表の作り方や基準の置き方などの詳しい進め方は、トライアル時にご説明します。
理由
何%という共通の目標値を置かない理由
同じ面接を同じ場で聞いても、面接官の間で評価が完全に一致することはありません。面接官の評価の一致を調べた研究を集めて分析した結果では、同じ面接に同席した面接官の間でも、評価の一致を表す値は平均0.74で、完全な一致を表す1には届きません。
出典:Huffcutt, A. I., Culbertson, S. S., & Weyhrauch, W. S. (2013). Employment interview reliability: New meta-analytic estimates by structure and format. International Journal of Selection and Assessment, 21(3), 264–276. https://doi.org/10.1111/ijsa.12036
日本の新卒採用でも、同じ傾向が確認されています。今城氏の2005年の研究では、4社の新卒面接で、面接官によって高く評価する応募者の人物像が異なることが示唆されました。鈴木氏の2016年の研究では、ソフトウェア開発会社の最終面接で、取締役と事業部長の2人が同じ候補者を5つの評価軸で評価していました。2人の評価の一致は評価軸によって大きく異なり、性格の適合度ではある程度一致していたのに対し、入社後の成果の見込みに関する評価軸ではほとんど関係が見られませんでした(順位相関は0.41と0.04。1に近いほど順位が同じで、0は無関係)。
出典:今城志保 (2005). 採用面接評価の実証的研究:応募者、面接者、組織が面接評価に及ぼす影響の多水準分析. 産業・組織心理学研究, 19(1), 3–16. https://doi.org/10.32222/jaiop.19.1_3
出典:鈴木智之 (2016). 面接評定要素に着目した採用選考面接の評価者間信頼性の実証分析. 日本労務学会誌, 17(1), 69–91. https://doi.org/10.24592/jshrm.17.1_69
面接官によって評価がこれほど分かれる原因の一つは、評価基準に言葉で表しきれていない部分があり、その部分の解釈が面接官ごとに異なることだと、当社は考えています。
AIと人が何%一致すればよいかを一律に定めても、どの評価軸がどの程度一致するかは会社と評価軸によって異なるため、その数値に根拠を持たせることはできません。AIの点数を、同じ記録を同じ評価基準で読んだ自社の面接官2人の点数と比べるのは、そのためです。面接官の間で点数が一致する評価軸で、AIと面接官の差も面接官の間の差と同程度に収まっていれば、その評価軸ではAIの点数を判断材料に使えます。
この比較で分かるのは、AIが自社の面接官と同じ読み方をしているかです。入社後の定着や成果まで予測できるかは、この比較では分かりません。定着との関係は、点数を入社後の在籍のデータと照らし合わせて確かめます。
現場
現場の面接官の役割と、必要な工数
AIと点数が違うときは、AIの根拠と面接官の理由を並べる
点数を並べると、面接官ごとの違いも見えてきます。ただ、この比較で確かめたいのは評価基準で、面接官本人の評価には使いません。トライアルの前に、このことを面接官に伝えておいてください。
AIと点数が違うときは、AIが引用した発言と面接官の理由を並べ、評価基準に書ける観点かどうかを人事と一緒に確かめます。書けるなら評価基準に追記し、AIの解釈や文字起こしの誤りが原因なら、誤りとして記録します。特定の候補者でのみ差が出る場合は、面接官が文字起こしの行間から読み取ったことが点数の理由になっている可能性があるため、その候補者は人の面接で確認してください。
評価基準に加える観点は、現場の面接官が出す
人の面接で確認する評価軸の見極めと、評価基準に加える観点を出すことは、現場の面接官が担います。
「できる人は、この質問にこう答える」という観点は、人事よりも現場の面接官のほうが多く持っています。面接官が評価基準を読み、各段階に実際の回答の例を加えていくと、その観点は評価基準に残り、AIの採点にも次の面接官の判断にも使えるようになります。追記した内容は、事業部の責任者が確認して合意したうえで反映してください。合意に至らなかった評価軸は、人の面接で確認します。
Proomiは、人が合否を決めるための判断材料を整理します。合否を決めるのは、貴社の現場と人事です。
工数の見積もり
面接官に依頼する作業は、採点(点数、理由の一言、注記)と、打ち合わせ2回(評価基準の読み合わせと、採点後のすり合わせ)です。表にまとめる作業は人事が担当します。
30分ほどの面接の文字起こしであれば、採点は1件20分ほどを仮の目安にしてください。面接官1人あたりの時間は、採点する件数に20分を掛けて打ち合わせ2回分を加えて見積もり、最初の数件で1件あたりの時間を実測して修正してください。
本番運用では、2人で採点する面接を毎月抽出し、人とAIの採点を並べます。月に10件なら、面接官1人あたり月に3時間余りです。人による面接で確認する評価軸を二次面接で見る時間と、二次面接の前にAI面接の記録を読む時間も、現場に生じます。件数を重ねても差の大きい評価軸が見られなければ、抽出する件数を減らして差し支えありません。
記録
一致のほかに、トライアルで確認しておく事項
文字起こしの誤りと、AIが重ねた質問
Proomiの採点は、面接の文字起こしを直接読み、評価軸ごとに根拠となった候補者の発言を引用する仕組みです。そのため、聞き取りの誤りが点数に影響した可能性を、記録から確かめられます。
トライアルでは、人事がすべての面接の記録を確認します。本番運用では、合否を判断する人がAIの点数と根拠の発言を見て判断します。判断が分かれる候補者や、配慮の申し出があった候補者については、記録全体を確認してください。確認の際は、職種の専門用語や固有名詞が正しく文字起こしされているかと、AIが深掘りで重ねた質問が貴社の選考の方針に合っているかを見てください。
話し方や言い回しの違いによる評価の偏り
評価の偏りは、AIの採点そのもの、評価軸の書き方、AI面接官の進め方から生じることがあります。このうちAIの採点については、文字起こしの言葉を読んで採点するので、方言や日本語を母語としない人の言い回しが点数に影響していないかを点検しておく必要があります。面接官も同じ文字起こしを読むので、人とAIの点数が近くても、この影響は隠れることがあります。
評価軸の書き方も、偏りの原因の一つです。「自信をもって話す」「成果を積極的に伝える」のように話し方で書いた評価軸は、AIが基準どおりに採点するほど、話し方の違いが点数に入りやすくなります。Proomiでは各段階の定義も自社の言葉で書けるので、何をしたか、どう判断したかといった回答の中身で書いてください。
言い回しの影響は、候補者の出身地などを聞かなくても確かめられます。ご希望に応じて当社が、トライアルの文字起こしを数件選び、回答の中身は変えずに言い回しだけを書き換えて採点し、元の点数と比べます。
実際の面接では、点数が低かった面接と高かった面接を読み比べ、話し方に共通する特徴がないかを確かめてください。候補者の出身地や国籍を推し量って記録する必要はありません。話し方の特徴が障害や体調によることもあるため、候補者ごとの対応は、本人からの配慮の申し出にもとづいて行います。短い回答のまま深掘りが終わる面接が目立つときは、AI面接官の進め方を当社と一緒に調整できます(個別対応のため、別途お見積もりします)。
判断材料なしが記録された評価軸
Proomiでは、発言に根拠がない評価軸を「判断材料なし」として記録することができます。判断材料なしが多い評価軸では、その評価軸を確認する質問が足りないのかもしれません。当社が新卒30人のペルソナで面接をシミュレーションしたときは、判断材料が出にくかった項目に合わせて質問を3つ追加すると、1人あたりの「判断材料なし」が1〜6個から0〜2個に減りました。ペルソナの回答はAIが作成したもので、実際の応募者での結果ではありません。質問を足すと判断材料を引き出せることの確認で、点数の正しさを示すものではありません。
当社の定期的な点検
当社は全プランに共通して、文字起こしや評価の傾向を分析し、どの利用企業にも共通する偏りや問題がないかを定期的に点検しています。グロースプランでは、これに加えて、運用レビューで貴社の面接に出ている評価の偏りもご覧いただけます。
評価基準の見直しにかかった工数
どの評価軸を何回見直し、何時間かかったかに加えて、面接官2人の採点時間と、採点用の記録を準備する時間も記録しておきます。提供会社の伴走を受けながら見直した場合は、自社のみで運用する際の工数とは異なるため、伴走を受けたことも付記してください。
Q&A
よくある質問
トライアルは、社員で実施できますか。
社員のロールプレイでも、実際の応募者でも実施できます。ロールプレイは、参加する社員に利用目的を説明すれば始められます。応募者の面接で実施するときの個人データの取扱いの取り決めは、当社と一緒に整えます。社員の回答は実際の候補者の回答と異なるため、AIの点数を判断に使うかは、応募者の面接で点数を比べて決めてください。
トライアルの期間で、評価軸の扱いまで決められますか。
1か月程度のトライアルで、見直す評価軸と当面の扱いが決まります。そのうえで、本番運用で職種ごとに件数を重ねながら確かめていきます。
関連ページ
あわせて読みたい
現在の評価軸で、採点表のひな形を作成します
評価軸の名前をお送りいただければ、面接官2人とAIの採点を並べる採点表のひな形を作成し、5営業日を目安にお返しします。トライアルで定めておく基準の置き方も、あわせてご相談ください。