AIで面接を正しく評価できるのか｜評価基準は、人事が書く

はじめに

この記事で扱うこと

AI面接を検討する人事の方が、まず確かめたい点は、「AIで正しく評価できるのか」です。AIの点数が信頼できるかは、次の2つの面から確かめます。

• 人とAIの採点の一致：AIの点数が、自社の面接官の見方とどれだけ一致するか
• 入社後の働きぶりとの突き合わせ：選考の点数が、入社後の働きぶりを予測できているか

人とAIの一致は評価基準の書き方で変わり、入社後の予測力にも影響すると当社は考えています。この記事では、評価基準の用意の仕方と、使いながら見直していく流れを、当社が研究と事例、書き方の例で整理しました。

要点

この記事の要点

• AIの点数が信頼できるかは、人とAIの採点の一致と、入社後の働きぶりとの突き合わせの2つで確かめます
• 同じ評価基準とモデルで採点する限り、AIの採点には、面接官が替わることによる甘辛や読み方の違いが混ざりません。ただし、生成AIの出力は確率的に決まるため、同じ記録でも点数が動くことがあります。1点前後の差や、合否の境目に近い点差だけで判断せず、記録と引用された発言も読んで決めます
• 評価基準は、評価軸（何を見るか）と各段階の定義（何点がどのような回答か）で書くものです。自社の基準を持ち込むことも、AIの支援でゼロから作ることもできます
• 評価基準は、人とAIの採点を比べながら書き直して育てます。決めるのは人事で、材料は現場の面接官が多く持っています
• 評価基準を誰が書くかは、サービスごとの違いの一つです。選ぶときに確かめてください

ばらつき

AIの採点には、面接官が替わることによる差が混ざらない

人の面接では、同じ面接を聞いても、誰が評価するかで評価が分かれます。分かれる理由は甘い・辛いだけでなく、同じ回答をどう読むかという、人ごとの読み方の違いです。候補者のあいだでは、面接官によって評価が分かれることが「面接官ガチャ」とも呼ばれています。Huffcutt氏らは2013年のメタ分析で、面接官どうしの評価のばらつきを次のように示しています。

AIの採点で混ざらなくなる部分は、1行目のずれのうち、評価する人が替わることによる部分で、AI自身が採点し直したときのぶれは、次に述べるように残ります。2行目の差のうち、質問や候補者の受け答えの違いは、AIが採点しても残ります。AIの採点では、同じ評価基準と、原則として同じモデルで、すべての候補者の記録を読むので、面接官が替わることによる甘辛や読み方の違いは点数に混ざりません。

一方で、生成AIの出力は確率的に決まるため、AIの点数も、同じ記録を採点するたびに動くことがあります。日本の医師らが2026年に発表した研究は、医師や医学生がAIの患者役に問診した記録を、生成AIと医師5人が同じ採点表で採点し、同じ記録に付いた点数のばらつき（変動係数）を比べたものです。AIの値は同じモデルが採点し直したときのばらつき、医師の値は別々の5人のあいだのばらつきを表しており、両者は種類が異なります。

評価軸1つずつの点のぶれはこの研究では報告されておらず、記録によっては、AIのぶれが医師と同じ程度か、わずかに上回った例もあり、同じ医師が採点し直したときのぶれは、この研究では測られておらず、同じ記録でも、使う生成AIのモデルが違うと点数がずれた例があります。この研究は、1症例の問診を7人分記録した予備的なもので、結果を採用面接に当てはめるときには注意が要ります。また、AIの点数には、面接官の甘辛とは別に、AI自身の読み方の癖や、候補者の属性や話し方による偏りが出ることがあり、その偏りは全員に同じように出るとは限りません。AIの点数を自社の面接官の見方と比べる方法は次の節で、偏りの確かめ方は「見直すときは、点数の分布と偏りを記録で確かめる」の節で説明します。

出典：Huffcutt, A. I., Culbertson, S. S., & Weyhrauch, W. S. (2013). Employment interview reliability: New meta-analytic estimates by structure and format. International Journal of Selection and Assessment, 21(3), 264–276. https://doi.org/10.1111/ijsa.12036／Takahashi, H., Shikino, K., Kondo, T., et al. (2026). AI- vs Human-Based Assessment of Medical Interview Transcripts in a Generative AI–Simulated Patient System: Cross-Sectional Validation Study. JMIR Medical Education, 12, e81673. https://doi.org/10.2196/81673

確かめ方

AIの点数が信頼できるかは、人との一致と入社後の働きぶりで確かめる

AIの点数が信頼できるかを確かめる2つの面は、確かめられる時期が異なるものです。

Proomiの採点では、AIが、利用企業が書いた評価基準を読み、面接の文字起こしから直接点数を付けます。評価軸ごとに根拠となった候補者の発言を引用し、発言に根拠がない評価軸は「判断材料なし」として記録することができます。AIのモデルと、あらかじめ組み込まれた指示も、評価基準の読み方を左右する要素です。

Proomiの管理画面は、AIの評価と人（レビュアー）の評価を、評価軸ごとに表とレーダーチャートで並べて表示できる仕様です。人の採点もばらつくため、できれば2人以上の面接官で採点してください。ずれた評価軸では、記録を読んで、どちらの読み方が評価基準に合うかを確かめ、評価基準があいまいなら書き直します。

人とAIの一致から分かることは、AIが自社の見方を写し取れているかまでです。評価そのものが正しいかは、入社後の働きぶりとの突き合わせで確かめます。

無料トライアルの目的は、実際の職種で、質問と評価軸が自社の基準に合うかを確かめることです。バックテストを含む伴走の範囲は、トライアルのお申し込みの際とお見積りの際にご案内します。

研究

質問と評価の仕方を先に決めた面接は、予測力が高い

Sackett氏らは2022年に、選考手法が入社後の働きぶりをどれだけ予測できるかについて、人の面接を含む過去の分析を見直しました。論文の値を並べると、質問と評価の仕方を事前に決めて行う構造化面接と、決めずに行う面接の差は、次のようになります。

ただし、構造化面接の値は研究ごとに大きくばらつき、80%の信用区間の下限は0.18でした。論文はばらつきの原因までは特定しておらず、当社は、評価基準の中身もその要素の一つと考えています。

論文は、面接の実施や採点を自動化した場合の予測力は、改めて確かめる必要があるとも述べています。AI面接を入れる企業にとっての次の段取りは、選考の点数を入社後の評価と評価軸ごとに突き合わせることです。

入社後の評価は採用した人にしかないため、自社で出す相関は論文の補正済みの値より低く出やすく、件数が少ないうちは大きくぶれます。数年分を積み上げて見ていくもので、在籍は、働きぶりの評価を補う材料です。

出典：Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107, 2040–2068. https://doi.org/10.1037/apl0000994

事例

熟練者の判断をAIに渡すには、まず言葉やデータにする

岐阜県の染色加工会社、株式会社艶金では、生地の色の合否の判断は、熟練職員の勘に頼るものだったといいます。そこで艶金は、過去2000件の判断結果をデータにして、熟練職員の合否判定をAIに学ばせました。関西経済連合会の事例集によると、一部ではあるものの熟練職員への確認が減り、確認のために5〜10分かかることもあった判断が、1分でできるようになりました。短くなった時間は、計算すると最大で約9分です。

ただし、2022年の事例集には、AIの判断は熟練社員のレベルには達しておらず、若手の判断の参考という位置づけだと書かれています。艶金は過去の判定をAIに学ばせ、Proomiは評価基準を言葉で書きます。渡し方は違っても、出発点はどちらも、熟練者の判断を外に出すことです。熟練の面接官の「できる人は、こう話す」という見方も、評価基準として書き残すか、評価の例として残すことで、ほかの面接官やAI面接に渡す出発点になります。

出典：関西経済連合会「ICT・IoT・AI等活用事例集」株式会社艶金「染色判断技術の継承」（2022年） https://www.kankeiren.or.jp/iot/pdf/iot64.pdf

書き方

評価基準は、評価軸と各段階の定義で書く

評価軸は面接で何を見るか、各段階の定義は何点がどのような回答かを決めたものです。以下は、評価軸「周囲を巻き込んで成果を出す力」の定義の例（5段階のうち3つの段階）で、説明のために作ったものです。

5点の定義に「どう調整して合意を作ったか」まで書いておくと、面接で何を聞けばよいかも決まります。

書くときに注意したい点は、書き方による意図しない偏りです。たとえば、新卒の総合職のように職種を問わず同じ評価軸で見る場合に、評価軸「成果を出す力」で、次の2人の候補者が話したとします（説明のための例です）。営業出身のAさんは「担当地域の売上を前年より2割伸ばした」と話し、総務出身のBさんは「社内の申請手続きを見直し、差し戻しがほとんどなくなった」と話しました。

数字でも、関係者の反応や業務の変化でもよいと書き足せば、AさんもBさんも、同じ基準で5点を目指せます。数字の成果が職務に要る職種なら、その職種の評価軸として分けて書くのが適切です。

用意の仕方

評価基準は、自社の基準を持ち込むか、AIの支援でゼロから作る

評価基準の用意の仕方には、すでにある評価基準を持ち込む方法と、AIの支援を使ってゼロから作る方法の、大きく2通りがあります。

人事評価の項目を持ち込むときに確かめたい点は、人事評価の項目は、そのまま採用の評価軸に使えるで扱っています。

題名の「人事が書く」は、AIがたたき台を書く場合も、どこを直し何を採るかを人事が決め、評価基準に責任を持つ、という意味です。「できる人は、こう話す」という材料は、現場の面接官が最も多く持っているので、評価基準を現場の面接官に読んでもらい、各段階の定義に実際の回答の例を足していきます。AIのたたき台はすぐにでき、評価基準づくりには当社の担当者の伴走も選べます。

改善のサイクル

評価基準は、使いながら見直して育てる

評価基準は、一度書いて終わりではありません。面接で使い、人とAIの採点を比べ、書き直すことを繰り返して、自社の見方に近づけていきます。

書き直した評価基準で、また採点して比べる

導入直後の最初の数十件では、人もAIと同じ面接を採点するので、手間が一時的に増える点も見込んでおいてください。この期間は、AIの点数を合否の材料に使わず、人の評価だけで決めます。

書き換えた評価基準で過去の面接を採点し直すこと（バックテスト）を、当社の伴走のもとで繰り返せば、人とAIの点数の一致は比較的早い時期に高められます。人の採点に合わせすぎると人の側の偏りもAIに写るので、書き換える前に、ずれた面接の記録を読んでください。一致を確かめ直すときの比べる相手は、2人以上の面接官がすり合わせた採点で、使う面接は、書き換えに使わなかったものです。過去の面接の採点し直しや在籍状況との照合は、候補者に示した利用目的と保存期間の範囲で行い、法務とも確かめてください。

評価基準が固まったら、人の採点は、一部の面接を抜き出して確かめる形に切り替えます。AIの点数を合否の材料に使い始めた後は、見直した評価基準を、あらかじめ決めた切り替えの時期（後述）から使ってください。切り替えた後も、合否は採用担当者がAIの点数と記録を読んで決めます。

Proomiで評価基準を書き直す手段は、次のとおりです。プランごとの内容は料金のページをご覧ください。初期費用は導入支援の範囲に応じて変わり、お見積りでご提示します。

見直し

見直すときは、点数の分布と偏りを記録で確かめる

人とAIの採点を比べるときに、あわせて見ておきたい点は、次の3つです。

偏りは、特定の経歴の候補者だけが低く出る評価軸がないかを、引用された発言とあわせて読んで確かめます。性別など、自社が適法に把握している属性ごとに点数の分布を比べる方法もあり、本籍や出生地のように採用選考で集めるべきでない情報は使いません。方言や話し方による文字起こしの誤りも、記録で確かめたい点です。偏りに気づく近道は、書いた本人に加えて、面接を数多く見てきた人にも記録を読んでもらうことです。

評価基準を直す時期は、区切りのある募集なら募集の切れ目、通年採用なら3か月ごとのように、先に決めておきます。人事は、変更した日付と内容を残し、変更の前後を分けて点数を見てください。変更前に見送った候補者の扱いも、あらかじめ決めておきます（たとえば、偏りを直すための変更なら再評価を検討し、表現の整理だけなら変更前の結果をそのまま使う）。

人事の仕事

AI面接に任せた分の時間は、評価基準を育てることや最終判断に回す

AI面接が一次面接の日程調整と実施、評価シートの集計を引き受けた分の時間は、評価基準を育てること、記録を読んで自分の見立てと比べること、最終判断、候補者を惹きつけることに回すのがおすすめです。導入直後は人もAIと同じ面接を採点し、その後も一部の面接を抜き出して確かめるので、その時間も見込んでおいてください。合否は人が決め、AIの点数は判断材料の一つです。

書類選考から初期面接までを中心にAIを入れた当社の導入事例では、東証プライム上場の総合人材派遣グループで、次の結果が出ており、空いた時間は最終判断や配置に回しています。32%と28%は、導入事例ページに掲載している数字で、評価の確からしさを示すものとは別の指標として読んでください。

出典：当社「導入事例」 https://prance.co.jp/case-studies/

確かめるときの限界

AIの点数が信頼できるかは、自社のデータで確かめていく

比較のポイント

AI面接を選ぶときは、誰が評価基準を書くかを確かめる

当社が各社の公開情報をもとに大きく分けると、評価基準を書く方式は4つあり、それぞれ向く場面が違います。

Proomiは、自社の言葉で書く方式で、書く手間は、AIが経験レベルとポジション名から作るたたき台と、必要に応じた当社の伴走で減らします。自社の言葉で書く方式を選ぶなら、サービスを選ぶときに確かめておきたい点は、次の5つです。

Q&A

よくある質問

評価基準は、自社で書けますか。

評価項目も、各段階の定義も、自社で書けますし、AIが作ったたたき台から始めることもできます。見直しは、管理画面で自分で書き直す方法、グロースプランの運用レビュー（在籍状況データのご提供が前提）を使う方法、当社と一緒に進める方法の3つで、一緒に進める範囲は、トライアルのお申し込みの際とお見積りの際にご案内します。

評価基準を書くのに、どれくらい時間がかかりますか。

AIのたたき台はすぐにでき、人事はそれを直すところから始められます。導入直後は人もAIと同じ面接を採点するので、手間が一時的に増えます。かかる時間は職種と評価軸の数で変わるため、無料トライアルで、実際の職種を使って測るのが確実です。

AIの点数と、面接官の評価が違ったら、どちらを取りますか。

合否は、人が決めます。記録と引用された発言を読み、どちらの読み方が評価基準に合っているかを確かめ、評価基準があいまいなら評価基準を直します。

AIの点数だけで、合否を決めてよいですか。

合否は、点数を判断材料の1つにして、人が決めてください。Proomiには、点数から合否を自動で決める機能はなく、合否は利用企業が入力します。

評価基準を変えると、過去の点数と比べられなくなりませんか。

変更した日付と内容を残し、変更の前後を分けて点数を見ます。変更後の評価基準で過去の面接を採点し直して比べる方法（バックテスト）もあり、こちらは当社の伴走を前提に進めます。

関連ページ

あわせて読みたい

評価基準の書き方と見直し方については、次の記事も参考になります。