面接の評価が正しかったかは、入社後にしか分からない

用語

構造化面接と予測力とは

構造化面接とは、質問の内容、質問の順序、評価の基準をあらかじめ決めておき、すべての候補者に同じ条件で行う面接です。面接官が人でもAIでも、同じ質問と同じ基準で評価します。質問と評価軸をあらかじめ設定して行うAI面接は、この構造化面接にあたります。

予測力とは、選考時の点数が、入社後の業績をどれだけ言い当てているかを表す力です。研究では「予測的妥当性」と呼び、選考の点数と入社後の業績の相関で表します。相関は−1から1の値で、1に近いほど、選考で高い点数だった人が入社後も高く評価されます。0に近いほど、選考の点数と入社後の業績に関係がありません。

研究結果

構造化面接の予測力は、平均で0.42でも、場面によって大きく違う

人事心理学では、採用の手法ごとに、予測力を調べてきました。Sackett氏らが2022年に発表した分析（Journal of Applied Psychology）では、構造化面接の予測力が調べた手法のなかで最も高く、入社後の業績との相関は平均で0.42でした。この研究が扱うのは、人が行う構造化面接です。AI面接で同じ水準になるかは、自社で確かめる必要があります。

ただし、0.42は平均です。同じ分析では、構造化面接でも、会社や職種によって予測力が大きく違うとされています。10の職場で使うと、9つの職場では予測力が0.18以上になり、残りの1つでは0.18を下回ると見込まれます。

この違いは、次のように読み替えられます。選考の点数が高い順に候補者を並べ、ちょうど半分で分けます。点数の高いほうを「高得点グループ」、低いほうを「低得点グループ」と呼びます。予測力が0.42の職場では、入社後に平均以上の成果を出す人が、高得点グループで約64%、低得点グループで約36%です。点数の高い人が入社後も成果を出す傾向が、はっきり出ます。予測力が0.18の職場では、約56%と約44%です。差はわずかで、点数だけでは入社後の成果を見分けにくくなります。

出典：Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology, 107, 2040–2068. https://doi.org/10.1037/apl0000994。2つのグループの割合は、点数と成果の分布を左右対称の山型と仮定した、当社の換算による目安です。

なぜ違うのか

同じ「構造化面接」でも、面接の中身によって予測力は変わりうる

論文は、構造化面接にも中身の違いがあることを指摘しています。たとえば、仕事の知識や経験がない候補者には「こういう場面ならどうしますか」と尋ねる質問を使い、知識や経験がある候補者には「過去にどう行動しましたか」と尋ねる質問を使う、という使い分けがあります。面接の内容が2つでかなり違うため、同じ水準の予測力を期待できるとは限らない、と論文は述べています。

論文はまた、構造化面接の平均の予測力が高いことを認めたうえで、場面によるばらつきも大きく、低い値になる危険もある、と述べています。そして、そのばらつきを説明する要因を見つけて、職種ごと、面接の設計ごとに、より具体的な推定を出すことが望ましい、としています。

もう1つ、点数が狭い範囲に集まると、点数と成果の関係は実際より小さく見えます。

ここから言えるのは、面接の予測力が、どの職種に、どんな内容で、どう点数を付けるかに左右される、ということです。構造化面接を使うだけでは予測力は高まりません。自社の選考と、入社後の結果を並べて可視化し、本当に予測力があるのかを確認する必要があります。

注：本節の記述は、Sackett, Zhang, Berry, & Lievens (2022) の考察（Discussion）に基づく。

活かし方

AI面接は、入社後の結果と突き合わせると、評価の精度を高められる

AI面接は、面接の直後に、評価軸ごとの点数と根拠を、全員分、同じ形式で記録します。この記録は、入社後の結果と照らし合わせる材料として、そのまま使えます。

両者を並べると、どの評価軸が入社後の活躍と結びついていたかが分かります。結びついていた評価軸は、次の選考でも重く見る根拠になります。結びついていなかった評価軸は、説明や質問を見直す手がかりになります。点数が付いたことと、評価が正しかったことは別なので、この確認を加えることで、評価の精度を段階的に高められます。

確かめ方の骨格は単純です。評価軸ごとに候補者を高得点グループと低得点グループに分け、入社後の結果に差が出ているかを見ます。差が出ていれば、その評価軸は正しかったことになります。

評価軸の所有者

確かめるには、選考の評価軸が、入社後の評価軸と接続している必要がある

選考で「コミュニケーション力」を見ていて、入社後の人事評価は「提案力」や「交渉力」しか持っていない場合、2つを並べても、どの評価軸が正しかったのかを言えません。この比較が成り立つのは、選考の評価軸が入社後の評価軸と接続しているときです。同じ言葉で定義されているか、対応づけられている状態を指します。

自社で評価軸を定義していれば、同じ定義を在籍している社員にも使えます。サービス側が設計したフレームを使っている場合は、社員向けの設計をあらためて依頼することになり、採用用と評価用で別々の基準が2つできます。基準が2つに分かれた時点で、採用時の評価と入社後の評価を比べられなくなります。

確かめるときの限界

1年目から確実な結論は出ない

確かめるときには、結果を読み違えやすい点が3つあります。

3つとも、データを増やすか、比べる範囲を揃えれば小さくなります。裏を返せば、確かめ始めた時期が、判断できる時期を決めます。

Q&A

よくある質問

入社者が年に数名でも、意味はありますか

単年では結論が出ません。それでも、評価軸ごとの点数と入社後の結果を残しておくこと自体に意味があります。3年分たまれば判断できます。

退職を指標に使ってよいですか

使えますが、この指標だけでは判断できません。退職の理由は、評価軸が正しかったかどうか以外にも多くあります。家族の事情や病気など、本人にはどうしようもない都合で辞める人もいるため、退職をそのまま選考の失敗とは読めません。在籍しているかどうかは最も早く手に入る指標なので、最初の指標には向きます。人事評価が出たら差し替えてください。

人事評価の結果を採用側が見てよいですか

運用の決め方によります。個人が特定できる形で採用担当者に渡す必要はありません。評価軸ごとに集計してから比べれば足ります。目的は個人の再評価ではなく、評価軸の検証です。

次に読む

結びついていなかった評価軸は、書き換えて過去の面接で試す

入社後の結果と結びついていなかった評価軸は、書き換えたうえで、過去の面接を採点し直して試せます。また、評価が正しいかを論じる前に、その点数が候補者を分けているかも確かめておきます。

関連ページ

場面ごとの使い方

入社後の結果と照らし合わせる作業は、中途・新卒・目標管理のそれぞれで形が変わります。