評価軸の数は、判断材料の数ではない

公開データ

国家公務員の人事評価では、下位の評語がほとんど使われていない

内閣官房内閣人事局は、国家公務員の人事評価で、どの評語が何％の職員に付いたかを調査しています。評語は2022年10月に5段階から6段階へ変わったため、変更前の旧制度と変更後の新制度を比べられます。新制度（6段階）の一般職員の能力評価では、「優良」が48.0%、「良好」が33.2%を占めました。最も低い2つの評語（「やや不十分」と「不十分」）は、合わせて0.5%です。

なお、この調査の対象は人事評価で、面接の評価ではありません。それでも、段階を細かく用意しても評価者が実際に使う段階は一部に集まる、という現象を、公的機関の数字で確かめられます。

ただし、この数字だけでは、職員の実力が似ているのか、評価の付け方が似ているのかを区別できません。区別できないことが、次の節から書く問題の出発点です。

経緯

見直しの前後で、実際に使われる段階は約0.4増えた

評語を増やした目的について、内閣人事局の検討報告書（2021年）は、区分を増やして識別性を高めることを挙げています。同じ報告書は、評語の意味の受け止め方が評価者の間で揃っていないことも課題に挙げています。B評価は「通常」を意味するはずなのに、通常より下の評価として受け止められている、という指摘です。

見直しの結果は、数字に表れています。各評語の割合の偏りを考えて、実際に使われている段階の数（実質段階数）を数えると、能力評価では旧制度が2.3、新制度が2.7、業績評価では旧制度が2.4、新制度が2.8でした。見直しの後で、使われる段階は増えています。

ただし、増えた幅は約0.4で、評語を1つ増やした分（1.0）には届いていません。新制度は6段階を用意していますが、実質的に使われているのは3段階前後です。最も低い2つの評語が占める割合も、能力評価では0.4%から0.5%、業績評価では0.5%のままで、ほとんど変わっていません。

最も低い2つの評語が使われない理由は、この数字からは分かりません。評価者が低い評価を付けにくいのかもしれませんし、実際に低い評価の職員が少ないのかもしれません。どちらの場合も、使われない段階は、判断の材料になっていません。

面接の評価に置き換えると、評価軸や段階をいくつ用意したかに加えて、そのうちいくつが実際に使われているかも確かめる必要があります。

採用に当てはめると

面接の評価でも、点数が一部に集まる理由は3つ考えられる

面接の評価で点数が一部に集まっている場合、理由は次の3つに分けられます。点数の分布だけでは、このうちのどれに当たるかを区別できません。

もう1つ、人の面接官には、1つの印象がすべての評価軸の点数に影響するハロー効果があります。この影響が大きいと、6つの評価軸が、実質的には1つの評価軸として働きます。

確かめ方

評価軸が機能しているかは、平均ではなく分布で分かる

評価軸ごとの平均点は、その評価軸が候補者を分けていても、分けていなくても、同じ値になることがあります。次の2つの評価軸は、20人の平均がどちらも3.0です。

平均点より先に、分布を見てください。標準偏差が小さく、最頻値の占有率が高いほど、候補者の間に差がありません。

人が採点する場合は、面接官ごとの違いが点数に混ざります。評価シートの形式は揃っていても、記載の細かさや内容、点数の甘辛は面接官ごとに違うためです。同じ回答でも、甘い面接官は4点、辛い面接官は2点を付けることがあり、点数のばらつきが候補者の差か面接官の差かを区別できません。全員分を同じ尺度にそろえる作業が、確認の前に要ります。

AI面接には、この確認をしやすくする面があります。採点の指示が全員に共通なので、面接官ごとの違いが点数に混ざらず、全員の評価軸ごとの点数が同じ尺度で記録に残ります。AIにも点数の付け方の傾向はありますが、その傾向が候補者ごとに変わることは少なくなります。AI面接サービスを選ぶときは、評価軸ごとの点数を全員分そのまま取り出せるかも確かめておくとよいでしょう。

選び方

機能していない評価軸を見つけたあとに直せるかが、サービスの差になる

機能していない評価軸が見つかったとき、直す対象は、評価軸の説明か面接の質問です。直したあとは、同じ職種・同じ応募者層で採点し直して、点数のばらつきが広がったかどうかで確かめます。

重みづけを変えても、この問題は直りません。重みが動かすのは合計点だけで、全員が3点の評価軸に重みを掛けても、全員が同じ点数のままだからです。

ですから、AI面接サービスを選ぶときは、評価軸の数よりも、評価軸の定義を自社で書き換えられるかどうかを確かめてください。サービス側が評価軸を固定している場合、機能していない評価軸が見つかっても、その評価軸を直せません。

各サービスにおいて、評価軸を誰が決める設計なのかは、公開情報にあたって1社ずつ確かめ、比較記事にまとめました。

Q&A

よくある質問

評価軸はいくつ用意すればよいですか

数に決まった正解はありません。数よりも、用意した評価軸がそれぞれ候補者を分けているかどうかを確かめてください。

面接以外の評価でも同じことは起きますか

起きます。この記事で見た国家公務員の人事評価が一例です。入社後の人事評価でも、点数が一部の段階に集まっていないかを確かめられます。

何件たまれば確かめられますか

目安は、1つの職種あたり100件前後です。数十件では、1人の違いで占有率が数ポイント変わるため、本当の差と偶然の差を区別できません。

次に読む

分けられていても、評価が正しいとは限らない

評価軸が候補者を分けていることを確かめたあとには、その点数が入社後の活躍と結びついていたかを確かめる段階があります。結びついていなかった評価軸は、書き換えて過去の面接で試せます。

関連ページ

場面ごとの使い方

評価軸の数と分布の考え方は、基準をつくるときと新卒採用で特に役に立ちます。