平成28年度春期 データベーススペシャリスト 午前Ⅱ 問19

評価尺度を見分ける考え方

情報検索システムの評価では、尺度名を暗記するより、何を対象に、どの単位で、どの場面の結果を捉えようとしているかを整理し、設問の状況と測定対象の対応を確認します。

この問題で問われていること

今回の確認点は、尺度が捉えようとする対象と、設問で想定される評価単位・観測場面が一致しているかです。用語の印象ではなく、測る対象との対応だけを見ます。

視点

評価尺度を検討するときは、利用者の要求、検索結果の集合、表示された順序、実際の利用状況など、何を観測しているのかを切り分けます。そのうえで、尺度が示す範囲と限界を考え、異なる観点の指標を混同しないよう整理します。

確認ポイント

• その尺度は、何を評価対象としているか。
• 評価の単位や観測する時点は、設問の状況と合っているか。
• 尺度が示す内容と、設問で問われる内容は対応しているか。

正解

イ

解説

再現率は蓄積された全データ中の適合件数に対する検索成功件数の割合であり、精度は検索結果全体に対する適合件数の割合です。したがって、適切な組合せはイです。

理由

aは全データ中の適合件数、bは検索結果中の適合件数、cは検索結果全体の件数です。再現率は b／a で、適合データをどれだけ拾えたかを示します。精度は b／c で、検索結果のうちどれだけが適合しているかを示します。

比較

再現率の分母は蓄積された全データ中の適合件数、精度の分母は検索結果の総件数です。両者は同じ適合件数bを使いますが、評価する母集団が異なる点に注意が必要です。

選択肢ア

これは不正解だよ。再現率を a／b としており、全データ中の適合件数aを、検索結果中の適合件数bで割っています。再現率は検索できた適合件数が、全体の適合件数に対してどの程度かを見るため、分子と分母の関係が逆です。

選択肢イ（正解）

これは正解だよ。再現率は、検索結果中の適合件数bを、蓄積された全データ中の適合件数aで割る b／a です。精度は、検索結果中の適合件数bを検索結果全体cで割る b／c なので、両方の定義に一致します。

選択肢ウ

これは不正解だよ。再現率 b／a は適切ですが、精度を c／b としている点が誤りです。精度は検索結果全体cのうち適合する件数bの割合であり、検索結果全体を適合件数で割る比率ではありません。

選択肢エ

これは不正解だよ。再現率を c／b としており、検索結果全体を検索結果中の適合件数で割っています。さらに精度も a／b で、全データ中の適合件数を検索結果中の適合件数で割っているため、各指標の母集団と一致しません。

学習のポイント

再現率と精度は、分子だけでなく分母が示す母集団の違いを理解して覚えましょう。