|
２００６．１．１５ 永井洋平
楽器研究者が行う研究テーマや楽器メーカー内の業務で楽器の音品質を評価するために官能検査（人間の感覚を使って測定し評価すること）の評点を複数のパネル（評価者）からデータを採取し統計的に結論を出す必要がある場合は頻繁にある。 人間が測定器となる評価テストはその目的によって適切なテスト方式を決定せねばならない。そこで「期待される楽器の評価法」について一般の参考書には記されてないことを少しだけ提案させていただこう。 ひとつは＜先入観を排除するためのブラインドテストにおける「ブラインド度」を企画すること＞である。評価担当者が「この評価はブラインドでやりましたから信頼できます」と報告してきても「なるほど良くやったね」といって感心するだけでは研究管理者落第である。ブラインドテストといっても簡単なものから厳しいものまでいろいろな段階があるのだ。テスト対象品が何台あるかをパネルに開示するのか、テスト対象品の仕様の全部または一部をパネルに開示するのか、同じ対象品を同一パネルに複数回提示するのか等々が適切に考慮されていなければならない。対象品の名前だけを隠して対象品を一回ずつ提示することをパネルに告げてあるテスト（ブラインド度が小さい例）から、対象品の数も知らせず、提示順序をランダマイズして同一品を複数回提示するテスト（ブラインド度が大きい例）までいろいろある。ブラインド度が大きいほど仕事はパネルにとっても評価担当者にとっても厳しくなり、そのために評価コストは高くなる。しかしその結果の信頼性はぐんと高い。特にわずかな差を確実に検出したいときは、良いパネルを選ぶこととともに、出来るだけブラインド度を上げて評価に取り組むことが望まれる。 ふたつめの提案は、＜パネルが付けた評点のひとつひとつに対する「自信度」を付記してもらうこと＞だ。この自信度のデータは結論を出すときに各評点データのウェイティング（つまりデータの重要度に応じて乗ずる係数）を使っても良いし、その評価者をその後使い続けるかどうか、つまりパネルの信頼度の検定にも使える。前者は、「自信を持って判断したデータ」と「自信がないがとりあえず記入したデータ」を区別せずに同じように扱って集計しては不合理であろう、という考えから発想したものである。また後者は「自信度がいつも低い傾向があるパネル」、「評点の再現性がないのに自信度を高くつけている傾向のあるパネル」はともに信頼度が低いのでその後はなるべく遠慮してもらった方が良い、としてパネルの質の向上に役立てることが出来る。 人間が感覚で評点する官能テストのやり方の定石的手法については「官能検査ハンドブック」などの参考書に詳しく記されている。しかし上記の二つのポイントについては筆者自身が楽器の評価業務のために必要を感じた経験であり、また多くの人が気がつくことかも知れないと思えるのだが、これについて述べられている参考書が見当たらない。この文を読んだ方々が参考にしていただければ幸甚である。 以上 |