Dornyei, 2003, Chap. 4

学校と仕事が始まって、すっかり更新が途絶えてしまいました……。かなりヤバイです。
Chap.4   Processing Questionnaire Data
質問紙を作成、実施したら、結果をデータ化し、分析する。そのデータ化・分析の手順を追って説明する。
<質問紙の結果をコード化する>1. それぞれの質問紙にID番号を与える。2.リサーチログブックをつけ、ここに忘れてはならないことなどをメモする。3.質問紙の回答をコード化(数字化)する。欠損値は99など。どういう基準でコード化したのか、code bookをつける。4. コンピュータにコード化されたデータを入力する(バックアップはこまめに!)。
<closed questionをプロセスする>1.Data cleaning(欠損値を洗い出す、ミスがないか確認する) 2. Data manipulation(欠損値を含むデータの扱いを決める、negatively worded itemを逆コード化する、データを標準化する) 3. multi-scale item作成のために用意した類似質問の結果を合成する 4.信頼性・妥当性をだす。特に内的一貫性internal consistency reliabilityに注意。内的一貫性をだすためには、multi item scale(1つのことを言い方を変えて質問する)を使用しているのが前提条件。クロンバッハアルファは、.80以上が望ましいが、.70でもまぁ可。また、アルファの値を下げている質問は削除すると、アルファがあがる。因子分析を使っても、同様のことができる。カテゴリー合計と個々の質問の相関係数をだし、相関が低い質問を削除するという方法もある。
<データ分析のための統計手法記述統計descriptive statisticsと推測統計inferential statisticsの違い。記述統計=自分のデータにのみあてはまるモノ。例えば、テストの平均値や標準偏差をだすことにより、全データをわずかな数字(平均は○点、ばらつき度は○○など)でdescribeすることができる。だが、これらの数値はあくまで、自分の集めたデータ(このテストを受けた生徒に関するデータ)のみを、数値化したもの。これを、「統計的に母集団においても……と言えるのではないか」と一般化しようとする時に用いられるのが、推測統計の手法である。例えば、データをとったクラスで男女の平均点に差があった場合、統計処理をして「有意差がある」とでれば、この「男女差」は母集団にもあてはまるのではないかと、推定することができる。
<open-ended questionの取り扱い>(p116) open-endedな質問を処理するためには、pool of diverse responsesをa handful of key issuesに「信頼のおける方法で」変換しなくてはならない。その方法とは……1. それぞれの回答のdistinct content element, substantive statements, key pointなどをマークする。2. それぞれの回答が比較できるようなbroader categoriesを作成する。3. 2で決めたカテゴリーをnumberingして、データファイルに量的データとして入力する。4. 複数の人間によりcodeした場合は、coder間の合致の相関度合いをだすことにより、信頼性を測る。
<データを統計処理プログラムにかける>SPSSが有名だが、SphinxSurveyはopen-endedな質問の処理に優れていて、お勧め。
<データを要約し、レポートする>データを統計処理したら、論文ではそれを効果的に「見せる」必要がある。どんなデータをどの様に「見せる」かは、論文・レポートの性格によっても異なるので、ここでは1. 一般的なガイドライン、2.professional reportに載せるべきtechnical information、3. 読者が理解しやすいPresentation methodsの3点に絞って述べる。1. 一般的ガイドライン。まずは「どれくらい一般化できるか」という問題に関して。自分のデータ(自分が質問紙調査をしたサンプルから得られた”自分の”データ)を、一般化しすぎるのは危険である。例えば、小学生を対象とした質問紙で得られた結果を「世の中の全ての学生(大学生なども含む)」に一般化するのは無理がある。自分のデータの特殊性を加味して、どこまで一般化できるか、考えるべし。次の点としては、一般化されたデータは無味乾燥すぎることがあり、そういう時にものを言うのが、open-endedな質問から得られるqualitative data。これらを効果的に引用すると、「データが本当に言いたいもの」を、より分かりやすく読者に訴えることができるだろう。2. 調査結果として掲載すべきtechnical informationに関して。読者が、レポートのデータを信頼するためには、データ収集の方法、データ統計の仕方など、データの「背景」となるものをも、掲載すべきである。(掲載すべきデータのチェックリストp.122)。データの問題点なども忘れずに記す(biasがかかった原因など)。3.読者にとって理解しやすいようにデータを提示する方法について。図や表で表せるものは、全て図や表で表すようにするのが大原則。p.126に具体例あり。図にするときなど、x軸とy軸の使い方はある程度決まっているので、この辺り、注意が必要(統計の先生に確認すること!)。
<データを他の情報で補完する>質問紙調査で得られたquantitativeな数字(データ)が、「実際のところ何を意味するのか」をより分かりやすく提示するために、qualitativeなインタビュー調査から得られたデータなどを紹介するとよい。たとえば、回答者に自分が回答した質問紙を見せつつ、「なぜその回答を選んだのか」の理由を話してもらう。他にはclassroom observation dataなども補完的に使える。triangulationってやつね。