Hyland, Chap. 8.

続き… Chap.8 Assessing student writing
Purpose of assessment:assessmentの目的は5つ(placement, diagnostic, achievement, performance, proficiency … p. 214)、その他にも、学習者を動機付ける、学習者に自分の能力に関して自信を与える、他の試験への練習、次に教えることを何をするかの情報収集、教授法の評価の材料……なども評価を通して可能である。評価するときは、常にwashbackを考えて!
Validity and reliability:いつテストしても、誰が採点しても、同一の受験者に対して同一の結果がでるようなテストは、信頼性のあるテストといえる。パフォーマンスの信頼性を高めるためには、サンプル数を十分確保する、トピック・ジャンルを限定する、明確なタスク指示を与える、受験者がテストフォーマットにfamiliarであるようにしておく、など(Hughes, 1989)。信頼性に関して、次に考慮しなくてはいけないのは、採点者の首尾一貫性consistency(採点者内&採点者間の両面においてconsistentであること)。これに関しては、Hughes(1989), Testing for language teachers.に良いアドバイスがあったので、そちらを読もうと思う。 一方妥当性だけれど、テストが計ろうと思っているものを測っていれば、それは妥当性のあるテストといえる。
Designing assessment tasks:では、実際にassessmentをする際に必要なことは……①rubricに関して。指示文を明確に。何を測定するテストなのかを明らかにする(「このテストはあなたがcoherentで文法的に正確な文が書けるかをみるテストです」など)、評価のクライテリアを明らかにする、など。②prompt(受験者のwritten responseをstimulateするもの)に関して。promptはライティングのコンテクストを与える役目を果たす重要なもの。授業で取り扱ったコンテクスト、学習者に親しみのある、既知のコンテクストなどを。③the expected responseに関して。教師は学習者のどんな答え方を期待しているのか、最初から明らかにして、採点基準をそれに添って決めておく。④post assessment evaluation of the task. テスト後、「このタスクは本当に良いタスクだったか」を評価することも忘れずに。その判断基準はとして挙げられるものは……テストは受験者を分別することができたか、受験者の作文は読みやすく評価しやすかったか、受験者は自分の力を十分に出しきれたか、など。他には、p.226に細かい点もあり。
Approaches to scoring:Holistic scoring methods(全体的・印象点)は、採点が難しい。score rubric、トレーニングなど必要(p.228 Figure 8.1に採点表の例あり)。Analytic(分析的)は、クライテリアに添った採点。このクライテリア自体が生徒にとってはライティングの指針になったりもするので、早い時期に採点のクライテリアを生徒に見せるとよい。いずれの採点方にもpro & conあり。この二つの採点方のほかに、ジャンルにフォーカスしたtrait-based scoring methodというのもあり。
portfolio assessment:テストよりはstressfulでない環境で書かれた、より長期的な、より多種多様な学習者のライティングプロダクトを集め、多角的に学習者を評価し、その進歩などをも考慮するのがポトフォリオの目的。ポトフォリオは、学習者のreflectionを助ける。また、ポトフォリオに含まれる複数の自分の作品をまとめて読み直すことで、学習者は自分の作品の変化に気づき、ジャンルを比較し、また自分の学習(したこと)に関して何かを発見したりすることもできる。その意味では、ポトフォリオは、greater responsibility for writingをpromptするタイプのassessmentである。ただし、ポトフォリオを評価するのは非常に難しく、時間と労力のかかる仕事である。pro & con はp.236にあり。