開催概要
記録動画、配布スライドは、下記のリンクからご覧いただけます。
>> 記録動画（2021.07.19 実施）
>> 配布スライド
開催日時：
2021年7月19日（月） 16:30-18:00
参加者：
88名
高等教育推進機構オープンエデュケーションセンター（OEC）では、オンライン教育に関わる勉強会を定期的に開催します。今回は岩間徳兼先生（高等教育推進機構 高等教育研究部 准教授）にご登壇いただき、ご自身のオンライン講義での実践を例に、学生らに互いの課題を評価させ合う相互評価課題の実施・項目反応理論を用いた結果の分析についてお話いただきました。
相互評価は、学生同士が互いに評価者になることによって、学生同士の学び合いを促進し、学習への動機づけが期待される一方、評価者としての学生の特性に差異があるという問題があります。このことは複雑なパフォーマンスを問う課題について相互評価を導入する際の課題とされています。
岩間先生には、評価者としての学生の特性（厳しさ・一貫性）を考慮した上で被評価者としての学生の課題遂行能力を把握するための実践として、学生の相互評価データに項目反応モデルを適用した結果とその授業改善（課題や評価基準、学習内容の見直し等）への応用可能性について説明いただきました。
他者をどのように評価しているかという観点からも、学生の特性を把握することがより容易になれば、個々の学生のゴールの達成に向けた適切な介入が可能になるかも知れないと思う一方で、特性について適切に把握するためには、データの整形や評価者と被評価者の設定など、綿密な授業計画が必要であることも明らかとなって大変参考になりました。
筆者（小林）は、ルーブリックを用いた学生の評価基準を精緻化していく研究と、項目反応理論を利用して学生の素点を補正する研究を対比して理解していたのですが、ルーブリックも活用した運用も可能ということも明らかになり、今後の研究においても一つの指針を得たように思われます。
質疑についても、岩間先生が利用された分析モデルに対する質問をはじめ、会場からたくさんのご質問をいただきました。セミナーのお申し込み時、またチャットからたくさん質問をお寄せいただきありがとうございました。
開催後のアンケート結果
アンケートの結果、９割以上の回答者がテーマや進行について、「満足」「やや満足」と回答しています。「思ったより内容が濃く，得られるものが大きかった」「項目反応理論を学ぶ良いきっかけになりました」という声があった一方で、「情報量が多く理解が難しかった」「教育実践にどう応用したらよいのかまでは理解が深まらなかった」などのコメントがありました。今後のテーマ選定と共に勉強会内での適切な時間配分について考慮していきたいと考えます。
また、いくつかの自由記述について岩間先生ご自身がご回答・補足説明してくださいました。
満足度の理由
- 「項目反応理論に興味があった（から）」
モデルの具体的表現はともかく、項目反応モデルを用いる意義として、今回お示ししたようなデータ（評定値）には被評価者の能力、課題の特性、評価者の特性が混ざった形で反映されてしまっているところ、項目反応モデルを用いて分析すれば、それらを分離して、別個に捉える（推定する）ことができるという点を押さえていただけるとよいと思います。
- 「実際の教育実践への方法がみえない」
理論やデータ解析に隠れて実践の部分が分かりにくかったかもしれませんが、実践面での参考としては、（労力はかかりますが）今回お示ししたような評価の枠組みを準備して評価データを分析すれば、学生間の相互評価データからでも学生の力を適切に評価できたり、授業内容や作った課題について検討するための量的な情報が得られたりします、ということが挙げられるかと思います。
勉強会への質問
- 「差し支えなければ、評価者パラメータを含む解析のRコードを公開していただければと思います」
以下の研究成果のページからコード等をダウンロードできるようにしてありますので、よろしければ参考になさってください。
https://psychometrics-edu.jimdofree.com/
- 「本日はありがとうございました。職能集団の思考の比較に関心をもっています。試験の影響もあると考えていまして、関連する初学者向け情報などご教示いただければ幸いです」
項目反応理論に特化せず、テスト作成から分析までについて記述したものとして、以下が参考になるかもしれません。
・「見直そう、テストを支える基本の技術と教育」（2010）金子書房
また、項目反応理論について平易に記述したものとして、以下が参考になるかもしれません。
・「テストは何を測るのか」（2017）ナカニシヤ出版
それから、内容的に専門性が高く、難しくはなりますが、以下はご関心事に近い実践例を扱っているかもしれません。
・「組織・心理テスティングの科学」（2015）白桃書房
おわりに
本勉強会の詳細については、記録動画と配布スライドをご覧ください。
>> 記録動画（2021.07.19 実施）
>> 配布スライド
OECでは、今後もオンライン教育セミナーを継続して実施いたします。引き続きよろしくお願いいたします。