Beating 第46号
2007年度Beating特集「5分で分かる教材評価講座」
最終回：総集編・メイキングオブ「5分で分かる教材評価講座」

■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
　　東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」　　　
　　メールマガジン「Beating」第46号　　　　　2008年 3月25日発行　　　　
　　　　　　　　　　　　　　　　　　　　　　　　現在登録者1568名　　　
　　2007年度Beating特集「5分で分かる教材評価講座」
　　 最終回：総集編・メイキングオブ「5分で分かる教材評価講座」

　　　　　　　　　　　http://www.beatiii.jp/?rf=bt_m012a
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■


皆さまこんにちは。

暖かな春の日差しと風が心地好い季節となりました。
この時期、新生活へのスタートにむけて準備をされている方も多くいらっしゃ
るのではないでしょうか。
BEATの本拠地も福武ホールへの引越しが終わり、新居地での新たな活動が
スタートします。また、様々な形で皆さまとお会いできることを楽しみにして
おります。

それでは、2007年度を締めくくるBeating第46号のスタートです！


┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃★CONTENTS★
┃
┃■1.  特集：2007年度Beating特集「5分で分かる教材評価講座」
┃　　　  最終回：総集編・メイキングオブ「5分で分かる教材評価講座」
┃
┃■2. 【お知らせ】「未来の教育のために学校と家庭ができること
┃　　　　　　　　　　 - フィンランドと日本の対話」 〜3/29（土）開催！
┃
┃■3.  編集後記
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■1. 特集：2007年度Beating特集「5分でわかる教材評価講座」
　　 最終回：総集編・メイキングオブ「5分でわかる教材評価講座」
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
今年度のBeatingでは、BEATの研究をより理解していただくため、学習の
「評価」についてさまざまな観点から紹介し、一年間で皆さまと一緒にその
秘訣を探っていく「5分で分かる教材評価講座」を開講してきました。
1年を通して、様々なプロジェクトの評価方法についてのケーススタディや、
皆さまからの質問・相談にお答えする「読者相談室」、評価を行うために避け
ては通れない統計と実験計画法の基礎知識についてのご紹介をしてきました。

昨年度のBeatingバックナンバー 
http://www.beatiii.jp/beating/

これまでに、これだけのコンテンツをお届けして参りました。

4月　概要：「そもそも評価とは？なぜ必要なの？
　　　　　　　　　　　　　　　　　　　〜形成的評価と総括的評価〜」
5月　ケーススタディ1：セサミ・ストリート【教材評価】
6月　ケーススタディ2：ジャスパー・プロジェクト【教材評価】
7月　ケーススタディ3：おやこdeサイエンス【教材･教育システム評価】
8月　読者相談室1：教材による動機づけ効果や意欲の向上効果を評価するには？
9月　ケーススタディ4：TEALプロジェクト 【授業・カリキュラム評価】
10月　ケーススタディ5：ポートフォリオ評価の事例
　　　　　　　　　　　　　　　　　　　　【授業・カリキュラム評価】
11月　ケーススタディ6：日本企業における研修評価の事例 【研修評価】
12月　読者相談室2：ワークショップの客観的に評価って！？
1月　理論紹介1：統計基礎知識
2月　理論紹介2：実験計画法

最終回の今回は総集編ということで、これまでの記事を振り返ってみたいと
思います。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
●第１回：そもそも評価とは？なぜ必要なの？「形成的評価と総括的評価」
　http://www.beatiii.jp/beating/035.html

記念すべき第１回は、評価の概要として、そもそも評価とは何なのか、
なぜ評価が必要なのかということについて簡単に触れました。
評価が必要な理由は、適切な評価を行うと、開発したモノやシステムの、
「どこがどう良かった（悪かった）のか」を具体的にすることや、教材や研修
のどこを改善すればよいかという情報を得ることができるからでした。
そしてその評価には、大きく分けて２つの種類があることを紹介しました。
一通りの流れが終わった後に、全体を通してどこが良かったか（悪かったか）
を見るための「総括的評価」と、教材やプロジェクトを作り上げていく・進め
ていくために必要な「形成的評価」です。この形成的評価や総括的評価を何回
も繰り返して行うことで、授業や学習、教材やカリキュラムをよりよく改善し
ていくことができるのですね。


------------------------------------------------------------
●第２回：すべてはここからはじまった
　　　　　　　　　　　　　　−「セサミ・ストリート」ゼロからの挑戦−
　ケーススタディ１：セサミストリート【教材評価】
　ポイント："Collaboration"、"Formative Research"、"Summative Evaluation"
　http://beatiii.jp/beating/036.html

第２回から、具体的なケーススタディが始まりました。ケーススタディの
第１弾は、世界で最も有名な教育番組「セサミ・ストリート」を取り上げまし
た。
セサミ・ストリートの番組作りは、教育の専門家と番組のプロデューサー、
調査研究員の三つのポジションが一体となっていました。そして、その三位
一体のCollaborationによって、入念なFormative Researchから得られた幼児
を引きつけるための様々な要素を番組制作に返していくサイクルがスムーズに
まわっていたということも重要な特徴です。また、長い時間をかけた総括的
評価で、セサミ・ストリートのより効果的な視聴方法も明らかになりました。
これを可能にしたのは、「誰のために役に立ち、誰には役に立たないのか」、
「いかなる条件のもとで効果を発揮するのか、あるいはしないのか」という
詳細な目的を設定することでした。


------------------------------------------------------------
●第３回：「使える知識」を身につける！　−The Jasper Project−
　ケーススタディ２：ジャスパー・プロジェクト【教材評価】
　ポイント："知識の活性化"、"SMART Challenges"
　http://beatiii.jp/beating/037.html

第３回は、世界でも類を見ないほどよく作り込まれていると言われるマルチ
メディア教材、ジャスパー・プロジェクトにおける評価を取り上げました。
この教材は、距離・速度・時間や確率、幾何などといった数学の知識を、
現実で起こりうるような状況で用いることによって、日常生活の中で
「使える知識」として定着させることを目的として設計されたものでした。
総括的評価によりジャスパー教材はその有効性を示すことができたわけですが、
一方で膨大な量のペーパーテストは子どもたちにとって負担が大きく、学習
者評価の方法としては実用的とは言えませんでした。そこで、教師や生徒を
学習過程においても形成的に評価していくSMART Challengesプログラムを作る
ことで、ジャスパー教材をより実践の中で有効に使われるように発展させて
いくことを可能としました。さらにこれは、学習者にとっての形成的評価だけ
でなく、プログラム開発における教材の形成的評価にもつながりました。


------------------------------------------------------------
●第４回：実践と研究の架け橋となる"評価"　−おやこdeサイエンス−
　ケーススタディ３：おやこdeサイエンス【教材・教育システム評価】
　ポイント："対照群を用いない評価"、"検証結果の確からしさを高める"
　http://beatiii.jp/beating/038.html

第４回目は、教材に加えて、教育システムの評価事例として、BEATの研究プロ
ジェクトの１つ、「おやこdeサイエンス」における評価について取り上げまし
た。
「おやこdeサイエンス」では、教育研究では倫理的に問題があるとされる比較
対照群を作らずに評価を行いました。教材を使った群と使わない群の比較を
行わなかったにも関わらず、研究として教材やプログラムの有効性を示した
ことが評価の秘訣でした。具体的にどのようにしたかというと、事前・事後
テストの比較と、教材の利用に関する分布（偏り）、そして両者の相関関係の
分析を組み合わせたのでした。つまり、評価の観点などから取るべきデータの
種類を考え、そのデータの取り方にあわせて分析手法を選択することによって、
「事前・事後データを用いた、対照群を用いない評価」を行い、開発した教材
や学習プログラムの有効性を検証し、かつその検証のもっともらしさを高めた
のです。


------------------------------------------------------------
●第５回：読者相談室 第１弾
　テーマ：教材による、動機づけ効果や意欲の向上効果を評価するには？
　ポイント："観察可能な評価項目"、"実験計画法に基づく実験"
　http://beatiii.jp/beating/039.html

第５回は、今回は夏休み特別企画として、皆さまからの質問・相談にお答えす
る「読者相談室」をお届けしました。
山内先生と北村先生による対談を通して、学習効果や動機付けなど目に見えな
いものは「何を」調べればよいのか、「どうやって」調べればよいかについて
学びました。
学習内容の理解自体は観察できないけれど、その結果のテストの点数は観察で
きるといった具合に、「それ自体は観察することはできない」ものを測定の対
象とするためには、「代わりに観察できるもの（副産物）」を測定する必要が
あることが一つ目のポイントでした。また、適切な実験を行うためには、対照
群（統制群）を設定する必要があることや、その対象者はできる限り偏りがな
いように集めること、データをとるタイミングが重要であることなどのポイン
トが挙がりました。


------------------------------------------------------------
●第６回：次世代の学習環境はこれだ！−TEAL プロジェクト−
　ケーススタディ４：TEAL プロジェクト【教材･教育システム評価】
　ポイント："教室の評価"、"質的評価：グループ内での談話分析"
　http://beatiii.jp/beating/040.html

第６回は、従来の一斉授業とはひと味もふた味も違う、能動的な学習を実現す
るべくMITが開発した新たな学習環境、「TEALプロジェクト」の評価について
紹介しました。
TEALでは、「教室」を1つの単位として扱い、教室そのものを変数にして比較
するというアプローチによって分析を行っていました。まず、教室内で行われ
ている複雑な出来事を多様な角度から見ていくために、認知的、情動的、
社会的の3つの側面を設定し、評価を行いました。さらに、学生同士の会話内容
を4つのカテゴリーに分類し分析を行いました。
このように、新しいTEAL教室で一体どのような学びが行われているかというこ
とを量的・質的に分析することで、教室が異なれば成績も異なるという結果や
その有効性を示しました。


------------------------------------------------------------
●第７回："軌跡"を残せ！　−ポートフォリオ評価法−
　ケーススタディ５：ポートフォリオ評価法【教育･カリキュラム評価】
　ポイント："学習の軌跡"、"真正な評価(authentic assessment)"
　http://beatiii.jp/beating/041.html

第７回は、学習や取り組みのプロセスを残して、数字だけでは測れない多角度
からの評価を行う「ポートフォリオ評価法」について説明しました。
ポートフォリオ評価法の特徴として、学習の軌跡が追えることや、教師だけで
なく学習者自身の学びにも有効であること、過程から形成的評価を行い、
授業・カリキュラム改善にも役立つこと、従来の評価と組み合わせることに
よって、学習の真正な評価につながることなどがありました。
しかし、「学習の軌跡」を残す以上、それなりの手間と時間がかかることや、
学習を点数化することが困難であるということも忘れてはいけません。目的に
合わせて、従来の評価法との相互補完関係として用いることによって、学習の
真正な評価に近づいていこうとする姿勢が重要だということでした。


------------------------------------------------------------
●第８回：シビアな世界！−企業における研修評価−
　ケーススタディ６：企業における研修評価【研修評価】
　ポイント：ビジネスへの成果を示す、ステークホルダーの満足
　http://beatiii.jp/beating/042.html

第８回は、企業で行われる様々な研修を評価するために用いられる、教育効果
の測定の仕方についてお話しました。ただ「勉強しました」というだけではな
く、それが業績の向上に結びつくことが求められる以上、参加者も経営者も満
足する研修にするためにはどのように評価を行うべきなのかということについ
て、代表的な評価モデルと、シスコシステムズの研修評価事例から探っていき
ました。
研修を実施する際には、「参加者」「参加者の上司」「経営者」という３人の
ステークホルダーを満足させることが重要であるわけですが、シスコシステム
ズでは、アンケートとエピソードの二側面から説得力の強い評価を行うことに
よって、まさにそれを達成していたのでした。


------------------------------------------------------------
●第９回：読者相談室 第2弾
　テーマ　：ワークショップの客観的な評価って！？
　ポイント："目的の明示化"、"目的に対応したデータの評価"
　http://beatiii.jp/beating/043.html

第９回は、皆さまからの質問・相談にお答えする「読者相談室」の第２弾でし
た。楽しいし、やって良かったという参加者は多いけれど、その効果を説明す
るのが難しいワークショップの評価について、皆さまより寄せられた様々な
質問・相談から細かく見ていきました。
山内先生と北村先生による対談を通して、ワークショップを評価するためには、
デザイナーがそのワークショップの目的をきちんと突き詰めて明示化し、
言語化することが大事であることや、ワークショップ全体の目的だけでなく、
いくつかの細かいレイヤーごとにもデザインの意図を言語化していくことが
重要であるということを学びました。


------------------------------------------------------------
●第10回：統計基礎知識と書籍紹介
　http://beatiii.jp/beating/044.html

第10回は、これまで見てきた様々な評価事例の基礎的知識であり、評価を行う
ために避けては通れない「統計」について取り上げました。
そもそも統計とは、研究から導き出された結果を、「その人の思いこみ」では
なく客観的・科学的な根拠を伴った知見として示すために必要なものです。
そのためにまず、どのようにデータを集め、どの方法を用いて分析し、
どのようにその意味を読み取るのか、ということを判断できるようになる必要性
について触れ、これらを学ぶための書籍として、入門書から少しレベルの高い
ものまで、入り口の異なる5冊を紹介しました。


------------------------------------------------------------
●第11回：適切な評価を行うための手法 「実験計画法」
　http://beatiii.jp/beating/045.html

第11回は、10回同様、適切な評価を行うための知識として、実験計画法につい
て取り上げました。
実験計画法とは、様々な注意点に基づいて原因と結果の因果関係を同定してい
く見通しを立てる方法のことです。また、倫理的な問題や現実的な制約によって、
なかなか一筋縄ではいかない中でもできるだけ内的妥当性を高める工夫をする
「準実験」という方法についても触れました。いずれにせよ、同定された因果
関係がどの程度確かなのかという内的妥当性と、どの程度日常的な場面へ適応
できるかという一般可能性のバランスを保つことが必要です。準実験を行う
際も、「独立変数」と「従属変数」の関係、剰余変数の統制についても考える
ことが重要で、実験計画法についての理解を深める大切さを学びました。


------------------------------------------------------------
いかがでしたでしょうか。こうして振り返ってみると、評価とは、終わった
ことの出来にこだわるものというよりも、新しく作っていったり改善していく
ために必要なものであることがよくわかります。こうした活動の積み重ねの
１つひとつが、世の中の学びをより良いものへと変えていくことにつながって
いるのですね。


------------------------------------------------------------
●参考URL
　Beating バックナンバー
　http://www.beatiii.jp/beating/

（特集記事担当：坂本篤郎／東京大学 大学院 学際情報学府 修士1年）
------------------------------------------------------------
1年間ご愛読ありがとうございました。来年度のBeatingは、執筆スタッフを一
新し、また新たなテーマで1年間、お送りしていきます。どうぞお楽しみに！


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 
■2. 【お知らせ】「未来の教育のために学校と家庭ができること
　　　　　　　　　　 - フィンランドと日本の対話」 〜3/29（土）開催！
　　　☆★☆　満員御礼！　お申し込みありがとうございました。　☆★☆
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 
本年度最後の公開研究会がいよいよ今週末に迫ってきました。

今回は、情報学環・福武ホールの竣工を記念して、BEAT Special Seminar 
「未来の教育のために学校と家庭ができること - フィンランドと日本の対話」
を開催いたします。

現在、多数の皆さまからのお申し込みにより定員に達したため、受付を終了
しております。ご参加申し込みできなかった皆さま、申し訳ありませんでした。
来月末にはセミナーレポートを更新する予定ですのでお待ち下さいませ。

ご参加される皆さまは、下記のプログラム内容を今一度ご確認下さり、時間と
場所のお間違いないようお願いいたします。特に今回のセミナーはオープンし
たての福武ホールにて開催されます！福武ラーニングシアター（B2F）の場所
と合わせ、下記地図をご参考にして頂ければと思います。
福武ホールにてお会いできる事を楽しみにしております。


—————————【2007年度　第4回　公開研究会　概要】————————
■主催
　東京大学 大学院 情報学環 ベネッセ先端教育技術学講座

■日時
　2008年 3月29日（土）午後1時より午後5時まで

■場所
　東京大学 本郷キャンパス 情報学環・福武ホール（赤門横）
　福武ラーニングシアター（B2F）
　http://www.beatiii.jp/seminar/seminar-map33.pdf

■定員
　180名（満員御礼！　お申し込みありがとうございました。）

■参加費
　無料

■内容
　1. 趣旨説明　13:00−13:10
　　山内 祐平 (東京大学 准教授)

　2. BEAT 2007年度成果報告　13:10-14:30

　▼休憩

　3. 基調講演　14:45-15:45

　　「フィンランドにおける未来の教育（仮題）」
　　　Seppo TELLA (ヘルシンキ大学 教授)

　▼休憩

　4. パネルディスカッション　16:00-17:00
　　「質の高い教育を実現するために学校と家庭は何をすべきなのか」
　　　司会：
　　　　山内 祐平（東京大学 准教授）
　　　パネラー：
　　　　Seppo TELLA (ヘルシンキ大学 教授)
　　　　堀田龍也（メディア教育開発センター准教授・文部科学省併任）
　　　　沓澤　糸（Benesse 教育研究開発センター 主任研究員）
　　　　飯吉　透（カーネギー財団知識メディア研究所所長・BEAT客員教授）

■懇親会
　参加希望者（有料）


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■3. 編集後記
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
最後までお読みいただきまして、ありがとうございました。

そして、私事で恐縮ですが、「Beating」編集担当も今号で最後となります。
2年間ありがとうございました。

幸運なことに、私は4年前のBEAT誕生間もない頃からお手伝いをさせて頂きま
した。まだ正統的周辺参加という言葉も知らないほど、教育には無縁でしたが、
文字とおり”周辺”から多くを学ぶことができました。
おそらくこの分野では前例の少ない寄附講座・BEATというコミュニティがどの
ように確固たる地位を確立していったのか、間近で拝見することができたのは
とても貴重な体験だったと思います。

コミュニティを一から作り上げていくためには、緻密な戦略やデザインが大変
重要なのだと思います。が、個人的に印象に残っていることは、参加する
メンバーの皆さんが、”より良く”を目指して、一肌脱ぐ姿勢でした。
活動概要や運営体制が見えない中でも、BEATという存在の社会的意義やビジョン
を各個人が各々内に抱き、各個人でできる最大の協力を一肌も二肌も脱いで
行われている様子を多々拝見することができました。

自分を振り返ると学生という立場に甘んじていたようで、反省するばかりです
が、この体験を今後に役立てていきたいと思います。

そして成長するコミュニティに欠かせないのは新たな参入者の存在ですね。
来年度のBeatingは、執筆スタッフを一新し、また新たなテーマで1年間、
お送りしていきます。どうぞお楽しみに！

今後ともBeatingおよびBEATのご支援のほど、よろしくお願いいたします。


　　　　　　　　　　　　　　　　　　　　　　　　「Beating」編集担当
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　佐藤 朝美
　　　　　　　　　　　　　　　　　　　　　　　　　satomo@beatiii.jp
-------次年度発行は4月末の予定です。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
ご登録先は、ベネッセ先端教育技術学講座になります。
ご登録にあたって、お知らせいただいたお名前・メールアドレスなどの個人情
報は、ベネッセ先端教育技術学講座にて、「Beating」からのお知らせのためだ
けに使用いたします。また、ご本人の同意なく、第三者に提供することはござ
いません。
「Beating」はお申し込みをいただいた方々に配信しています。無断転載をご遠
慮いただいておりますので、転載を希望される場合はご連絡下さい。

□登録アドレスの変更、登録解除などはコチラ
http://www.beatiii.jp/beating/?rf=bt_m012

□ご意見ご感想はコチラ
「Beating」編集担当　佐藤 朝美
（東京大学大学院　学際情報学府　山内祐平研究室　博士課程1年）
satomo@beatiii.jp

□「BEAT」公式Webサイト
http://www.beatiii.jp/?rf=bt_m012b

□発行
東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」

Copyright(c) 2008. Interfaculty Initiative in information Studies,
The University of Tokyo. All Rights Reserved.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━