Beating 第61号
2009年度Beating特集「突撃！隣の○○科研」
第3回：突撃！隣の石岡科研（大学入試センター／石岡恒憲先生研究室の巻）
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
東京大学大学院 情報学環 ベネッセ先端教育技術学講座「BEAT」
メールマガジン「Beating」第61号 2009年6月30日発行
現在登録者数 2,151名
2009年度Beating特集「突撃！隣の○○科研」
第3回：突撃！隣の石岡科研（大学入試センター／石岡恒憲先生研究室の巻）
http://www.beatiii.jp/?rf=bt_m061
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
こんにちは。沖縄では、もう梅雨明けしたというニュースが飛び込んできま
したが、こちらは、まだまだ梅雨の真っ只中。とても蒸し暑い日が続いていま
すが、みなさま、いかがお過ごしでしょうか？
科研をめぐる直撃取材の第2回目は、独立行政法人大学入試センターの石岡
恒憲先生に直撃です。石岡先生には、ご自身で開発された“Jess”という小
論文自動採点システムのご紹介を中心に、お話をお伺いしてまいりました。
それでは、今月もはりきってスタートです！
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃★CONTENTS★
┃【特集】2009年度Beating特集「突撃！隣の○○科研」
┃ 第3回：突撃！隣の石岡科研(大学入試センター／石岡恒憲先生研究室の巻)
┃■お知らせ・2009年度 第1回 BEAT公開研究会 Webサイトのご案内
┃■お知らせ・Utalk
┃ 「似てる？違う？建築のデザインと都市のデザイン」のご案内
┃■編集後記
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┏━━┓
┃特集┠───────────────────────────────
┗━━┛ 2009年度Beating特集「突撃！隣の○○科研」
第3回：突撃！隣の石岡科研（大学入試センター／石岡恒憲先生研究室の巻）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
石岡先生は、平成19年度から2か年にわたり、基盤研究（B）「日本語小論文
の自動評価における総合的研究」の研究代表を務めていらっしゃいました。今
回は、この科研に関連して、日本における小論文の自動採点システムに関する
研究動向と、ご自身が開発された自動採点システム“Jess”についてお話を伺
いました。
■複数の小論文をわずか数秒で採点！ 石岡先生開発の“Jess”に迫る！
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
┌─┐
│Ｑ│早速ですが、先生の開発された“Jess”とは、一体どのようなシステム
└┬┘なのでしょうか？
│
│ “Jess”を用いると、800〜1600字程度の小論文を1秒足らずで自動
│採点できます。機械が採点しますので、好みや気持ちといった採点者
│の主観は取り除かれ、どんな答案に対しても客観的な評価が可能にな
│ります。
│
│ 大学入試で出題される小論文は、600〜800字程度のものが多く、欧
│米でのエッセイ試験に比べて、書く量が少なく時間にも制限がありま
│す。そのため、論理の展開をそこに入れ込むことが難しくなります。
│すると採点者は、論理の展開や深さよりも、書いてある内容に込めら
│れた書き手の思いを汲み取ろうとしてしまい、つい気持ちが入ってし
│まいます。また、大量の答案を短時間で評価するために、1つの答案
│を数分で採点することになり、どうしても機械的な処理をせざるを得
│ません。客観的でスピーディーな処理は、人間よりも機械の方が得意
│です。このように、採点にかかるコストが半減する上、採点者の主観
│を取り除けるという一石二鳥のシステムです。
│
│ おかげさまで朝日新聞や韓国KBSテレビなどいくつか取材も受けま
│した。実は商標登録もされています！
┌─┐
│Ｑ│“Jess”を使うと、どのように採点結果が出てくるのかお聞かせいただ
└┬┘けますか。
│
│ “Jess”には、インターネットで一般公開されているものと、自分
│のパソコンで動かすクローズド版の2種類があります。答案の情報が
│外部に公開されるのはちょっとセキュリティ上問題がある、あるいは
│バッチで処理したいという場合、学校でクローズド版を使用すること
│ができます。
│
│ では、クローズド版を実際に使ってみましょう。まず、「人生にお
│いて我々は自分がしたいこととすべきこと、どちらを優先すればよい
│のか、見聞きした事例を入れてあなたの答えを述べなさい」などのよ
│うに課題を設定します。そして、課題に対するテキストファイル化さ
│れた答案文を選択して、採点ボタンを押すだけです。字数制限も指定
│できます。答案は、修辞（文章としてよく書けているか）、論理構成
│（議論が順序立てて進められているか）、内容（出題文に適切に答え
│ているか）の3点から評価され、画面に全体の点数と個々の点数の両
│方が表示されます。また、「語彙の多様性が不足しています」や「議
│論の掘り下げが不十分であるように見受けられます」といった問題点
│の指摘もしてくれます。
■欧米のエッセイ採点システムとは異なる日本独自の手法を開発
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
┌─┐
│Ｑ│“Jess”では、どのような仕組みで自動採点を実現しているのでしょう
└┬┘か？
│
│ 欧米などで主流の自動採点システムは、採点済みの大量の小論文デ
│ータに対して、回帰分析やルール発見という手法を用いて人間の判定
│と機械の判定をいかに近づけるかということに主眼がおかれています。
│これに対し、“Jess”は、新聞の社説などの良質のプロのライターが
│書いた文章を手本にしています。これが、システムの最大の特徴です。
│
│ “Jess”では、あらかじめ新聞社の社説やコラムの文章を学習させ
│ておきます。そして、先ほどの3つの観点について、答案文が理想と
│する文章から外れた場合に、「適当でない解答」と判断して減点し、
│その詳細をコメントとして出力するという仕組みになっています。
│
│ また、2つ目の観点である論理構成に関しても、欧米のシステムと
│“Jess”とではアプローチが少々異なります。英語は、接続表現など
│の手掛かり語を多用するのに対し、日本語は、それらを意識的に避け
│る傾向があります。そのため、手掛かり語の出現頻度やパターンのみ
│に論理構成の把握を頼ることはできません。そこで、「〜すべきであ
│る」、「〜と見られる」といった、書き手の気持ちが現れる文末表現
│に着目しました。
┌─┐
│Ｑ│どうしてこんなに速く採点が可能なのでしょうか？
└┬┘
│
│ 答案の採点速度を上げるための工夫を随所に凝らしています。採点
│のもととなる学習のための文章データは大きいものですが、内容の観
│点については、特異値分解と呼ばれる次元縮約の手法を用いて、計算
│時間を短縮しています。また、データの入出力を文字コードではなく
│バイナリとして扱うなど、システムが十分高速に機能するような技も
│駆使しています。
■自動採点システムの過去から現在を語る
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
┌─┐
│Ｑ│小論文やエッセイの自動評価および採点についての研究は、最近20年の
└┬┘間で最も精力的に行われてきた研究のひとつと伺っております。小論文
│ の自動採点システムでは、どのようなものが実用化されているのでしょ
│ うか？
│
│ 欧米では、90年代後半からシステムの開発、実用化が進みました。
│アメリカ最大のテスト教育機関であるETSが開発したe-raterは、1999
│年から2006年までの間、アメリカのビジネススクール入学のための共
│通試験GMATにおける作文試験AWAの採点に使われていました。また、
│Vantage Learningが開発したIntelliMetricは、2007年より、アメリ
│カの医科大学院進学のための適性試験MCATの採点に用いられています。
│日本語を処理するシステムとしては、私たちのグループが最初で、か
│つ現時点でおそらく唯一のシステムであるJessを開発しましたが、ま
│だ実用化されていません。
┌─┐
│Ｑ│欧米での実用化が進む中、日本ではどのような流れにあるのでしょうか？
└┬┘
│
│ 大学入試センター試験は、マークシート方式を採用しています。マ
│ークシートは形式的で、問題の内容に踏み込めていないとの批判もあ
│り、これからは小論文の採点に、最新の自然言語研究の成果を活用し
│ようという試みが始まっています。欧米は実用主義の国なので、エッ
│セイの評価を機械が行うことにあまり抵抗はないようですが、日本で
│はなかなか難しい。加えて、英語と日本語は言語構造が違うため、欧
│米版のシステムを日本語版に変換することは容易ではありません。欧
│米では、論理を展開する際に接続表現が多用され、手掛かり語として
│重要視されています。しかし、日本語では接続表現は意識的に省略さ
│れます。そこで、“Jess”を開発するにあたっては、接続表現に頼ら
│ず文末表現から論理構成を把握するなどの工夫を加えました。
■国際会議で最新の研究と優秀な研究者に触れる！ その原動力は科研費から
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
┌─┐
│Ｑ│欧米を意識しながら研究を進められているとのことですが、その過程で
└┬┘科研費はどのような役割を担っているのでしょうか？
│
│ 自然言語処理に限らずコンピュータサイエンスの研究者にとっては、
│国際会議が最大の目標です。その渡航費に科研費を活用させていただ
│いています。私たちが狙っているのは、ACLやCOLINGなどのトップカ
│ンファレンスと呼ばれるものです。2006年にその2つが合同で開いた
│会議に参加し、発表をして来たのですが、それはもうすごく触発され
│ました。世界中から3000人以上の研究者が集まり、GoogleやMicrosoft
│の人事担当が大学院生のスカウトに来ていたりして、とても白熱した
│雰囲気を味わうことができました。普段会うことができない著名な先
│生や、分野の近い人たちと知り合うことができるのは、国際会議の大
│きな魅力です。トップカンファレンスともなれば、日本人もそんなに
│参加できるわけではないので、マイノリティ同士仲良くなったりしま
│す。そういった交流を通して、新しいアイディアが得られるだけでな
│く、自分の研究をワークショップの形で発信し、評価されることで、
│研究がよりアクティブに進むのもうれしい限りです。
■敵はGoogleやMicrosoft・・・!? 作文支援ツールとして高まる期待！
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
┌─┐
│Ｑ│今後、日本でも小論文の自動採点システムの研究が進んでいくことが予
└┬┘想されますが、現状ではどのような批判や期待が寄せられているのでし
│ ょうか？
│
│ 自動採点システムは、具体例としては実在しない固有名詞（「大泉
│元首相」など）や矛盾する表現（「第五四半期」など）の誤りを見抜
│くことができないのではないかといった指摘があります。また、「論
│理の立て方はうまいが語彙の選び方が良くない」、「語彙は豊富だが
│誤字脱字が多い」というように、採点の評価は複雑に絡み合っている
│わけで、それを機械が判断するのは難しいのではないかという批判も
│あります。また、論題の丸写しや論題と無関係の解答をするといった
│「チーティング」と呼ばれるズルに対処できなければ、採点ツールと
│しての利用は難しいといった危惧もされています。つまり、大量の採
│点を客観的にかつ高速に行う自動採点システムには、大学入試に導入
│する上で正当性はあるけれども、小論文の内容や独創性に踏み込んで
│評価することは難しいため、正統的ではないといった意見が、いまだ
│に根強いのが現状です。システムは人間と同じ仕組みで採点をしてい
│るわけではないので、こういった批判は永久に尽きないと思います。
│けれども、採点時にスコアを返すだけでなく、「ここが悪いからこう
│した方がいい」と言った対話的なフィードバックを返す機能を付ける
│ことができれば、作文支援ツールとして活躍の場が広がるのではない
│かと考えています。
┌─┐
│Ｑ│最後になりますが、自動採点にかける想いを教えていただけますか？
└┬┘
│
│ 自動採点システムには、採点コストの軽減という採点者側のメリッ
│トだけでなく、解答者の作文力の向上を支援し得るという夢がありま
│す。人間が採点するとき、どうしても自分の好みに近い人の文章を高
│く評価してしまうという傾向があって、そういったばらつきを取り除
│く意味でも、また採点の順番による効果を取り除く意味においても、
│自動採点システムは有効です。現在、インターネットで利用できる機
│械翻訳は使えないと思っている人はたくさんいると思いますが、科学
│技術は日々進歩しますので、やがて強力なツールとなる日は来るでし
│ょう。その意味でも、自動採点システムの研究に命をかけて取り組む
│私たちを、温かい目で見守っていただければと思っています。
＿＿＿＿＿＿＿＿＿＿＿＿＿＿
］ インタビューを終えて ［
￣￣￣￣￣￣￣￣￣￣￣￣￣￣
国際学会を通して、最先端の研究に触発され、新しいアイディアを形に
しようと日々研究に取り組まれている石岡先生の姿に、強く心を動かされ
ました。自動採点に対しては、「機械は人間のように複雑な判断をできな
いのではないか」「機械が内容や独創性の評価をできるのか」といった指
摘も数多くあるそうです。けれども、採点者の気持ちが入りやすい小論文
採点において、客観的な判断を素早くかつ的確に下す自動採点システムは、
大学入試にかかるコストの削減並びに効率化に大きく寄与することでしょ
う。そしてさらに、作文支援ツールとして精緻化されることで、今後ます
ます有効なツールとなりうるのだと思いました。石岡先生、貴重なお時間
をありがとうございました。
※残念ながら､Beating紙面だけでは､石岡恒憲先生と開発されたシステム
の魅力はお伝えしきれません｡そこで､システムの写真などをBEATブログに
掲載いたしましたので､宜しければご覧ください!
Beating 第61号：取材ノート (大学入試センター 石岡恒憲先生)
http://blog.beatiii.jp/beating_61.html
※e-ratorは、Educational Testing Service の登録商標です．
※IntelliMetricは，Vantage Learning, Inc の登録商標です．
◎特集記事協力◎
伏木田 稚子／東京大学 大学院 学際情報学府 修士1年
＿＿＿＿＿＿＿＿＿＿＿＿＿＿
］ 次回の直撃取材は ？ ［
￣￣￣￣￣￣￣￣￣￣￣￣￣￣
次回は、茨城大学教育学部の村野井均研究室を直撃予定です。村野井先生は
科研費を通じて、子どもたちが制作した映像を、放送局を通じて放映する試み
を行っています。どうぞ、お楽しみに...
┏━━━━┯━━━━┓
┃お知らせ│ Ｗｅｂ ┠────────────────────────
┗━━━━┷━━━━┛2009年度 第1回 BEAT公開研究会 Webサイトのご案内
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2009年6月6日（土）に、公開研究会「2009年度 第1回 BEAT Seminar」が
行われ、たくさんの方々がご参加下さいました。ありがとうございました。
セミナーでは、博報堂 イノベーション・ラボ 上席研究員 田村大氏、およ
び、リクルート ワークス研究所 主任研究員 豊田義博氏をお招きし、ご講演
を頂いたあと、参加者によるグループディスカッションならびにパネルディ
スカッションが行われました。
その内容を BEAT Webサイトに本日公開いたしました。当日出席出来なかっ
た方、内容を振り返りたい方など、どうぞご覧下さい。
http://www.beatiii.jp/seminar/038.html?rf=bt_m061
┏━━━━┯━━━━┓
┃お知らせ│ Ｕtalk ┠────────────────────────
┗━━━━┷━━━━┛ 似てる？違う？建築のデザインと都市のデザイン
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
UTalkは、様々な領域で活躍している東京大学の研究者をゲストとして招き、
毎月開催するイベントです。カフェならではの雰囲気、空気感を大切にし、気
軽にお茶をする感覚のまま、ゲストとの会話をお楽しみいただける場となって
います。
いわゆる「工学部」の中でも、「建築学」とか「都市工学」という分野はア
ートの要素を多く含んでいます。とりわけ、その「デザイン」という仕事は、
芸術的な側面とものづくりの側面の接点ともなっていますが、「建築デザイン」
と「都市デザイン」は近そうに見えて、実際には異なる面も多く、大学におけ
る設計教育の方法、デザインに対する姿勢や考え方にも違いがあるのだそうで
す。
7月のUTalkでは、この「建築のデザイン」と「都市のデザイン」の間を越境
した活動をしておられる、丹羽由佳理さん（柏の葉アーバンデザインセンター
ディレクター・東京大学客員共同研究員）に、それぞれのデザインの似ている
面と異なる面をめぐるお話をしていただきます。みなさまのご参加をお待ちし
ています。
■日時：7月11日（土）午後2:00〜3:00
■場所：UT Cafe BERTHOLLET Rouge（東京大学 本郷キャンパス 赤門横）
http://fukutake.iii.u-tokyo.ac.jp/access.html
■料金：500円（要予約）
■定員：15名
■申し込み方法：(1)お名前、(2)ご所属、(3)ご連絡先、 (4)このイベントを
お知りになったきっかけ、をご記入の上、utalk2009@ylab.jp までご連絡く
ださい。
※申し込みの締め切りは、7月3日（金）までとします。なお、申し込み者多数
の場合は抽選とさせていただく場合がございます。ご了承ください。
┏┯━━━━━━━━━┓
┃│ 編 集 後 記 ┠──────────────────────┤
┗┷━━━━━━━━━┛
今回は、取材で独立行政法人 大学入試センターへお伺いしました。私もか
つて大学受験のときに大学入試センター試験を受験しました。大学とは異な
り、高度なセキュリティを確保するため、もちろん普段はなかなか気軽にお
邪魔できるところではありませんので、そういった意味でも、貴重な体験を
させていただいたと思います。
ご意見・ご感想をお待ちしております。
「Beating」編集担当 御園 真史 (みその ただし)
-------次回発行は7月28日の予定です。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
本メールマガジンのご登録先は、ベネッセ先端教育技術学講座です。ご登録
にあたって、お知らせいただいたお名前・メールアドレスなどの個人情報は、
ベネッセ先端教育技術学講座にて、「Beating」からのお知らせのためだけに
使用いたします。また、ご本人の同意なく、第三者に提供することはございま
せん｡
「Beating」はお申し込みをいただいた方々に配信しています。無断転載は
ご遠慮いただいておりますので、転載を希望される場合はご連絡下さい。
□登録アドレスの変更､登録解除などは
http://www.beatiii.jp/beating/?rf=bt_m061b
□ご意見・ご感想は…
「Beating」編集担当 御園 真史 misono@beatiii.jp
（東京大学大学院情報学環ベネッセ先端教育技術学講座 特任助教）
□「BEAT」公式Webサイト http://www.beatiii.jp/?rf=bt_m061c
□発行：東京大学大学院 情報学環 ベネッセ先端教育技術学講座「BEAT」
Copyright(c) 2009. Interfaculty Initiative in information Studies,
The University of Tokyo. All Rights Reserved.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━