CIEE Japanとの対談記事を作成しました。

PRESENCEでは日々、コースのカリキュラムの精査・改善に努めています。

2018年4月より、TOEFLのWriting自動採点システム「Criterion（クライテリオン）」を利用しています。
こちらのシステムは実際のTOEFLでも使われており、受講生の皆さまからの反響がとても良く、TOEFLコースのカリキュラムに欠かせないものになっています。
今回は、こちらのCriterionの提供をいただいている、CIEE Japanの根本様と対談の機会を設けさせていただきました。
・TOEFLライティングで良い点数を出すために、どんな点に気を付けるべきか
・ネイティブ添削よりも、Criterionは更に高い精度が出せるのはなぜか
・Criterion × PRESENCEのお互いの強みを生かし、さらに完成した仕組み
等の話合いをさせて頂きました。
 
***************************************************************************

＜対談＞ ※敬称略
矢野：本日はPRESENCEまでご足労いただきありがとうございました。
 
根本：こちらこそありがとうございます。

 

矢野：PRESENCEは2018年4月より、貴社の英語ライティング指導ツール「Criterion®（クライテリオン）」を利用していますが、受講生さんの反響がとても良く、今ではTOEFLコースのカリキュラムに欠かせないものになっています。
 
根本：それは何よりです。
 

矢野：改めまして、Criterion®の強みはどのようなものだと考えますか？

根本：Criterion®の強みはやはり「e-rater®」による英文エッセイの自動評価です。

ほんの数秒でスコアと文法等に関するフィードバックを得られるということは、指導する側がこれまでの伝統的なライティング指導で文法の添削にかけていた時間を内容や構造の指導に使えるということです。

このe-rater®も米国非営利教育団体Educational Testing Service（ETS）による開発で、特許も取得しています。TOEFL®テストにライティングのタスクが導入された（Test of Written Englishとして）のは1986年ですが、当時の出題形式と現在のTOEFL iBT®テストライティングセクションにおけるインディペンデントタスクの出題形式はほぼ変わりません。
つまり、e-rater®には30年以上ETSで培われたエッセイ評価のノウハウが生かされていると言えます。
そのe-rater®は現在のTOEFL iBT®テストのライティングセクションでも人間による採点と併用される形で実際に採用されています。
 

矢野：確かに、TOEFL iBT®テストでCriterion®と同じ自動採点技術が採用されているため、「本番と同じもので練習できる」というメリットはPRESENCEのカリキュラムにおいても大きな強みとなっています。

 

根本：ETSは250人以上の研究者を擁する研究機関でもあります。ひとつの技術の導入に至るまでには数々の研究の裏づけがあります。

e-rater®に関しても同様で、ある研究では訓練を受けた採点者とe-rater®が同じエッセイを採点した際のスコアの一致率が「97%」という結果も出ています。

そんなe-rater®を搭載するCriterion®とはいえ、直接指導を行ってくれるわけではありません。Criterion®がスコアやフィードバックで示すのは学習者の「現在地」であり、次のステップへの道筋は Criterion® ではなくPRESENCEのコーチといった方々に示していただく必要があります。

むしろCriterion®を使うことでコーチの方々の経験やクリエイティビティを発揮しやすくなるのではないでしょうか。

矢野：それは間違いないですね。

実際にPRESENCEのカリキュラムでは、「実際に書いて提出してCriterion®の評価を受ける」⇒「講義でコーチからフィードバックを受けて改善点を明確にする」⇒「書き直して再度提出」というプロセスをくり返して進行していきます。

受講生さんは講義の前にCriterion®からのフィードバックを確認した上で講義に臨むため、コーチである我々もより深い内容を話すことができ、効率が圧倒的に上がっています。

また、Criterion®を用いてコーチングを実施していく中で、どのようにすればハイスコアが狙えるのかというノウハウも現場レベルで蓄積されてきました。

Criterion®が示してくれた「現在地」から、何を最も優先して改善していくのが最も短期間で結果につながるのか、その道筋を示すことができるようになってきたのは、非常に大きいものだと感じています。

さらに副産物として、インディペンデントタスクの訓練であるCriterion®で磨いたライティング技術は、そのままインテグレーテッドタスクにも有効なことが分かり、PRESENCEのコーチングに更に厚みが増したように思います。

 

根本：理想的なCriterion®の実用例だと思います。

 

矢野：ちなみにCriterion®にはGRE®テストのトピックもありますね。

根本：はい。以前より2011年の改訂以前のGRE®テスト（GRE® General Test）のトピックはあったのですが、つい先日現行のフォーマットに対応したトピックも追加されました。

実はGRE®テストの採点にe-rater®が導入されたのはTOEFL iBT®テストよりも早く、2008年のことになります（Analytical Writingのみ）。

試験におけるe-rater®運用の歴史はTOEFL iBT®テストよりも長いわけですね。

e-rater®の信頼性は試験での採用という形でも裏付けられているので、Criterion®ユーザーの方はGRE®テストのWriting対策でも活用していただきたいと思います。

 

矢野：PRESENCEのGREコースにおいても、ぜひ活用させていただこうと思います。
今後とも根本さまとは、Criterion®に関して密に情報共有をさせていただけますと幸いです。
本日は貴重なお時間をいただきまして、ありがとうございました。

 

根本：実際に運用していく中で生じた疑問点など、いつでもご相談ください。
本日はお招きいただきありがとうございました。