このブログを検索

2018/03/21

2018.3.21 研究メモ TOEFL PBTとTOEICのスコア変換に関するメモ

日本の大学ではTOEICが広く受験されていますが,いっぽうでTOEFLの旧バージョン(コンピュータを使わず紙と鉛筆で行うpaper based test:PBT)を利用する大学も存在します。

神戸大学でも,新入生に外部テストを受験させていますが,その際,学部により,TOEIC受験を指定しているところとTOEFLを指定しているところがあります。個人的には,各学部がそれぞれの理念をふまえ,受験するテストを指定することは基本的に望ましいことだと思います。

ただ,学生全体の英語力を分析しないといけない立場で言うと,学部により,年度により,受けるテストが変わるのはなかなか悩ましいところです。異なるテストは異なる構成概念に基づいて作成されているものなので,異なるテストのスコアを換算するのは,本来,適切なことではありませんが,ある種の大まかな目安として,スコアを換算したいという実際的なニーズがあるのも事実です。

TOEFL(PBT)とTOEICの換算については,かつて,2つのテストの作成元であるETSが以下の公式を紹介していました。

TOEIC= (TOEFL-296) / 0.348

この公式は「あくまでも参考情報」にすぎないという注記を付けた上でですが,大学の学生用パンフなどでも言及されていますし,また,大学院受験においてこの公式で変換しているところも存在する(していた?)ようです。

ということで,私も過去のデータ分析ではこの公式を使っていたのですが,直観的に,この公式だと,TOEFL受験者に非常に不利になるという印象がありました。たとえば,明らかに英語力が高いはずの医学生のTOEFLスコアを上の公式でTOEICスコアに換算すると,TOEIC受験学部より下になってしまったりするのです。

そこで,新たな実験を行うこととしました。実験に使ったのは,X学部の2013年新入生と2014年新入生のデータです。この学部は2013年までがTOEFL受験で,2014年以降がTOEIC受験に切り替わりました。2013年と2014年の同じ学部の新入生の英語力を同等と考えれば,これは回帰分析には非常に使いやすいデータです(実際,この2年間で新入生の学力に大きな差があったというデータは出ていません)。

それぞれの学生のスコア(約150人分)を降順に並べ替え,回帰分析を実施したところ,
以下の新しい変換式が得られました。

TOEIC = TOEFL*4.167 - 1497

モデルは有意(p< .0001),修正済み r^2= .95と非常に高いものになっています。

たとえばPBTの500点はTOEICの590点,PBTの550点はTOEICの800点という感じです。

現場の指導者としての直観とかなり符合するのですが,この公式だと,TOEFLの高得点・低得点ゾーンに歪みが生じます。たとえば,TOEFLの600点がTOEICの1000点(990点オーバー!)になってしまいます。このあたりはカービングでキャップをつけるような補正が必要になるでしょう。


※上は線形回帰(やはり左端と右端で回帰式からのずれが大きくなることがわかります)。下は対数(log)近似でいくぶんフィットネスを高めた場合。

ETSの公式と違って,逆にTOEFL受験者をoverestimateしている危険もありますが,「あくまでも参考情報」にすぎないという注記を付けた上で,1つの資料としてご紹介しておきます。