英単語の意味を知っているかどうか聞くことで語彙力を測定する診断サービスについて前回述べた。今回は、逆方向の質問を実装した。すなわち、日本語の意味を提示して、それに該当する英語の単語または熟語を選んでもらうというものだ。どちらの方が語彙力を測るのに向いているだろうか。まずは実際の和英方向の診断サービスを使ってみて欲しい。
「"invisible" の意味は？」と聞かれて「不可視, 見えない, 目に見えない, 隠れた」を選ぶのが前回説明した英和方向の診断であるが、それを逆にして、「"不可視, 見えない, 目に見えない, 隠れた" という意味の言葉は？」と聞かれて「invisible」を選ぶのが今回説明する和英方向の診断である。基本的な機能は双方で同じだ。使っているデータも、質問を作り出すアルゴリズムも同じだ。表示する際に英語と日本語を入れ替えただけである。そのどちらの方が語彙力を測定するのに向いているか、考えてみたい。
英和方向の診断を試してくれた人の多くが言っているのが、選択問題だと簡単すぎるということだ。何となくそれっぽいのを答えるだけで正答率が高められてしまうと。確かに、提示された語の接頭辞や接尾辞から大まかな意味や品詞が推定できるので、たとえその語を一度も見たことがなかったとしても、該当の和訳を選べることも多い。例えば「congruent」には「con」とつくから、何か一致するとか共起するとかいう含意がありそうで、「ent」で終わっているから形容詞かそれが転じた名詞っぽいなと山を張ることができる。さらに、キャピタライズされていないから固有名詞ではないっぽいし、綴りがラテン語とかギリシャ語っぽくはないから、生物種の学名とか医学用語とかでもなさそうだと推測できる。それだけの情報があれば、無作為に選ばれたダミーの多くは消去できてしまう。これはもう、選択式である以上は仕方のないことだ。ダミー選択詞の中に品詞が正解と同じものを増やすといった努力はしているが、その他の推測を防ぐことは難しい。接頭辞や接尾辞が揃った言葉をダミー選択肢に並べることは可能だが、そうすると似たような意味の言葉が並ぶことになって、かえって診断能力が低下する懸念がある。選択肢の数を増やせば当てずっぽうの正答率を下げられるが、診断に時間がかかりすぎるという欠点がある。記述式にできれば当てずっぽうを完全に阻止できるが、回答を機械的に採点するのは自動翻訳と同程度に難しい話になってしまう。なので、是非もないのだ。現状が最善だと思っている。
和英方向の質問方式に変えると、上述の問題にどのような影響があるのか。まず言えるのは、難易度が上がって感じるということだ。想定される被験者である日本人の英語学習者にとって、英語の意味を案出するのには知力を使うが、日本語の意味を理解するのは本能的に行える。英和方向の場合、知力を使うのは問題の語に対して1回だけだ。一方、和英方向の場合、候補の数の分だけ、すなわち6回も、知力を使わなければならない。しかも、難しい問題の場合、候補に上がる語の多くが未知語なので、ストレスが半端ない。接頭辞や接尾辞で意味を推測する方法は、既知の接頭辞や接尾辞がある場合に有効であるが、逆に言えば未知のそれらには無効である。そして、候補の中に何ら手がかりがない語が混じる可能性は高い。それによって、推測によって正解が得られる可能性がかなり減ると言える。その意味では、英和方向よりも和英方向の方が、真の語彙力を測りやすいと言えそうだ。
デメリットもある。個々の候補の判断にいちいち知力を使わねばならないため、検査にかかる時間が増える。気軽に何度もできるといのが診断サービスの肝なので、検査に時間がかかるのはいただけない。同じ時間を使うという制限を前提として考えるのであれば、英和のままで質問数を増やすことで精度の向上を図るという手も考えられるわけで、どちらが良いかは一概に言えない。また、そもそもデータソースがWordNetとWiktionaryから機械的に作った辞書なので、問題文として提示される和訳が最適でない可能性があるというのも問題だ。英和方向の場合、正解の和訳があまり的確でないとしても、候補の中で最も適切に見えるという条件を満たしていれば、妥当な問題として成立した。しかし、和英方向の場合、問題文として出される和訳があまり的確でなかった場合、全ての候補の検討に支障が生じることになる。実際のところ、明らかに誤訳であろうという例はあんまりないのだが、ちょっと不自然だな、最適ではないなと思うような例はそれなりに出てくる。また、音写の片仮名語を削った影響で第二義以降の和訳が問題文に出ることもある。例えば、「melon」の第一義「メロン」が捨てられて「瓜」が問題文になる。この場合にも、問題の質がかなり下がってしまう。
どちらが良いのかは私は断定できないでいる。多くの被験者に使ってもらって、より適切であるとの評価をいただいたものを、良いものだと判断したい。理想的には、より実際の実力を反映するものが良いものであるという評価をしたいところだが、個々の被験者の実際の実力を知ることは難しい。ちなみに、私自身で言うと、英和方向では17歳か18歳が出ることが多いのだが、和英方向では16歳が出ることが多い。16歳って高校1年生か。自分で大学生程度の語彙力があるとは思ってはいないので、そういう意味では和英方向の方が適切なのかな。しかし、ネイティブ話者と言っても知的レベルは様々なわけで、その年代の全てのネイティブ話者を母集団とするなら、もうちょい甘めに見積もっても良いような気もする。やっぱり「何となく」以上の根拠はない。
話は脱線するが、いわゆる診断サービスの功罪について論じてみる。まず大前提として、診断サービスの目的は、利用者を楽しませて、モチベーションを高めることにある。他方、できるだけ正確に英語の実力を測りたいのであれば、TOEFLなりTOEICなりを受けるべきだ。それらの採点も機械で行われるCAT（computerized adaptive test）なのだが、問題の作成は人間がやっているし、問題数も多いし、項目応答理論に基づいた配点を行っているので、精度が遥かに高い。TOEICでは全問正解しなくても満点990になり得るというのはよく知られた話だ。事前に入力させた実力レベルや他の問題の回答状況などの情報をもとに、「実力者なら正解するが非実力者なら不正解になる問題」に高い配点を与え、逆に「正解率と実力の相関が低い問題」には低い配点を与えるか無視する、というのが基本的な考え方だ。これは多くの被験者の回答を集めて統計処理することで初めて可能になる。そして、問題の作成工程にもその結果をフィードバックしていけば、テストとしての完成度をより高めていくことができる。
診断サービスは、そういうガチなテストを目指していない。ブラウザでアクセスして、お気楽に3分以内に済ませて、「俺、結構いけてんじゃん」とか「もうちょっと頑張らないとなあ」とか思うためのツールである。あるいは、結果をSNSに呟いて、意識高い俺ちゃんをアピールするとともに、「さすがです！」とかいうコメントを書き込む余地を他者に与えることでWin-Winな関係を維持強化するためのツールである。できるだけ正確な診断であることは望ましいが、正確さはあくまで手段にすぎない。誰でも無料で取り組めて、短時間に終わって、結果を見せ合って楽しい、という三つが必要十分条件だ。正確であることは必要条件でも十分条件でもない。誰が「脳内メーカー」に正確性を求めるだろうか。そういったわけで、世の中には診断系サービスが数多存在していて、その多くは正確性とか科学的妥当性みたいなものを一顧だにしていない。それを分かって楽しく使うのであれば、大いに結構だと思う。一方で、ちゃんと実力を測っている風に見えて、実際には全くそうでもないというサービスがあったとして、その結果で一喜一憂している人がいるとしたら、それは寂しいことだ。
さて、私がここでやりたいのは、診断サービスの枠組みの中で、できるだけ実際の実力を反映した結果を提示するということだ。そしてその判定の基準を、私にとっても他のユーザにとっても納得できるものにしたい。機械的に問題を作って機械的に採点しているし、その場で結果を出さなきゃいけないので統計処理もできないけれど、それなりに実力を測れる仕組みにしたい。正確性に限界があるのは大前提としつつも、「まあこの質問形式で出来ることってこれが最善だよね」という着地点を目指している。そもそも、TOEFLやTOEICでさえ、それらでいい点を取っていたとしても実際に英語で仕事や学業ができるかは保証されない。一方で、その逆は真だ。つまり、英語で満足にコミュニケーションができるのであれば、それらのテストでもそこそこの点が取れる。敢えて対偶を言えば、テストの点すらまともに取れないレベルで英語力を主張するのは厳しいということになろうか。私の診断サービスでもその点は同じで、満点取ればネイティブ並み、と言うのは正直言ってリップサービスに過ぎない。一方で、ネイティブならば安定して満点近くを出せるけど、非ネイティブなら苦労する、という特性は達成したつもりだ。
話を戻すと、和英方向の検査は、楽しさの点で劣るという欠点がある。個々の問題で確証を持って答えることが相対的に難しくなっているために、達成感が少ないというか、ストレスの方が大きく、やっていて疲れるし、時間も多くかかる。これは診断サービスとしてまずい。たとえより正確な診断結果が出るとしても、ちょっとイマイチかなと。
英和方向と和英方向を混ぜるというの手もある。前半は英和、後半は和英とかでも良いし、偶数と奇数で交互に出してもよい。出題と成績判定のアルゴリズム上、正解よりも不正解の影響が大きいため、難易度の高い問題形式を適量混ぜることで楽しさと精度の両立を図るというのは妙案かもしれない。とりあえず交互に出すようにしたデモがこれなので、試しに使ってみていただきたい。
他にも、類義語を選ばせるとか、英英辞典の英語の説明を選ばせるとか、5vs5くらいのマッチング問題にするとか、変種のアイデアはいくつかある。ただ、いろいろ苦労しても結局は単純な英和モードの方が良いという結果になりそうな予感がしている。
