【検証】ChatGPT-4は共通テスト現代文の5択を正解しうるか？
2019年、『AI VS 教科書が読めない子供たち』というタイトルの書籍が発表され、大ベストセラーになった。当時はAI黎明期であり、その可能性について過度に楽観的な言説や、不必要なほどに悲観的な意見がぐるぐるとぐるぐるしていた。
そんな混沌とした状況の中、この『AI VS 教科書が読めない子供たち』は当時における一つの"答え"を提示した、と言って差し支えない。
2019年に出版された、その書籍の結論を簡潔に述べると
「AIは文脈を読めない、読解力がないので、人類が差別化するにはそこを頑張るのがよい」
というものだった。だが書籍の発表から幾年経った今、状況は大きく変わってきている。
どう考えても今(2023/5/20)のAIは文脈を読める
少なくともこの本が出版された2019年の時点では、AIは簡単な文章の同義判定すら出来なかった。
・1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。
・幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。
当時のAIはこの二文が同義かどうかを判定できなかった。聡明な読者ならお分かりいただけるだろうが、この二文は同義ではない。一文目においては、ポルトガル人を追放したのが誰なのか明示されていないからだ。
さて……五年経った今、とりあえずChatGPT4に質問してみた。
【悲報】AIくん、まだ同義文判定ができない
この結果にはさすがの野崎も失笑してしまった。
生成AIは前の文章の続きを予想するに過ぎないため、細かい論理は判断できないというのは通説ではあるが、やはりこのように同義文判定はできなかった。
これは不安になってきた。お前……本当にやれるのか？
センター試験、ましてや難関大国公立の二次試験の現代文解けんのか……？
てかなんとなく国語力って人間が持つ最後の砦みたいなイメージある。数学はパソコンでできそう、翻訳もパソコンでできそう。でも国語は……みたいな。人間としてのプライドの端っこにある感じがする。自由意思とか理性に対する近代以降の人間の矜持がかかわってるのかなあ、知らんけど。
共通テスト2021現代文：香川雅信『江戸の妖怪革命』をChatGPT4に解かせる
さて現代文を解かせるにあたり突き当たった問題はトークンの問題である。トークンの問題とは畢竟、AIに投げることができる文字数制限のことである。問題文全部投げようとすると上限を超えるので、ある程度間引く必要がある。
問題によっては回答範囲を絞ることができるので、回答根拠に必要な箇所のみを抜粋して質問を作成した。
当然、ここで回答根拠を示す領域を、野崎が意図的に指定することはよろしくない。回答根拠の領域を区切ることも現代文を解くうえでとでも重要な能力だからだ。
でも仕方がないのでゆるしてほしい。
問２の設問および、Chat-GPT4に放り投げた質問は以下のようなものだ
フィクションとしての妖怪、とりわけ娯楽の対象としての妖怪は、いかなる歴史的背景のもとで生まれてきたのか。 確かに、鬼や天狗など、古典的な妖怪を題材にした絵画や芸能は古くから存在した。しかし、妖怪が明らかにフィクションの世界に属する存在としてとらえられ、そのことによってかえっておびただしい数の妖怪画や妖怪を題材とした文芸作品、大衆芸能が創作されていくのは、近世も中期に入ってからのことなのである。 つまり、フィクションとしての妖怪という領域自体が歴史性を帯びたものなのである。 妖怪はそもそも、日常的理解を超えた不可思議な現象に意味を与えようとする民族的な心意から生まれたものであった。人間はつねに、経験に裏打ちされた日常的な原因ー結果の了解に基づいて目の前に生起する現象を認識し、未来を予見し、さまざまな行動を決定している。ところが時たま、そうした日常的な因果了解では説明のつかない現象に遭遇する。それは通常の認識や予見を無効化するため、人間の心に不安と恐怖を（ カンキする。このような言わば意味論的な危機に対して、それをなんとか意味の体系のなかに回収するために生み出された文化的装置が「妖怪」だった。 それは人間が秩序ある意味世界のなかで生きていくうえでの必要性から生み出されたものであり、それゆえに切実なリアリティをともなっていた。 民間伝承としての妖怪とは、そうした存在だったのである。
文中の「"民間伝承としての妖怪"」とは、どのような存在か。その説明として最も適当なものを、次の1～５から選べ
1人間の理解を超えた不可思議な現象に意味を与え日常世界のなかに導き入れる存在。
2通常の認識や予見が無効となる現象をフィクションの領域においてとらえなおす存在。
3目の前の出来事から予測される未来への不安を意味の体系のなかで認識させる存在。
4日常的な因果関係にもとづく意味の体系のリアリティを改めて人間に気づかせる存在。
5通常の因果関係の理解では説明のできない意味論的な危機を人間の心に生み出す存在。
めっちゃ簡単に設問解説をする
問題が指定する下線部"民間伝承としての妖怪"が含まれる一文に注目すると、
『民間伝承としての妖怪とは、そうした存在だった』
とあるので、"そうした存在"を説明する、ここより前の文が回答範囲になることが確定するという感じ。あとは、「妖怪」という言葉についての記述を注意深く見れば正解するのはそんなに難しくないです。
【朗報】AI、正解する
すごい、正解してる。しかもめっちゃ細かい説明まで……あれ？ これリピートしてるだけじゃね？
問題簡単すぎた説
次の問題は同文の問４だ。問題文はトークンの許す限り長めに引っ張ってきた。質問は以下のようなものだ。
中世において、妖怪の出現は多くの場合「凶兆」として解釈された。それらは神仏をはじめとする神秘的存在からの「警告」であった。すなわち、妖怪は神霊からの「言葉」を伝えるものという意味で、一種の「記号」だったのである。これは妖怪にかぎったことではなく、あらゆる自然物がなんらかの意味を帯びた「記号」として存在していた。つまり、「物」は物そのものと言うよりも「記号」であったのである。これらの「記号」は所与のものとして存在しており、人間にできるのはその「記号」を「読み取る」こと、そしてその結果にしたがって神霊への働きかけをおこなうことだけだった。
「物」が同時に「言葉」を伝える「記号」である世界。こうした認識は、しかし近世において大きく変容する。「物」にまとわりついた「言葉」や「記号」としての性質が剥ぎ取られ、はじめて「物」そのものとして人間の目の前にあらわれるようになるのである。ここに近世の自然認識や、西洋の博物学に相当する本草学という学問が成立する。そして妖怪もまた博物学的な思考、あるいは嗜好の対象となっていくのである。
この結果、「記号」の位置づけも変わってくる。かつて「記号」は所与のものとして存在し、人間はそれを「読み取る」ことしかできなかった。しかし、近世においては、「記号」は人間が約束事のなかで作り出すことができるものとなった。これは、「記号」が神霊の支配を逃れて、人間の完全なコントロール下に入ったことを意味する。こうした「記号」を、本書では「表象」と呼んでいる。人工的な記号、人間の支配下にあることがはっきりと刻印された記号、それが「表象」である。
「表象」は、意味を伝えるものであるよりも、むしろその形象性、視覚的側面が重要な役割を果たす「記号」である。妖怪は、伝承や説話といった「言葉」の世界、意味の世界から切り離され、名前や視覚的形象によって弁別される「表象」となっていった。それはまさに、現代で言うところの「キャラクター」であった。そしてキャラクターとなった妖怪は完全にリアリティを喪フィクショナルな存在として人間の娯楽の題材へと化していった。妖怪は「表象」という人工物へと作り変えられたことによって、人間の手で自由自在にコントロールされるものとなったのである。こうした妖怪の「表象」化は、人間の支配力が世界のあらゆる局面、あらゆる「物」に及ぶようになったことの帰結である。かつて神霊が占めていたその位置を、いまや人間が占めるようになったのである。
「妖怪の『表象』化」とは、どういうことか。その説明として最も適当なものを、次の1～５のうちから―つ選べ。
１、妖怪が、人工的に作り出されるようになり、神霊による警告を伝える役割を失って、人間が人間を戒めるための道具になったということ。
２、妖怪が、神霊の働きを告げる記号から、人間が約束事のなかで作り出す記号になり、架空の存在として楽しむ対象になったということ
３、妖怪が、伝承や説話といった言葉の世界の存在ではなく視覚的な形象になったことによって、人間世界に実在するかのように感じられるようになったということ。
４、妖怪が、人間の手で自由自在に作り出されるものになり、人間の力が世界のあらゆる局面や物に及ぶきっかけになったということ。
５、妖怪が、神霊からの警告を伝える記号から人間がコントロールする人工的な記号になり、人間の性質を戯画的に形象した娯楽の題材になったということ。
めっちゃこの問題を簡単に解説する
「妖怪の表象化」が含まれる一文に注目すると"こうした妖怪の表象化"とあるので、回答範囲がここより前で確定します。
～化という言葉は、～化する前と後というニュアンスを含意しているので、表象化する前、の記号の話を踏まえて回答を探します。
でその辺をまとめると正誤判定ができます。
正解した……だと……？
AI すごい
どうやら共通テスト程度の五択なら問題なく回答できるようだ。それも考えてみればそれほど不思議な話ではないのかもしれない。結局現代文など文中にある言葉をまとめれば答えが出てしまうからだ。文章内で明示されていないことを(勝手に)読み取って誤読する能力のは生成系AIにとって逆に難しいのだと思われる。
