要約
ChatGPTにLSATの論理的推論セクションを解かせたところ、25問中19問正解しました。これは76%の正答率で、人間のテスト専門家を置き換えるにはまだ不十分です。これは有望な始まりですが、AIの性能を改善するために微調整と分析を行いながらも、重要な状況での最終決定には引き続き専門家に依存したいと考えています。
最先端のAIであるChatGPTが、難解なLSATの論理的推論の問題にどのように立ち向かうのか、考えたことはありますか？ 私たちは興味を持ち、それを試してみました。
課題と方法
ChatGPTにLSATプレップテスト93のセクション2を提示し、この難解な論理的パズルに挑戦させました。
私たちはゼロショットアプローチを用いました。 信頼性を向上させる技術について、小島武士らによる2022年の研究で詳細に説明されているように、「質問に答える前に、一歩ずつ考えてみましょう」というプロンプトを使用します。
パフォーマンス
ChatGPTは25問中19問の正解を獲得し、論理的推論問題に対して控えめな76%の正答率を示しました。対照的に、私たちのテスト専門家は論理的推論セクションで平均して23～25問の正解を出しています。
次のステップ
76%の正答率を反映したスコアカードでは、現在のChatGPTはすぐに我々の人間のテスト専門家に取って代わることはできません。
これは良いスタートですが、改良の余地があります。今後の計画は以下の通りです：
- ベースラインモデルの微調整を行い、AIのパフォーマンスを強化するために誤答問題の分析を行う。
- AIを活用して問題解決を支援し、重要な場面ではトップスコアのテスト専門家が最終判断を下すことを確実にする。
