在应对人工智能带来的学术作弊问题上，纽约大学的一位教授采用了创新的方法。他在一门名为 “AI/ML 产品管理” 的课程中进行了一次口试实验，结果揭示了学生知识的差距以及自身教学的不足。教授 Panos Ipeirotis 和共同授课的 Konstantinos Rizakos 发现，许多提交了高质量书面作业的学生，无法在口试中清晰解释自己作业中的基本决策。
图源备注：图片由AI生成，图片授权服务商Midjourney
为了解决传统考核方式的局限性，他们引入了一种 AI 口试，利用了基于 ElevenLabs 的语音 AI 代理。该考试分为两个部分，首先，AI 代理询问学生关于最终项目的目标、数据、建模决策、评估和失败模式等问题;接着，AI 会随机选择一门课程中的案例进行提问。36名学生在九天内进行了口试，平均每场考试耗时25分钟，总费用仅为15美元，每位学生的成本仅42美分。
虽然第一版的 AI 口试存在一些问题，例如学生觉得 AI 的语气过于严厉，且有时一次问多个问题，导致沟通不畅。经过调整后，AI 的表现有所改善。评分方面，采用了由 Claude、Gemini 和 ChatGPT 三种 AI 模型共同评分的方法，初始评分的一致性较低，但经过相互审阅后，评分的准确性得到了提升。
尽管大部分学生认为 AI 口试比书面考试更具压力，但70% 的学生表示这种考试确实考验了他们的实际理解能力。Ipeirotis 教授指出，AI 技术使得口试的实施变得可行，学生可以通过练习与 AI 的互动来提升自身能力。
划重点: