当90后高中生决定挑战AI检测
2023年寒假,当大多数高中生还在打游戏的时候,斯坦福在线高中的学生Benjamin Klieger做了一件让学术界瞩目的事:他发布了CheckforAi。
动机很简单却很直接——ChatGPT突然火了,老师们慌了,学生作弊的担忧满天飞,但市面上几乎没有能让人放心使用的AI检测工具。Klieger觉得,“如果没有透明度来知道内容是来自人类还是AI,生成式AI实际上是对行业和诚信的威胁”。
于是他花了整个寒假,自己动手写了一个。
它凭什么能打败商业巨头?
CheckforAi的核心技术是一套基于Transformer的神经网络文本分类器。但与市面上绝大多数检测工具不同,它做了几件很特别的事:
首先,它采用了一种叫“硬负样本挖掘与合成镜像”的训练算法。简单说,它不是简单地把大量人类文本和AI文本塞给模型训练,而是设计了一套“学习课程”——先让模型在某些数据上训练,然后主动发现最难分辨的样本,再针对性训练,直到模型能搞定这些“刁钻”案例。
其次,它的检测粒度非常细。 大多数AI检测器关注句子结构和整体随机性,而CheckforAi通过神经网络检测单个词汇的输出。它能标记出文本中每一个可疑的词,这种“显微级”的审视方式让它能发现经过人工编辑的AI文本,而那些只会看整体的工具往往就“漏网”了。
结果如何? 在包含8个主流AI模型(包括GPT-4)和10个不同文本领域(学生写作、新闻、科学论文、书籍等)的综合基准测试中,CheckforAi交出了一份惊人的成绩单:
-
准确率99%,竞争对手连95%都没到
-
假阳性率比第二名GPTZero低3倍
-
对GPT-4生成的内容,其他工具基本“瞎”了,它却能保持高检出率
有研究甚至发现,它的性能在某些测试中与Copyleaks不相上下,超过了许多老牌商业工具。
它“消失”了吗?
然而……这个故事有一个转折。
CheckforAi作为一个完全免费、非营利、不存储用户数据的检测工具,在经历了短暂的辉煌后,已经被其开发团队Uphold.ai停止服务,以便专注于新项目。
但它的“遗产”仍然重要。它的技术报告至今仍是AI检测领域的经典文献,它所证明的核心观点——通过精心设计的训练方法,AI检测模型可以达到“生产级”的准确率和极低误报率——启发了后来无数检测工具的研发思路。
最后说点实在的
虽然CheckforAi的官网现在可能已经无法使用,但了解它的故事对你仍有价值:
如果你是一位教育者或内容管理者,它提醒你:AI检测工具确实可以做到很高的准确率,但这需要背后有严谨的技术支撑。在选择工具时,可以参考它的技术思路——关注那些能提供细粒度分析、透明置信度、独立第三方评测的产品。
如果你是一位学生或创作者,它的故事也告诉你:AI和人类写作的边界正在变得模糊,而一个高中生都能为这个问题做出如此贡献,说明这个领域远未定型。
CheckforAi可能已经暂停服务,但它留下了一个重要的信号:即使是个人开发者,只要方法得当,也能在AI检测这个“猫鼠游戏”中走得很远。