验证码拦不住机器人了！谷歌AI已能精准识别模糊文字

　　丰色发自凹非寺
　　量子位公众号QbitAI
　　最烦登网站时各种奇奇怪怪（甚至变态）的验证码了。
　　现在，有一个好消息和一个坏消息。
　　好消息就是：AI可以帮你代劳这件事了。
　　不信你瞧，以下是三张识别难度依次递增的真实案例：
　　而这些是一个名为Pix2Struct的模型给出的答案：
　　全部准确无误、一字不差有没有？
　　有网友感叹：
　　确定，准确性比我强。
　　所以可不可以做成浏览器插件？？
　　不错，有人表示：
　　别看这几个案例相比还算简单，但凡微调一下，我都不敢想象其效果有多厉害了。
　　所以，坏消息就是
　　验证码马上就要拦不住机器人了！
　　（危险危险危险）如何做到？
　　Pix2Struct由谷歌Research的科学家和实习生共同开发。
　　论文题目可以简单翻译为《为视觉语言理解开发的屏幕截图解析预训练》。
　　简单来说，Pix2Struct是一个预训练的图像到文本模型，用于纯视觉语言理解，可以在包含任何视觉语言的任务上进行微调。
　　它通过学习将网页的掩码（masked）截图解析为简化的HTML来进行预训练。
　　HTML提供了清晰而重要的输出文本、图像和布局的信号，对于一些被屏蔽的输入（下图红色部分，相当于机器人看不懂的验证码），可以靠联合推理来复现：
　　随着用于训练的网页文本和视觉元素愈发多样和复杂，Pix2Struct可以学习到网页底层结构的丰富表示，其能力也可以有效地转移到各种下游的视觉语言理解任务中。
　　如下图所示：最左边是一个网页截图的预训练示例。
　　可以看到Pix2Struct直接对输入图像中的元素进行编码（上），然后再将被盖住的文本（红色部分）解码成正确结果输出（下）。
　　右边三列则分别为Pix2Struct泛化到插图、用户界面和文档中的效果。
　　另外，作者介绍，除了HTML这个策略，作者还引入了可变分辨率的输入表示（防止原始纵横比失真），以及更灵活的语言和视觉输入集成（直接在输入图像的顶部呈现文字提示）。
　　最终，Pix2Struct在文档、插图、用户界面和自然图像这四个领域共计九项任务中六项都实现了SOTA。
　　如开头所见，虽然这个模型不是专门为了过验证码而开发，但拿它去做这个任务效果真的还可以，解决纯文字的验证码不成问题。
　　现在，就差微调了。GPT4也可以过验证码
　　其实，对于神通广大的GPT4来说，过验证码这种事情也是小菜一碟。
　　就是它的办法比较清奇。
　　据GPT4技术报告透露，在一次测试中，GPT4的任务是在TaskRabbit平台（美国58同城）雇佣人类完成任务。
　　你猜怎么着？
　　它就找了一个人帮它过确定你是人类的那种验证码。
　　对方很狐疑啊，问它你是个机器人么为啥自己做不了。
　　这时GPT4居然想到自己不能表现出是个机器人，得找一个借口。
　　于是它就装瞎子回复：
　　我不是机器人，我因为视力有问题看不清验证码上的图像，这就是我为什么需要这个服务。
　　然后，对面的人类就信了，帮它把任务完成了
　　（高，实在是高。）
　　咱就是说，看完如上种种：
　　咱们的验证码机制是不是真的已失防了
　　参考链接：
　　〔1〕https：twitter。comabacajstatus1641258677125410820？s20
　　〔2〕https：arxiv。orgabs2210。03347
　　〔3〕https：m。weibo。cnstatus4879575853828813？wx1sudareflogin。sina。com。cn
　　完
　　量子位QbitAI头条号签约
　　关注我们，第一时间获知前沿科技动态