实战 Cnn 卷积神经网络识别验证码,准确率99.5%
2022-02-17 13:41:51   来源:51cto   评论:0 点击:

 

一、背景介绍

这是一个运行了2年的个人小项目,最近目标网站改为扫码登录,于是公布出来作为技术分享。项目缘起是女神参与的签到活动,坚持了很久,后来嫌麻烦,中途放弃又觉得可惜,问我能不能实现程序自动登录+签到。我打开某网站看了下,python+selenium就可以实现,但人家要的是全自动,这就需要把验证码自动识别的难点攻克掉了。懒永远是技术进步的源动力啊,不过我对机器视觉本身也比较感兴趣,那些年小区和单位的门口都是车牌识别了,也想借此机会探究一下这门技术是怎么回事。

先上两张镇楼图,一张是准确率统计,一张是实战截图。其中动图只进行了验证码识别,没有登录操作,仅用于效果展示。本文不会对技术细节及理论原理做太多介绍,只是展示一下听起来高大上的人工智能+机器学习+计算机视觉,个人也有很多场景可以把玩的。如果对这个效果感兴趣,可以接着往下看看:

二、分析验证码:

某网站的验证码还是挺复杂的,有四套模版,有的加了干扰线,有的是用点阵构建字母,有的进行的各种扭曲,还渲染上了七彩色。

先去网上看看有没有现成的轮子,方法很多,简单的方法能实现,就不用麻烦的。

1、先试试谷歌的tesseract、pytesser3,都是一回事,代码极其简洁,两三行就出结果,勉强可以接受吧,规规矩矩的字,识别率还挺高,但稍加变形,结果就驴唇不对马嘴。

2、本着一切从简的原则,还是打算依赖pytesser3,给它喂适合的数据,把验证码转灰度图、二值化、滤波降噪、模糊各种手段组合着用,还测试了4位验证码切割成4张小图片,以单字符识别的形式提高它的准确率。不过不论你用什么手段往它身上招呼,识别效果都差得远着呢。

3、只有祭出终极大招了,机器深度学习+卷积神经网络,在入这个坑之前,做了好久好久的心理建设,cnn这么大的坑我爬得出来嘛?经过了一个多星期的学习,跑出了镇楼图的效果,也稳定运行2年时间,可以简单分享一下大致调试过程了。

三、开发调试流程

cnn模型训练需要有训练集和测试集,这两个数据集,计算机需要知道答案,那么知道答案的数据怎么来?

1、先写个脚本,采集了200份目标网站的验证码,人工打上标签,把答案作为验证码图片的文件名前4个字符。

2、人肉打标效率太低。花钱打标?不至于吧,自己写个小程序签到玩,还要投资?那就自己生成一批吧。观察目标网站的验证码,扭曲、模糊、加线的手法挺像谷歌开源验证码开发包的,下一个回来,模拟一下。包是java的,在eclipse里略做改动,一顿午饭的时间就生成了50万张带答案的验证码。类似这样,文件名前4个字符就是答案。

3、训练集有了,下面搭建训练和部署环境,基于简便和通用性考虑,这次验证码图片不再切割,整体丢给机器去训练。

四、验证效果

到了收获的时候。程序调好,临近下班,把训练集和测试集丢给程序,6W数据CPU要跑一晚上,GPU只用20分钟。我这50W数据,GPU半个晚上也就训练完了。下面是第二天早上,实验环境下的数据,实验环境是指:训练集,测试集,考试集都是用同一套系统生成的。准确率达到97.3%。

那么在实际环境中,效果如何呢?实际环境是指训练集,测试集是通过自己写的代码生成的。而考试集是从目标网站采集回来并人工标识的。

真实环境才85%,有点低了对不对?把错误的地方都找出来查找一下原因:

类似这样的错误,是我识别错了,机器给我指出了答案的不正确,让我自愧不如啊。不过这感觉挺美妙的。

还有这种的,这么明显,怎么可能人肉识别错呢,后来一看键盘,7和U离得太近,一定手滑了。排除这些人工标识出错,真实环境的准确率达到90%。基本能符合自动登录的要求了。

五、如何提高准确率

后来我进一步思考,还有没有什么办法可以让准确率更高一些呢?实验环境和真实环境差在哪里,有7%的差距呢?目标网站一定是有哪些微调我没有观察到。比如这张:

左边六张图是模拟生成的验证码,右边一张图是人肉从目标网站上打来的码。肉眼看上去很像,字体上似乎有微小的差别,导致了实验环境与真实环境7%的准确率误差,要解决这个问题,有两个办法:

1、人肉打出足够多的码,以此为测试集,重新训练。效果应该不错,可是缺点也显而易见,哪有那么多功夫去人肉打码。或者有时间,就是懒,你要用技术去解决啊。这么一说,好像也有办法,Apple 的AI首秀就是治这种懒的,见办法2。

2、关键字:simgan。认真研究了相关的2篇论文,觉得有搞头啊,决定试一下。

六、提高准确率的进阶实验

又经过十几天的实验(训练一次太久了),对simgan原理有了更深的了解,SimGAN-Captcha的实验也完全复现,然后对其进行扩展,应用到自己的环境中进行样本增强,实验过程按这样的思路:

首先复现SimGAN-Captcha过程。然后改灰度图为RGB,通过无标识的真实数据和有标识的模拟数据,训练SimGAN-Captcha,通过训练好的模型,Refine上面提到的50万+1万模拟的训练数据,通过Refined的数据,重新训练验证码识别模型,统计准确率做对比。可是效果并不好,甚至肉眼放大也无法在像素层面上找到差异,可以说模拟的很逼真,也可以说Refine没效果。甚至让人怀疑,SimGAN-Captcha是否工作了。于是用另一套验证码生成器生成完全不相同的验证码,让SimGAN-Captcha在像素层面对新验证码进行强化,用以证明Refine确实是干活了。

经过了50多小时的训练,SimGAN-Captcha有了明显的增强效果,举个例子:

为了方便表述,从左到右我们依次叫它们1号、2号、3号、4号。1号是用完全不同的算法X生成的验证码,灰头土脸的。3号、4号是上文提到的目标网站的真实的不同形式的验证码。以算法X生成的类1号验证码为Synthetic数据集,以类似3号、类似4号验证码为real数据集,refine出来的合成验证码为2号。仔细观察2号,已经有了很多3、4号的特征,比如:1、不再灰头土脸,变得鲜艳了,P,K,H色彩对比都比较明显;2、干扰线有了彩色断点,这个特征很好的模拟了类3号样本;3、字母P与E有了类4号的点阵效果,模拟点阵应该是SimGAN的拿手好戏,如果让它把干扰线变扭曲就难为它了。

看来SimGAN的确有效果,它能在像素层面上,把模拟样本尽量向着真实样本的方向改造,不过,即使改造的“像一些”了,好像对准确率的提高也没多大帮助。用谷歌的captcha生成的验证码做Synthetic数据集,目标网站验证码做real数据集,进行训练,然后用这样的模型生成cnn的训练集与测试集,再对目标网站的验证码进行测试,准确率提高不到0.5%。用上面提到的算法X生成的验证码做Synthetic数据集,目标网站验证码做real数据集进行训练,然后用这样的模型生成cnn的训练集与测试集训练cnn,与直接用X算法生成的训练集与测试训练出的cnn模型,在正确率的对比上,只提高0.1%。把上面的过程用语言描述出来,都已经很绕了,实际训练时,尽量安排在晚上或周末,累计在训练上花了4、5百小时,花了这么大的时间成本,取得这么小的进步,确有不值。而当我走了一大圈,回到起点,试着把cnn的训练加强,对它提高要求,不以准确率达到99%为中止条件,要准确率达到200%才停止训练(类似while 1 循环),只用了一顿午饭的时间,准确率就有了2.2%的提升。用同样的600份实验数据做对比,上篇文章中准确率是97.33%,这次提高到99.5%,如镇楼图。对于验证码识别来说,在正确的道路上努力训练才是王道,SimGAN并没有那么好的效果。

SimGAN应该是有自己擅长的领域的,验证码增强不行,图像增强会不会效果不错?前文提到的苹果AI首秀的那篇论文,对眼球控制的图像进行样本增强,似乎效果显著啊,我也完成了复现,效果非常好,有机会再分享吧。

相关热词搜索:人工智能

上一篇:机器学习会成为数据安全新威胁和后门吗?
下一篇:2022年十大前沿科技:机器人未来有望变成多面手

本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306116;邮箱:aet@chinaaet.com。
分享到: 收藏