大数据技术如何有效阻击网络黑产？
最近，互联网行业的"网络安全"事件频发。仅8月就发生了多起网络黑产***事件，包括国内某重要通信企业多地子公司遭遇Globelmposter勒索病毒***。华住集团被曝旗下酒店约5亿条数据被泄露。新三板公司瑞智华胜假借与运营商合作之名，非法窃取了30亿条用户数据，涉及BAT等近百家互联网公司的用户。
有数据显示，2017年全球企业遭受网络***总量较去年增长15%，严重性增加了23%。网络安全事件不仅侵害了用户信息安全，也损害了互联网企业经营安全，其破坏性已经不再局限于传统意义上的物质、财产损失，而是影响到运营、制造乃至人身安全。
APP运营中会遇到哪些网络黑产***？
APP运营离不开用户，但是坐在工位上的你，并不知道你的用户是真实的还是机器虚拟的。网上有《Bot Traffic Report 2016》的报告数据显示，2016年机器人流量占全网流量的51.8%，超过人类流量，而其中恶意机器人流量占据了全网流量的28.9%。
有一半的用户都是机器人，想想也是怕人，而更可怕的是那近三成的恶意机器人流量，他们会对运营工作带来什么样的损害？以下是笔者总结的APP运营中最常见的网络风险。
1、竞争对手与不良短信代理商的恶意刷量
很多APP的注册页面，都会要求用户填写真实的手机号，用于注册、登录、找回密码等操作。但页面本身无法判定用户填写的手机号是否为个人真实的手机号，这也为应用的竞争对手与短信代理商提供了可趁之机
--他们会利用黑产的相关工具，向大量手机号码随机发送短信，产生高额短信费用，造成经济损失，也对并没有使用平台但收到验证短信的普通用户造成了骚扰。
2、推广公司刷量
某些APP在产品早期会找专门的推广公司宣传产品。部分不良推广公司会使用自动化工具批量注册，导致团队付出了大量推广费用，却并未吸引真实用户。
3、注水、广告党***
相信大家在日常刷一些内容类社区的过程中，偶尔会遇到热门帖子下面大量水军出没、各类账号借机打广告蹭热度的情况。而这些注水、广告党，在注册小号之后，从接码平台获取大量账号登录APP，为了某些营销目的发送大量垃圾广告甚至违法信息，严重影响了平台的正常运营，破坏了社区氛围。
4、羊毛党***
APP在推广时会采用现金奖励等优惠活动，招来第一批用户，但是当产品本身有利可图的时候，最先被吸引的就是羊毛党。羊毛党在APP做运营活动时通过钻空子获利，大大地影响了活动的质量和效果。
5、撞库***
很多互联网用户为了方便记忆，会将多个平台的账号设置为同一个密码。***者利用这一特点，通过自动化工具，获取了用户在部分网站、APP泄露的账号密码，尝试用于其他网站或APP的登录，这对用户的账号安全来说，是重大安全隐患。一旦发生重大事件，APP运营方也有不可推卸的责任。
揭秘：APP防护+大数据有效命中网络黑产
事实上，APP对抗网络黑产的阻击战一直在进行，封IP，验证码，短信验证等都是较为常见的对抗策略。但是由于网络黑产混杂在真实用户当中，APP运营无法精确瞄准他们，往往在对抗中处于被动位置。随着大数据技术的发展，"精准"的概念也被引入"风险控制"领域。目前行业几家"领头"大数据服务商正在积极探索大数据在"反欺诈"方面的应用实践。有了大数据的加持无疑是给APP在反击时加了一副瞄准镜，能够有效地识别电脑对面是真实的用户还是虚假的***者。具体作用于以下几个方面：
1、精确地"黑产"画像
在传统APP防护措施里，也会建立行为分析模型用于识别网络黑产，比如：行为聚集，根据用户登录过程行为判断，例如页面停留时间、鼠标焦点、页面访问流程、csrf-token等。设备聚集，通过客户端尤其是手机客户端，上报许多机器信息，识别是否存在伪造设备情况。
然而"网络黑产"通过模仿真人行为，能规避后台的行为分析模型，从而迷惑APP运营者，钻了空子。现在，有了大数据技术的加持，APP对黑产的数据分析有了很大的革新。目前，一些第三方大数据服务商依托自有的海量数据积累和领先的大数据分析技术，结合APP自有数据，用户群标签体系，以及多方权威数据，比如全网黑名单库等进行多维度建模分析，由此产生精准的"黑产"画像。此外，第三方大数据服务商还能将数据分析通过可视化技术展现，便APP运营者使用。
举个例子，比如"个推"的反欺诈大数据服务，对"黑产"画像进行了便于解读的处理。他们给每个分析维度都附上分值，并最终通过统计手法得出用户风险评分及等级评估，便于APP进行用户分类，进行精准的风控运营。
APP对于风险评分高的用户采用积极的防护措施，在业务上予以限制，减少甚至停止红包与优惠的发放。
APP对于风险评分低的用户酌情减免防护措施。这么做既能保障APP和用户的安全，也能提高用户体验。
2、高智商的验证防护
APP阻击网络黑产的部署中，设置验证码是最广泛部署的方案。
图形验证码
形式形式多样，例如字母扭曲、汉字识别、移动滑块、图像选择等。普通APP直接接入验证码，有后台分析能力的则在后台审计出现异常时才触发验证码以提升普通用户体验。
短信验证
通过向手机发送验证码，进行真人认证。但这一做法会产生一定短信费用，且用户操作比较麻烦。然而，网络黑产是有办法对付传统验证码防护措施。对于普通验证码，网络黑产会利用机器学习技术，可以有效识别图片中的验证码。对于个别识别难度较高的验证码，黑产也雇佣了一些打码人员进行人工识别。对于短信验证，网络黑产通过手机卡商廉价获取大量手机号，再批量进行验证。
针对这些问题，不少大数据服务公司都提出许多创新的解决方案。一方面，大数据公司利用技术优势（机器学习技术也是大数据技术的一种）产生出机器不易识别的验证码。例如动画验证码，利用真人对动画的识别能力强于机器的特点，在保证良好用户体验的前提下，提升安全性，增加破解难度。另一方面，大数据公司通过多维度数据洞察，发现识别接码平台，有效进行抵制。
3、精准的狙击对抗
当APP面对网络黑产***的时候，查封IP地址是比较正面且效果突出的对抗策略。以往封IP的做法是根据黑IP库或同IP发起的请求次数、密码错误率等决定是否一段时间内禁止该IP的请求。但是由于同一个IP地址上会有数万个用户，容易误删用户。因此在无法识别真用户的情况下，APP不到万不得已是不会采用这种办法的。在大数据的帮助下，通过"黑产画像"，不仅可以辨别问题IP，还能洞察出问题IP地址上的"黑产"用户，进行有针对性的封锁行动。
黑产的***与APP的防护是矛与盾的对决，也是一场漫长的持久战。APP不仅需要及时跟进黑产新技术，尽可能频繁地更新防护策略，增加黑产的破解成本，还需要与业内的"安全卫士"们并肩作战，保障用户信息安全，提升用户体验，有效净化行业环境，维护网络安全。
参考资料：
澎湃新闻/湃客:华住
5亿条数据泄露，背后的网络黑色产业链究竟是怎样的？https://www.thepaper.cn/newsDetail_forward_2393889
