原文：标题：风口观察|真锤！1.8亿条淘宝用户数据被盗，黑客8个月获利34万！平台数据频繁泄露，归咎于爬虫？
一周前的6月3日，河南省商丘市睢阳区人民法院在裁判文书网公布了一份刑事判决书。文件显示，两名犯罪分子爬取并窃取了淘宝的大量数据。经检方核实，被盗淘宝用户数据达11.8亿条，涉及UID、淘宝昵称、手机号等敏感信息。
判决书显示，2020年8月14日，淘宝(中国)软件有限公司向警方报案称，2020年7月6日至2020年7月13日，不法人员通过接口绕过平台风控，批量抓取数据。7月6日至7月13日期间，平均每天抓取500万次，抓取内容包括买家UID、淘宝昵称、用户手机号等敏感信息。
淘宝网调查后发现，邹某有重大作案嫌疑。接到报警后，当地警方将此事作为刑事案件处理。经审理查明，邹某受雇于李某，李某成立了一家名为“浏阳泰创网络科技”的公司，公司下设返利部、客服部、招商部等部门。
2019年11月至2020年7月，公司利用该信息获利，获利共计人民币。以侵犯公民个人信息罪分别判处胡某、李某有期徒刑三年三个月，并处罚金人民币10万元、35万元。
到底发生了什么？
相隔千里的两个人是如何联手制造出这起惊天大案的？
被告人邱某交代，其于2017年7月在QQ群里认识了李某。李某当时在做“淘宝客”，需要一些“淘宝客”软件。他给李某编了一个“微信加人”的软件，他没收钱。李某答应把他的技术算作股份，以后成立公司再跟我算这笔钱。
2019年3月，李某成立名为“浏阳泰创网络科技”的公司，邹某成为该公司技术人员。他在家远程工作，月薪一万元。
2019年11月，邹开始使用自己研发的爬虫软件“淘宝评价”，通过淘宝商品详情界面和淘宝信息共享界面抓取淘宝客户的淘宝数字ID和淘宝昵称，淘宝客户的手机号码信息可通过淘宝共享界面抓取。
其中，将被爬取的客户手机号码信息提供给李某，将被爬取的淘宝客户ID和淘宝昵称存储在自己的电脑硬盘中，未提供给李某并泄露。
而李某则会在收到淘宝客户的手机号后，将信息和数据导入“微信加”软件。添加微信好友成功后，将他拉入已建立的微信群，公司内的员工负责发送广告链接。淘宝用户在公司微信群里购买商品后，公司会获得提成。
就这样神不知鬼不觉地持续了8个多月，来回抓取了5000多万条信息，从其他地方下载了11亿多条数据。直到2020年8月14日，淘宝(中国)软件有限公司报警称，2020年7月6日至2020年7月13日，有不法人员通过接口绕过平台风控，批量抓取数据。7月6日至7月13日期间，平均每天抓取次数为500万次，抓取内容包括买家用户昵称、用户评价内容、昵称等敏感信息。
最终，邹和李被河南警方抓获。经公开检查，共有件淘宝客户信息，如数字身份证、淘宝昵称、手机号码等。是通过电脑开发的软件从电脑中抓取的。
值得注意的是，被告人邹称，11.8亿的数据以微信文件的形式发给李后，李会转一笔费用给他，总共获利只有六七万元。
不是第一次了。
数据泄露发生在几个平台
这已经不是淘宝第一次被恶意抓取淘宝数据了。
2019年5月，阿里妈妈在非法调查过程中，发现部分淘宝客非法抓取淘宝购物车、收藏夹等。在无线APP上，并在淘宝客做了恶性宣传推广。该行为严重违反《淘宝客应用开发者规范》第九条：开发者不得以任何形式抓取任何淘宝数据；违反《阿里妈妈推广者规范》第八条，流量劫持。
此次专项治理共发现此类违法app 43个，如粉象生活、省钱快车、羊毛省钱、还钱宝贝、喵喵喵、叮当叮当等。
事实上，这种情况不仅发生在淘宝上，2013年在JD.COM也发生过。数据泄露包括密码、手机号码、电子邮件地址和用户名。
今年4月，“恶意行为者”被指控泄露超过5.3亿用户的姓名和电话号码等数据。
记者梳理发现，很多大数据公司被调查的原因都与网络爬虫对数据的抓取有关。
2019年8月，据新京报报道，大数据营销系统鹰眼智客利用爬虫技术，从淘宝、JD.COM等网站抓取店铺手机号，然后用于营销。此外，借助这款软件，通过微信附近的人，用户可以任意设置虚拟地点，批量申请好友，还可以站在大街上钓鱼营销。后来鹰眼智科所属的郑州双赢科技有限公司被警方调查。
据南方都市报报道，2019年9月前后，多家数据公司相继被查，包括魔蝎科技、聚信利、欣彦科技、工信宝、同盾等。一位从事金融科技行业多年的资深人士告诉南都记者，被调查的原因很可能与违规使用爬虫数据和暴力催收有关。
今年年初，魔蝎科技相关案件迎来一审判决。判决书显示，魔蝎科技犯侵犯公民个人信息罪，罚金3000万元。判处公司法人周某某有期徒刑三年，缓刑四年；技术总监袁被判处有期徒刑三年，缓刑三年。
矛盾爬虫技术
网络爬虫最初指的是平台按照一定的规则从互联网上自动提取网络信息的程序或脚本。这就是互联网。
行业的常用技术之一。但近年来，爬虫技术往往被应用于套路贷暴力催收以及侵犯个人信息权益的商业营销上，而被推上风口浪尖。在一些场景，爬虫技术很容易游走在违法边缘。尤其在一些金融大数据公司中，爬虫业务被广泛应用。2019年下半年，一场严厉的监管风暴下，多家金融大数据公司接连被查，被查原因中多涉及违规利用爬虫技术的问题。
业内有这样一种说法，爬虫贡献了互联网50%的流量，它对于互联网的繁荣功不可没。但该技术同时也因“用途”而充满争议。爬虫是一项见不得“阳光”的技术，它广泛运用，却少有人愿意承认在使用它。因为它常常被用作非法收集信息的工具，站上数据隐私、数据安全的对立面。
“爬虫技术本身并无对错，但要看怎么用，用错了肯定违法啊”，一位程序员表示，“技术无罪，关键在于人”。
北京市安理律师事务所高级合伙人王新锐、罗为曾公开撰文表示，创新型业务很容易进入法律的灰色地带，但仅仅进入灰色地带本身，并不会直接招致处罚，严重侵犯了其他人的合法利益，才是被罚甚至失去自由的根本原因。
爬虫也是一项“矛盾”的技术。爬与反爬的“斗争”每天都在上演，力量此消彼长。
据一位资深程序员介绍，现在比较常见的反爬虫技术手段主要有，检测信息；设置IP访问频率，分析同一IP或同一设备在短时间内多次访问同一页面或进行相同操作；识别UA、通过动态页面增加爬取难度等方式。
这几年，随着AI的发展，一些机器学习、指纹等智能反爬虫技术也被运用起来。例如，腾讯云网站管家WAF就将AI检测引擎能力，运用到了爬虫Bot程序检测的环节上，AI引擎能够对站点访问流量的会话进行追踪，通过流量画像，匹配行为模型及行为标签进行识别，进而识别出爬虫Bot程序流量行为。
2019年5月，被称为“中国版GDPR”的《数据安全管理办法》征求意见稿发布，第16条规定，网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
一位业内人士认为，技术只是工具，在获取数据时需要考虑数据到底有没有获得授权，需要几方授权，在拿到用户授权的情况下，有没有拿到网站等数据来源方的授权，这其中涉及到的权责边界应该更明确。
随着监管越来越严格，爬虫技术的使用边界也将更加明晰。互联网从业者应当怀有敬畏之心，要时时注意不要触碰边界，毕竟，爬虫只是技术，灰色的是“助恶者”。
大众报业·风口财经综合整理，素材来源：中国基金报、南方都市报、AI在线、搜狐科技、36氪等
（本文观点仅供参考，不构成投资建议，投资有风险，入市需谨慎！）
本文链接：http://www.slxf119.com/17510.html 转载需授权！
网友评论