Topic
Data Gathering
436 published works
China Law Insight
金杜知识产权主题月 | 数据之争：网络爬虫涉及的法律问题（一）
By King & Wood
作者：瞿淼 焦晨恩 金杜律师事务所知识产权部 在大数据时代，除直接通过用户采集之外，另一大数据来源就是使用网络爬虫采集公开信息。爬虫的使用到了何种程度？有业内人士称，互联网50%以上，甚至更高的流量其实都是爬虫贡献的。对某些热门网页，爬虫的访问量甚至可能占据了该页面总访问量的90%以上。[1] 目前我国还没有专门针对爬虫技术的法律或者规范。一般而言，爬虫程序只是在更高效地收集信息，因此从技术中立的角度而言，爬虫技术本身并无违法违规之处。但是，随着数据产业的发展，数据爬取犹如资源争夺战一般越发激烈白热。数据爬取带来的各种问题和顾虑日渐增加。而“爬”与“反爬”的技术对抗成为军备竞赛一般永无休止，成为所有行业主体的痛。而爬与反爬之间的对抗赛，还存在无法避免的误伤率，导致正常用户的困扰。 数据爬取行为的界限应当如何确定？应当注意哪些问题？除了技术的解决途径，是否存在或应当存在法律层面的解决方案？这些需要技术与法律人群的深度沟通。 网络爬虫是个啥？ 网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。[2] 可以理解为一个自动访问网页并进行相关操作的小机器人。本质上就是实现高效、自动地进行网络信息的读取、收集等行为。在大多数情况下，爬虫技术的本质就是通过代码实现对人工访问操作的自动化操作。但是，由于爬虫系通过解析代码的方式工作，因此爬虫还有可能访问到人工访问不会访问、或者无法访问的内容。 最早的爬虫程序是1994年休斯敦大学的Eichmann开发的RBSE。著名的谷歌公司使用的Google Crawler是当时还是斯坦福大学生Brin和Page在1998年用Python开发的。[3] 网络爬虫有啥用？ 网络爬虫的应用场景很多，例如（1）搜索引擎都会使用爬虫程序；（2）抓取网络公开数据，建立某种专业数据库，例如股票交易数据库、外汇数据库、商户信息数据库等；（3）用于自身分析及经营行为，如各电商行业之间的比价；（4）建立数字图书馆；（5）其它可以进行数据利用的无限想象空间。 网络爬虫的行为举止 通常来说，一个网络爬虫的行为流程可以分解为几个步骤：（1）采集信息；（2）数据存储；（3）信息提取。 如同人类一样，爬虫根据其设计者的意志，会有不同的特点和行为举止。例如通过不同的算法设定，有的爬虫是爬得宽但是不深，或者反之，甚至有效抓取暗网；有的是主题爬虫，只关注某些内容；有的擅长爬取文字，有的擅长爬取视频或图片；有的长于爬取速度，有的长于准确，等等。 此外，还有的爬虫比较有礼貌，去爬取时会自报姓名（我是哪家的小爬），遵守网站主人的“家规”；有的野蛮粗鲁，生硬闯入，并且不遵守网站的规则。 网络爬虫造成的问题 网络爬虫造成的最主要问题和顾虑如下： 技术方面，过于野蛮的爬虫可能造成网站负荷过大（尤其多线程爬虫），从而导致网站瘫痪、不能访问等。 内容方面，网络爬虫可能导致网站所有人丧失对自己网站数据的控制权，例如有的数据是网站所有人不愿被他人获取的；或者如果网站数据来源付出了较大代价，却可能因为网络爬虫轻易大量被他人获取； 在结果方面，网络爬虫还可能造成他人数据被不正当地复制、使用。网站数据如果涉及他人个人信息，还可能因网络爬虫导致数据大量被他人未经数据主体同意而获取，从而伤害其利益。 目前的网络爬虫行为规则是啥？ 对爬虫来说，目前的网络世界仍类似WILD WEST，处于自由发展、技术为王、规则自定的状态。这很大程度源于网络行为的匿名性和不可追踪性。尽管，程序和机器的行为目前仍然是人类行为的结果、受人类意志的控制、并服从于人类的目的。但相关的行为结果和责任却难以归结于操控其的人类主体。 但是，如果我们回忆一下，在过去网站人类使用者也曾经经历过身份难以被识别、法律责任难以追究的历史。但是，随着实名制的强制推行，互联网渐渐不再是匿名黑箱，而是能够在很多情形下实现身份识别和法律追责。所以，我们认为，即便在目前爬虫所有人身份难以被精确识别的情况下，仍然应当认识到爬虫的规则界限及法律风险。 使用爬虫的法律风险 如上所说，爬虫的行为举止各不相同。尽管目前没有非常直接的规定，但我们已经可以从现有的法律规定及司法案例中推导出部分规范和原则。 不遵守robots协议的法律风险 Robots协议是技术界为了解决爬取方和被爬取方之间通过计算机程序完成关于爬取的意愿沟通而产生的一种机制。另一种类似的机制为设置Robots…
The Data Advisor
FTC Grants Sears’ Petition to Reopen and Modify 2009 Order Concerning Online Browsing Tracking
By Tracy Shapiro, Libby Weingarten
The Federal Trade Commission (FTC) recently granted a petition by Sears Holding Management requesting that the FTC reopen and modify a 2009 FTC order settling charges that Sears failed to…
Eye On Privacy
Biometric Breakdown Part II – Collection
By Liisa Thomas
Continuing our series, we look today at what a company should think about when collecting biometric data. Three U.S. states—Illinois, Texas, and Washington—have laws on-point. The Illinois statute is the…
LawSites
E-Discovery Company Catalyst Acquires TotalDiscovery for Legal Holds and Collections
The Denver-based e-discovery technology and services company Catalyst today announced that it has purchased a majority interest in TotalDiscovery, a company that provides a cloud-based legal hold and data collection platform.…
Gender and the Law Prof Blog
A Poor Mother’s Right to Privacy
By Tracy Thomas
Danielle Keats Citron, A Poor Mother's Right to Privacy: A Review, 98 Boston J. L. Rev. (forthcoming)Collecting personal data is a feature of daily life. Businesses, advertisers, agencies, and law…
Global Media and Communications Watch
Connected Vehicles in Focus at 2018 CES
By Ari Fitzgerald, Tom Peters, Wesley Platt
In addition to displaying a wide array of next-generation connected vehicle technologies, the 2018 Consumer Electronics Show (“CES”) hosted lively discussion of the new possibilities that will be created as…
Consumer Finance Monitor
CFPB adjusts HMDA data collection, TILA mortgage escrow thresholds
In notices published in today's Federal Register, the CFPB adjusted the thresholds of the asset-size exemptions for collecting HMDA data and establishing an escrow account for certain mortgage loans under…
Pay Equity Advisor Blog
The Fight to Keep EEO-1 Pay Data Collection
Just when it appeared settled that EEO-1 Pay Data reporting was no longer on the table, advocacy groups have filed a lawsuit to reinstate the rule. In November, the National…
CommLawBlog
New European Privacy Laws Going Into Effect Mean ALL Companies Need to Review their Data Collection
By FHH Law
Our websites are global, our e-commerce offerings reach customers around the world, our Internet radio broadcasts elicit responses from listeners around the globe and our consultants often hail from London…
Consumer Finance Monitor
Mulvaney puts hold on CFPB data collection, takes other actions as Acting Director
We have previously blogged about reports that Mick Mulvaney, President Trump’s designee as CFPB Acting Director, has put a 30-day freeze on all regulatory action, CFPB hiring, and new enforcement…