如今，我们处在人工智能，大数据离的时代，很多公司在开展相关的业务，但是人工智能和大数据中有一个东西非常重要，那就是数据，但是数据从哪里来呢？
我们来看下面这个原由网例子：
这是百度指数的一个截图，他把在百度搜索的关键词做了提取，然后进行了统计，然后根据统计结果得出某个词语的趋势，之后进行了简单的展示。
类似的网站还有很多，比如微指数，阿里指数，360指数等等，这些网站有非常大的用户量，他们能够获取自己用户的数据进行统计和分析。
那么对于一些中小型的公司，没有如此大的用户量的时候，他们该怎么办呢？
通常有以下几种方式来获取数据：
- 去第三方的公司购买数www.58yuanyou.com据(比如企查查)
- 去免费的数据网站下载数据(比如国家统计局)
- 通过爬虫爬取数据
- 人工收集数据(比如问卷调查)
在上面的来源中：人工的方式费时费力，免费的数据网站上的数据质量不佳，很多第三方的数据公司他们的数据来源往往也是爬虫获取的，所以获取数据最有效的途径就是通过爬虫爬取。
这就引出了什么是爬虫，//www.58yuanyou.com其实爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端（如浏览器、App）发送网络请求，接收请求响应，然后按照一定的规则，自动的从响应中提取出需要的数据。
我们来打开百度新闻，点击任何一个链接都会跳转到其他网站，这原由网就说明百度的新闻数据都是其他网站上的，在百度新闻上仅仅做了一个入口。
百度的搜索引擎（包括其他各大搜索引擎）就是一种爬虫，一般称为通用爬虫，他们从互联网中搜集网页，采集信息，用这些网页信息为搜索引擎建立索引提供支持；
而平时所说的爬虫，更多的指聚焦爬虫，这是一种针对特定网站爬取特定数据的爬虫，平时提www.58yuanyou.com到的爬虫，通常指的是这种。
