本文共 462 字，大约阅读时间需要 1 分钟。

学习笔记来源

1.爬虫的介绍

自动从互联网获取所感兴趣的数据的一段程序。

2.爬虫技术的价值

未来是信息为王的社会，要好好抓住这个末班车，听了这个价值，整个人都激动得不行。

3.爬虫技术的架构

这个网页可以将互联网相关网页的数据都爬取下来。

• 爬虫调度端：

  启动爬虫，停止爬虫，监视爬虫运行情况

• URL管理器：

  对将要爬取的和已经爬取过的URL进行管理；可取出带爬取的URL，将其传送给“网页下载器”

• 网页下载器：

  将URL指定的网页下载，存储成一个字符串，在传送给“网页解析器”

• 网页解析器：

  解析网页可解析出①有价值的数据②另一方面，每个网页都包含有指向其他网页的URL，解析出来后可补充进“URL管理器”

4.爬虫技术的架构

5.URL管理器功能

url管理器的目的防止循环抓取，重复抓取同样的url

6.URL管理器的实现方式

set可以剔除重复的内容，防止重复爬取；

x.明天继续学习