网络爬虫（Web Spider），又称网络蜘蛛或者网络机器人，是一种按照一定规则自动抓取互联网信息的程序。在大数据时代，网络爬虫已成为互联网抓取公开数据的常用工具之一，可以实现对文本、图片、音频、视频等互联网信息的海量抓取。Python 相比于其他语言非常适合做网络爬虫，它提供了众多的爬虫模块，因此 Python 爬虫技术成为当下互联网中比较火热的一门技术。