网络爬虫项目，实现网络爬虫爬虫子系统基于Linux平台，分为主控模块、下载模块、URL提取模块和持久化模块，其中用到了Linux多路复用技术（Epoll模型），socket，多线程、正则表达式、守护进程、Linux动态库等Linux系统开发技术。-Web crawler project, network subsystem is based on the Linux platform reptile reptiles, divided into the main control module,