文件名称:spider_baike-master

介绍说明--下载内容均来自于网络,请自行研究使用

一个简单的初级爬虫程序通用网络爬虫又称全网爬虫(Scalable Web Crawler),爬行对象从一些种子 URL 扩充到整个 Web,主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。 由于商业原因,它们的技术细节很少公布出来。 这类网络爬虫的爬行范围和数量巨大,对于爬行速度和存储空间要求较高,对于爬行页面的顺序要求相对较低,同时由于待刷新的页面太多,通常采用并行工作方式,但需要较长时间才能刷新一次页面。 虽然存在一定缺陷,通用网络爬虫适用于为搜索引擎搜索广泛的主题,有较强的应用价值.(General web crawler, also known as Crawler Web (Scalable), crawling objects from some seed URL expansion to the entire Web, mainly for portal sites, search engines and large Web service providers to collect data. Their technical details are rarely published for commercial reasons. The range and quantity of this kind of crawling web crawler to crawl speed and huge storage space for higher requirements, requirements of the order page crawling is relatively low, at the same time due to refresh the page too much, usually with parallel, but take a long time to refresh a page. Although there are some defects, the general web crawler is suitable for searching for a wide range of topics for search engines, and has a strong application value.)
相关搜索: Python

(系统自动生成,下载前可以参看下载内容)

下载文件列表

spider_baike-master

spider_baike-master\README.md

spider_baike-master\__init__.py

spider_baike-master\html_downloader.py

spider_baike-master\html_outputer.py

spider_baike-master\html_parser.py

spider_baike-master\requirements.txt

spider_baike-master\spider_main.py

spider_baike-master\url_manager.py

相关说明

  • 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
  • 本站是交换下载平台,提供交流渠道,下载内容来自于网络,除下载问题外,其它问题请自行百度更多...
  • 请直接用浏览器下载本站内容,不要使用迅雷之类的下载软件,用WinRAR最新版进行解压.
  • 如果您发现内容无法下载,请稍后再次尝试;或者到消费记录里找到下载记录反馈给我们.
  • 下载后发现下载的内容跟说明不相乎,请到消费记录里找到下载记录反馈给我们,经确认后退回积分.
  • 如下载前有疑问,可以通过点击"提供者"的名字,查看对方的联系方式,联系对方咨询.

相关评论

暂无评论内容.

发表评论

*主  题:
*内  容:
*验 证 码:

源码中国 www.ymcn.org