全球人工智能：专注为AI开发者提供全球最新AI技术动态和社群交流。用户来源包括：北大、清华、中科院、复旦、麻省理工、卡内基梅隆、斯坦福、哈佛、牛津、剑桥等世界名校的AI技术硕士、博士和教授；以及谷歌、腾讯、百度、脸谱、微软、华为、阿里、海康威视、滴滴、英伟达等全球名企的AI开发者和AI科学家。

文章来源：Techug 作者：程序师视野

PornHubBot源代码介绍：

• PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接

• 项目爬的是PornHub.com，结构简单，速度飞快

• 爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络，所以相对慢一点。

• 10个线程同时请求，可达到如上速度。若个人网络环境更好，可启动更多线程来请求，具体配置方法见 [启动前配置]

所需的环境和架构：

• 开发语言: Python2.7

• 开发环境: MacOS系统、4G内存

• 数据库: MongoDB：

1. 主要使用 scrapy 爬虫框架

2. 从Cookie池和UA池中随机抽取一个加入到Spider

3. start_requests 根据 PorbHub 的分类，启动了5个Request，同时对五个分类进行爬取。

4. 并支持分页爬取数据，并加入到待爬队列。

启动前配置：

• 安装MongoDB,并启动，不需要配置

• 安装Scrapy

• 安装Python的依赖模块：pymongo、json、requests

• 百亿，源码，源码网

  根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

启动指令：python PornHub/quickstart.py

上一篇：

下一篇：