araycn Goto Github PK

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）

baidupanso

百度网盘搜索引擎

baiduyunspider

爱百应，百度云网盘搜索引擎，爬虫+网站

botbgsystem

新浪微博机器人项目

distribute_crawler

使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现

doubanspider

豆瓣读书的爬虫

doubanspiders

豆瓣电影、书籍、小组、相册、东西等爬虫集 writen in Python

findtrip

机票爬虫（去哪儿和携程网）。flight tickets multiple webspider.(scrapy + selenium + phantomjs + mongodb)

getcookies

Assistant for get HTTP ONLY Cookies.

itchat

A complete and graceful API for Wechat. 微信个人号接口（支持文件、图片上下载）、微信机器人及命令行微信。三十行即可自定义个人号机器人。

jianshu-api

为简书网站写的一个 API

pyspider

A Powerful Spider(Web Crawler) System in Python.

pywechat

python 微信公共号框架 支持多账号

qiandao

签到

qqspider

QQ空间爬虫（日志、说说、个人信息）

qunarspider

qunarspider-1

去哪儿网酒店及评论爬虫

scrapy_jingdong

用scrapy写的京东爬虫

sina_reptile

获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了mongodb中

sina_weibo_crawler

利用urllib2加beautifulsoup爬取新浪微博

sinamicroblog_creeper-spider_verificationcode

A creeper used to catch concerns and fans in sina microblog. It can imitate login. When encountered with verification code,it shall down the code and wait for the user to type in.新浪微博爬虫，获得每个用户和关注的，粉丝的用户id存入xml文件中，BFS，可以模拟登陆，模拟登陆中的验证码会抓取下来让用户输入

sinaspider

新浪微博爬虫（Scrapy、Redis）

sniproxy

Proxies incoming HTTP and TLS connections based on the hostname contained in the initial request of the TCP session.

ssbc

手撕包菜网站

taobao

taobao-maijiaxiu

淘宝买家秀

tmall1212

天猫双12爬虫，附商品数据。

wechatrobot

一个基于微信公众号和图灵机器人开发的自动回复机器人项目。

wechatsogou

基于搜狗微信搜索的微信公众号爬虫接口

weibo-autofollow-bot

微博自动关注管理机器人