danielislearning Goto Github PK

generalnewsextractor

新闻网页正文通用抽取器 Alpha 版.

gerapy

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Scrapyd-Client, Scrapyd-API, Django and Vue.js

haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis

happy-spiders

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

hello

helloworld

hive

lots of spider (很多爬虫）

interesting-python

有趣的Python爬虫和Python数据分析小项目(Some interesting Python crawlers and data analysis projects)

interview

Interview = 简历指南 + LeetCode + Kaggle

interview_python

关于Python的面试题

ipproxypool

IPProxyPool代理池项目，提供代理ip

jd_spider

两只蠢萌京东的分布式爬虫.

jdpackage

跨平台的京东全能工具包 仅供学习使用，群：108934299 线报监控网站:http://www.xbjk.xyz

learn-regex

Learn regex the easy way

lianjia-beike-spider

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个**主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 🚁，点星支持

meituanappspider

美团APP爬虫，可获取指定城市范围内所有美食店铺信息，包含店铺名称、类别、评分、所属片区、经纬度、详细地址、优惠套餐情况、营业时间、联系电话、累计售出份数、餐厅简介、特色菜......

movie_robot

使用网络爬虫搜索视频源，支持关键字和链接搜索，主要的解析源来自全民解析，通过网络爬虫对播放页面进行解析，找出最原始的播放网页，然后拿出最原始的播放链接（无广告效果）对URL进行显示在Django网页上，通过Django桥接的方式进行VIP视频观看，利用js+css制作搜索页面，最后通过Pythonanythere进行Django托管,欢迎体验

news_spider

新闻抓取（微信、微博、头条...）

nyspider

各种爬虫

paddlenlp

Easy-to-use and Fast NLP library with awesome model zoo, supporting wide-range of NLP tasks from research to industrial applications.

patent_spider

使用西瓜代理爬取国家知识产权局专利信息

patentspider

proxy_pool

Python爬虫代理IP池(proxy pool)

puzzle

🌷 使用5000张二次元图片生成海报大图，计算颜色相似度。Make a poster with 5000 pictures，Python spider and Color similarity measure

py-elasticsearch-django

基于python语言开发的千万级别搜索引擎

python

Python脚本。模拟登录知乎， 爬虫，操作excel，微信公众号，远程开机

python-100-days

Python - 100天从新手到大师

python-crawler

从头开始 系统化的 学习如何写Python爬虫。 Python版本 3.6

python-crawler-tutorial-starts-from-zero

python爬虫教程，带你从零到一，包含js逆向，selenium, tesseract OCR识别,mongodb的使用，以及scrapy框架

python-ffmpeg-video

Python调用ffmpeg开源视频处理库，来实现视频批量的处理：水印、背景音乐、剪辑、合并、帧率、速率、分辨率等操作