danielislearning Goto Github PK

51job-spider

🔎 前程无忧 Python 招聘岗位信息爬取和分析

aiss-spider

爱丝APP图片爬虫，以及免支付破解VIP看图

anti-anti-spider

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

awesome-python-login-model

😮python模拟登陆一些大型网站，还有一些简单的爬虫，希望对你们有所帮助❤️，如果喜欢记得给个star哦🌟

awesome-spider

爬虫集合

bili-spider

📺 B 站全站视频信息爬虫

break-on-access

break on access to a property

captcha-crack

破解验证码 Use CNN to crack Captcha code.

captcha_break

验证码识别

captchavarilength

cnn_captcha

use cnn recognize captcha by tensorflow. 本项目针对字符型图片验证码，使用tensorflow实现卷积神经网络，进行验证码识别。

cookie-pool

一个强大的Cookie池项目，超乎你的想象

crack-js

🕷🎯Python3爬虫项目进阶实战、JS加解密、逆向教程 - 犀牛数据 | 美团美食 | 企名片 | 七麦数据 | 淘大象 | 梦幻西游藏宝阁 | 国家企业信用信息公示系统 | 漫画柜 | 财联社 | **空气质量在线监测分析平台 | 66ip代理 | 零度ip | **产品大目录

crack_slider

缺口类滑块验证码识别

crawl_spider

crawling_the_web

《虫术:Python绝技》随书源码

daguerrespider

50张配图，超细教程！一步一步的教你用Scrapy爬取草榴网站的图片，并下载到本地。欢迎star

darknet_captcha

基于darknet实现目标检测，提供识别点选验证码的实例和训练自己数据的API

doubanspider

豆瓣读书的爬虫

douyin-bot

Python 抖音机器人，论如何在抖音上找到漂亮小姐姐？😍

douyin_spider

抖音爬虫

douyin_spider-1

批量下载收藏的抖音短视频

ecommercecrawlers

实战🐍多种网站、电商数据爬虫🕷。包含🕸：淘宝商品、微信公众号、大众点评、招聘网站、闲鱼、阿里任务、博客园、百度贴吧、豆瓣电影、包图网、全景网、豆瓣音乐、某省药监局、搜狐新闻、机器学习文本采集、fofa资产采集、汽车之家、国家统计局、百度关键词收录数、蜘蛛泛目录❤️❤️❤️

elasticsearch-rtf

elasticsearch中文发行版，针对中文集成了相关插件，方便新手学习测试.

eleme-crawler

饿了么商家数据爬虫

examples-of-web-crawlers

一些有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。

files

Docs and files for ScrapydWeb, Scrapyd, Scrapy, and other projects

fuck-login

模拟登录一些知名的网站，为了方便爬取需要登录的网站

funnlp

中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(Python)库：知识图谱概念链接预测、Scattertext 文本可视化(python)、语言/知识表示工具：BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等）、word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对、语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库。

funpyspidersearchengine

借鉴自慕课网-2019.06.19更新【Scrapy 1.6.0爬取数据 + ElasticSearch6.8.0+Django2.2搜索引擎】【爬虫端】(知乎 & 拉勾(暂不可用) & 伯乐)