anyfly8 Goto Github PK

aes-example

akka-crawler

A simple web crawler based on Scala and the Akka framework

akka-crawler-example

Some example code of using Akka from Java

android-auto-clicker

android-auto-repeat-button

Android user-interface controls that repeat their associated click actions so long as the user is touching them.

android-crawler

基于Jsoup的 Android 网络爬虫，抓取海投网上的高校宣讲会信息。

arachnez

scala爬虫框架，使用了Akka actor。

blade-crawl

使用blade-kit完成的爬虫示例

chinese_regions_rails

**省市区县数据库，包含行政编码，邮政编码，地区拼音和简拼

chromesnifferplus

Sniff web framework and javascript libraries run on browsing website.

corelink

Android 开发中的日常积累

crawl-center

爬虫平台

crawler-mapred

分布式网络爬虫。

crypto-js

Automatically exported from code.google.com/p/crypto-js

dhtspider

DHT网络的一个小爬虫

distributecrawler

基于Map/Reduce爬虫,可抽取各大新闻网站的新闻正文并进行分类和聚类

distributed_spider_pku_java

1. 主要分为三个模块，一个爬虫抓取模块，一个是数据处理模块，一个是用户模块。 2. 爬虫抓取模块主要是从直播吧、新浪体育、网易体育上爬取有关足球的新闻和用户关于足球的评论，利用集群HADOOP抓取网页，分析得出URL集，提取特征URL 3. 网页linux脚本过滤得到原始网页，然后二次过滤得到文本，并使用分布式储存。 4. 处理模块主要是根据训练集规则一和规则二，得到分词器，然后对文本进行操作，得出训练结果。 5. 通过特征脚本得到训练结果的特征词分类，然后提取出球队模糊集和球星模糊集。 6. 过滤得到球队精确集和球星精确集，并存入MYSQL数据库。 7. 从数据库中提取球星和球队的信息进行图表分析，并动态显示WIKI信息，调入显示模块中和用户进行交换

distributedcrawler

华南理工大学高英实验室进行的分布式爬虫项目,除了实验室内部人员外,不得私自传播.

dzikka

Dzikka - web crawler implemented using Akka actor framework

egg

一个通用的爬虫

ferrit

Ferrit is a web crawler service written in Scala using Akka, Spray and Cassandra.

goodcrawler

网络爬虫

guozhongcrawler

GuozhongCrawler的是一个无须配置、便于二次开发的爬虫开源框架，它提供简单灵活的API，只需少量代码即可实现一个爬虫。其设计灵感来源于多个爬虫国内外爬虫框架的总结。采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试，定制执行js、自定义cookie等功能。在处理网站抓取多次后被封IP的问题上，guozhongCrawler采用动态轮换IP机制有效防止IP被封。另外，源码中的注释及Log输出全部采用通俗易懂的中文。让初学者能有更加深刻的理解

hailingshi

淘宝零食类垂直爬虫

hive

一个简单的通用爬虫

hosts

:statue_of_liberty:最新可用的google hosts文件

kanon

可配置、自动调度的爬虫工具

luckymoney

一个旨在帮助手慢人士抢微信红包的android项目，实现了微信红包自动抢的功能，最低支持版本android4.1.2。实现原理是检测通知栏消息判断是否有红包，自动打开微信聊天列表，借助AccessibilityService去模拟人工点击，实现秒抢红包，手慢的人，你们有福了！！！

markdown_resource

some useful resource

mingqq