- 基本实现爬虫功能
- 文件分离
- 添加中间件功能
- 添加UserAgent中间件
- 合并请求响应控制器
- 合并请求响应队列
- 添加Items处理功能
- 添加FileItem, TextItem, JsonItem
- 添加Proxies中间件
- 修复了一些bug
- *异步爬取
- 修复thejakartapost改版造成的信息提取失败问题
- 增加Middleware处理函数参数crawler
- 修改Middleware处理机制
- 修复了一些bug
- 同步单线程程序的逻辑
- 修复了一些bug
- 修复Twitter程序
- 建立Twitter异步程序
- thejakartapost