Git Product home page Git Product logo

weibosuperspider's Introduction

2022 最新指南

https://buyixiao.github.io/blog/weibo-super-spider.html

作者简介

作者 inspurer
QQ交流群 751114777
个人博客 https://inspurer.github.io/

2021/11/25 更新

2021新版本微博超级爬虫来了

包括三个部分,微博话题爬虫,微博评论爬虫,微博转发爬虫,简介如下

微博话题爬虫可以根据关键词,按照时间段,爬取保存指定微博,出错了重新运行能继续抓取。

微博评论爬虫可以爬取想要的微博的评论,及其评论的回复,可以抓取上万条评论之多。

微博转发爬虫可以爬取微博的转发信息,以及转发微博的转发等,无限递归。

微博位置爬虫可以抓取指定地点下的

还有诸多微博关系图分析等,详细信息可以参考系列文章(部分爬虫文件只在微信公众号),地址如下:

2021 新版微博话题爬虫发布

2021 新版微博评论及其子评论爬虫发布

2021 微博最新转发爬虫发布

2021最新微博位置爬虫

后续更新,欢迎微信扫描下方二维码或者在微信内搜索 微信公众号:月小水长(ID:inspurer) 进行关注;

WeiboSuperScrapy

最强微博爬虫,用户、话题、评论一网打尽。情感分析,地理位置、关系网络等信息应有尽有。

GUI 功能集中版 (discard,请使用独立版本和查看微信公众号)

运行 GUI.py 即可爬取用户/话题微博

运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。

无 GUI 功能独立版

单独的 py 文件分别对立一个 功能,见名知意,或者去公众号中查看详细信息。

WeiboCommentScrapy.py 爬取评论(2021/11/15 确认失效,可查看公众号新版本)

WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期时间段搜索(比如 20200101-20200102)(20210918 确认已经失效,请使用 2021 新版微博话题爬虫发布 或者公众号里面的免 cookie 版本)

WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论,更为强大(2021/11/15 确认失效,可查看公众号新版本)

weibosuperspider's People

Contributors

inspurer avatar yarkable avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.