xianhu / pspider Goto Github PK

View Code? Open in Web Editor NEW

1.8K 1.8K 508.0 834 KB

简单易用的Python爬虫框架，QQ交流群：597510560

Home Page: https://github.com/xianhu/PSpider

License: BSD 2-Clause "Simplified" License

Python 100.00%

crawler multi-threading multiprocessing proxies python python-spider spider web-crawler web-spider

pspider's Issues

请问框架中的priority， keys分别代表什么？

而且keys={"type": "360"}似乎并没有起作用，（ web_spider.set_start_url("http://zhushou.360.cn/", priority=0, keys={"type": "360"}, deep=0)）

直接使用setup.py安装的时候发现bitarray安装不上

bitarray最新的.8只支持到python3.3，这个模块安装的时候一直报错

AttributeError: module 'spider' has no attribute 'YunDaMa

不太明白weibo_user.py 中的 WeiBoLogin self.cookie_jar, self.opener = None, None self.yundama = spider.YunDaMa("", "") 这段，调用的时候也出错说‘AttributeError: module 'spider' has no attribute 'YunDaMa'’ 去spider里找了下也并没有找到有YunDaMa相关，不知道这里是什么用法还是缺失是一个bug了。

你好

你好，交流群已经满了，加不进去

关于爬虫代理ip

最近写爬虫经常遇到ip被封，于是爬了好多代理ip，但是代理ip可用性是个问题，超时、失效或者被封都要换ip，这块写起来很麻烦。我看PSpider里面没有这个模块，是通过别的方法绕过去了，还是暂时不需要呢，为什么我每次都遇到这个问题

concur_insts 稳定性问题

以下面代码为例，self.pool.finish_a_task(TPEnum.URL_FETCH) 以上的任意代码出现问题，都可能造成线程异常退出，导致程序无法正常结束。比较简单的解决办法是加个 try ... catch

def work_fetch(self):
    # ----1
    priority, url, keys, deep, critical, fetch_repeat, parse_repeat = self.pool.get_a_task(TPEnum.URL_FETCH)

    # ----2
    code, content = self.worker.working(url, keys, critical, fetch_repeat)

    # ----3
    if code > 0:
        self.pool.update_number_dict(TPEnum.URL_FETCH, +1)
        self.pool.add_a_task(TPEnum.HTM_PARSE, (priority, url, keys, deep, critical, fetch_repeat, parse_repeat, content))
    elif code == 0:
        priority += (1 if critical else 0)
        self.pool.add_a_task(TPEnum.URL_FETCH, (priority, url, keys, deep, critical, fetch_repeat+1, parse_repeat))
    else:
        pass

    # ----4
    self.pool.finish_a_task(TPEnum.URL_FETCH)
    return True

为什么将parser中的working()返回的url_list设置成列表而不是集合呢？

你好啊，请问将url_list设置成集合的话应该能避免一些重复的url，不是更好吗？
但是集合中的元素又不能是字典(keys),我可以将url_list改为集合,keys改为keys[1] 吗？除了:

inst_parse.py 中的working()
threads_inst_parse.py 中的working()
我还需要修改哪些地方呢？

i Cant run the Tool

Traceback (most recent call last):
File "test.py", line 13, in
from bs4 import BeautifulSoup
ModuleNotFoundError: No module named 'bs4'

phantomJS 的关闭问题

你在 dangdang 中提到 如果每一次爬取都反复开关 driver 开销太大，我也是这样认为的，但没有实际测试过。
如果要复用 driver，那么怎么保证所有打开的driver都能关闭呢？

抓取电影数量

用demos_doubanmovies一次一个标签最多可以抓取三百部电影，怎么才能抓取更多的电影呢？谢谢！

Dockerfile

ln -sf /usr/local/bin/python3 /usr/bin/python
ln -sf /usr/bin/python2.6 /usr/bin/python2

/usr/bin/yum
sed -i 's/usr/bin/python/usr/bin/python2/g' /usr/bin/yum

介绍可以再详细一些

感觉README里主要说的项目的构成，最好写个turtoial，别人看到也能更好上手

附带文档

你好！看之前的issues里面有提到说写了详细的文档，请问文档在哪里呢？谢谢！

为什么没有单元测试与 CI 检查？

Ask

应该以什么顺序读您的代码，才能够理解您的爬虫框架呢

consider an image fetch and saver ？

like this

def image_fetch(self, url: str):
        response = requests.get(url, headers={"User-Agent": make_random_useragent()}, stream=True, timeout=(3.05, 10))
        payload = urlparse(url).path
        _left_bound_pos = payload.rfind('/')
        _right_bound_pos = payload.find('.', _left_bound_pos)

        if (payload[_right_bound_pos + 1:] == 'jpeg' or payload[_right_bound_pos + 1:] == 'jpg') and \
                        response.headers['Content-Type'] == 'image/jpeg':
            _ext = '.jpeg'
        elif payload[_right_bound_pos + 1:] == 'gif' or response.headers['Content-Type'] == 'image/gif':
            _ext = '.gif'
        else:
            _ext = '.jpeg'

        return payload[_left_bound_pos + 1:_right_bound_pos] + _ext

如何用redis取代PriorityQueue

当我使用 redis 取代 PriorityQueue 时，无法结束线程。

大佬有没有兴趣接个广子啊

抓取豆瓣电影bid随机策略

请问一下，那个bid随机的策略还能用吗，之前我用了一下还能用，今天不能用了，你那边怎么样呢

文档

大神考虑写一份中文文档吗？读起来方便

新手请教问题

请问这个框架在控制爬取速度上怎么设计的？目前有些网站抓取过快会导致链接断开。另外某些站点需要验证码来通过下一页验证，例如**文书网，请问作者是怎样解决这些问题

Ask

笑虎大神你好：
刚接触爬虫这个领域，看了一下你的源代码，觉得设计的很好，我这里有个小小的疑问，你看我理解的对不对。
我的疑问是fetcher，parser，saver多线程之间是怎样相互协调的。
我的理解是在你的ThreadThreadPool里面有_number_dict这个变量，这个变量是所有其他线程共享的，其实相当于semaphore的想法，每次更新都需要lock起来，比如当fetcher获取到了新的url，parser就可以去根据这个信号量的变化进行下一步的工作。
你看我这样理解对吗？
谢谢

应该用 python3 setup.py install 进行安装

我用的是Ubuntu16.04 ，装有python2.7.12 和 python3.5.2 。python 默认是指向python2.7.12。使用 python setup.py install 安装的话，有各种奇怪问题。

AttributeError: module 'spider' has no attribute 'make_random_useragent'

您好,我这面找不到这个,这个User-Agent,是不是可以定义一个静态的,也可以写成一个动态的random

豆瓣爬取遇到301和403

在运行test_demos.py的时候，会遇到301错误。在修改demos_doubanmovies的fetch方法，使得重定向被允许之后，还是会出现403。请问还有哪些设置可以修改，以成功爬取豆瓣的电影数据呢？

license

最好加下license

不太理解 set_start_url 中的 keys 与 deep 的作用

def set_start_url(self, url, keys=None, priority=0, deep=0)
url 为 fetch 的目标
priority 用于 priorityQueue，从 queue 取出的优先级

那么 keys, deep 的作用分别是什么？
deep 是 fetch url 的深度吗？如何与 self._max_deep = max_deep # default: 0, if -1, spider will not stop until all urls are fetched 一起起作用的？是如何实现 deep 的逻辑的？

keys
在抓取豆瓣中，通过 keys[0] 来区分抓取的是索引页面还是电影详情页

Debug 问题

新手，想修改parser，也就是inst_parse.py，用threads方法用以抓取电影天堂下载链接(使用test_spider() 函数)，以下是修改的parser：

    def htm_parse_2(self, priority: int, url: str, keys: object, deep: int, content: object) -> (int, list, list):
        """
        parse the content of a url, you can rewrite this function, parameters and return refer to self.working()
        """
        *_, html_text = content

        url_list = [], save_list = []
        if (self._max_deep < 0) or (deep < self._max_deep):
            
            if not re.compile(r"/\d{8}/").search(url): #如果输入网址是列表网页 ，则抓取各个电影的下载链接网页       
                a_list = re.findall(r"<a href=\"(?P<url>[\w\W]{5,}?)\" class=\"ulink\">[\w\W]+?</a>", html_text, flags=re.IGNORECASE)
                url_list = [(_url, keys, priority+1) for _url in [get_url_legal(href, url) for href in a_list]]

            else:#如果输入网址是下载链接网页，则抓取下载链接
                download_url = re.search(r"<td style=\"WORD-WRAP: break-word\"[\w\W]*?><a href=\"(?P<url>[\w\W]{5,}?)\">", html_text, flags=re.IGNORECASE)
                save_list = [(download_url.group("url").strip(), datetime.datetime.now()), ] if download_url else []

        return 1, url_list, save_list

另外修改初始的url 为http://www.ygdy8.net/html/gndy/oumei/list_7_12.html 一个其他部分不变，但是刚允许程序就结束了，log信息为：

WARNING:root:MonitorThread[monitor] start...
WARNING:root:ThreadPool set_start_url: keys=None, priority=0, deep=0, url=http://www.ygdy8.net/html/gndy/oumei/list_7_12.html
WARNING:root:ThreadPool start: fetcher_num=10, is_over=True
WARNING:root:FetchThread[fetcher-1] start...
WARNING:root:FetchThread[fetcher-2] start...
WARNING:root:FetchThread[fetcher-3] start...
WARNING:root:FetchThread[fetcher-4] start...
WARNING:root:FetchThread[fetcher-5] start...
WARNING:root:FetchThread[fetcher-6] start...
WARNING:root:FetchThread[fetcher-7] start...
WARNING:root:FetchThread[fetcher-8] start...
WARNING:root:FetchThread[fetcher-9] start...
WARNING:root:FetchThread[fetcher-10] start...
WARNING:root:ParseThread[parser] start...
WARNING:root:SaveThread[saver] start...
WARNING:root:ThreadPool status: running_tasks=0; fetch=(0, 0, 0/(5s)); parse=(0, 0, 0/(5s)); save=(0, 0, 0/(5s)); total_seconds=5
WARNING:root:FetchThread[fetcher-1] end...
WARNING:root:FetchThread[fetcher-2] end...
WARNING:root:FetchThread[fetcher-3] end...
WARNING:root:FetchThread[fetcher-4] end...
WARNING:root:FetchThread[fetcher-5] end...
WARNING:root:FetchThread[fetcher-6] end...
WARNING:root:FetchThread[fetcher-7] end...
WARNING:root:FetchThread[fetcher-8] end...
WARNING:root:FetchThread[fetcher-9] end...
WARNING:root:ParseThread[parser] end...
WARNING:root:SaveThread[saver] end...
WARNING:root:FetchThread[fetcher-10] end...
WARNING:root:ThreadPool status: running_tasks=0; fetch=(0, 0, 0/(5s)); parse=(0, 0, 0/(5s)); save=(0, 0, 0/(5s)); total_seconds=10
WARNING:root:MonitorThread[monitor] end...
WARNING:root:ThreadPool end: fetcher_num=10, is_over=True

也没调过threads 程序，不知道该怎么调试，debug 模式也无法做到一步一步进行，请问问题出在哪里呢？另外可否推荐以下怎么调threads相关的程序，需要其他模块吗，比如winpdb等等？
谢谢！

Recommend Projects

React

A declarative, efficient, and flexible JavaScript library for building user interfaces.
Vue.js

🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
Typescript

TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
TensorFlow

An Open Source Machine Learning Framework for Everyone
Django

The Web framework for perfectionists with deadlines.
Laravel

A PHP framework for web artisans
D3

Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

javascript

JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
web

Some thing interesting about web. New door for the world.
server

A server is a program made to process requests and deliver data to clients.
Machine learning

Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Visualization

Some thing interesting about visualization, use data art
Game

Some thing interesting about game, make everyone happy.

Recommend Org

Facebook

We are working to build community through open source technology. NB: members must have two-factor auth.
Microsoft

Open source projects and samples from Microsoft.
Google

Google ❤️ Open Source for everyone.
Alibaba

Alibaba Open Source for everyone
D3

Data-Driven Documents codes.
Tencent

China tencent open source team.