Git Product home page Git Product logo

pxer's Introduction

Pxer

中文文档 | English

A tool which for pixiv.net, which written by pure clint javascript and which PV attained 10k+.

Open source, free and easy to use even you are not a development. Please go install page for using.

Development

  1. Change your Chrome config for allow insecure in localhost Navigate to chrome://flags/#allow-insecure-localhost and set this to enabled
  2. Go project directory and run npm install for install dependence
  3. Run npm run dev
  4. Add 'src/local.user.js' in TamperMonkey
  5. Open some web page and you will see the run result

License

MIT

pxer's People

Contributors

pea3nut avatar setokaiba avatar xuejianxianzun avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

pxer's Issues

关于新版Pxer7 Logo的讨论

Pxer7发布在即,现对于Pxer Logo进行征集讨论。

原logo如下:
pxer-old-logo

当时匆忙选择的,现在看来各种意义都不太合适,因此新版打算更换Logo。

新版的Logo将主要用于:

  • Pxer官方群QQ群头像
  • Pxer官网标题icon
  • Pxer主程序启动后替换P站原有的标题icon

值得一提的是P站画师BEBS授权了Pxer可以自由使用他的作品作为素材使用

讨论者可以自己直接原创或对BEBS的作品进行二次编辑来制作Pxer Logo,或者提供有价值的情报或建议回复在本issue下

Greasemonkey 4.x无法载入Pxer

使用的系统、浏览器、GM版本、Pxer版本

  • Windows 10 Pro
  • Firefox 58.0 x64
  • Greasemonkey 4.2
  • Pxer开发版 7

BUG描述

上述环境Pxer不能载入,在载入jsonp.js时会报window['PXER_URL']未定义,原因似乎是GM 4.x访问全局变量必须显式地通过unsafeWindow对象,即使指定了@grant none

可选的修复方法

1. 通过unsafeWindow设置全局变量

将user.jstpl.ejs中的@grant none修改为@grant unsafeWindow,再将之后的三个window对象改为unsafeWindow

// ==UserScript==
// @name          Pxer<?=isDev?'-dev':''?>
// @version       7
// @namespace     https://github.com/pea3nut/Pxer
// @author        花生PeA
// @description   可能是目前最好用的P站收图工具
// @grant         unsafeWindow
// @noframes
// @include       https://www.pixiv.net*
// @include       http://www.pixiv.net*<?=isDev?'\n// @include       http://127.0.0.1/*\n// @include       http://localhost/*':''?>
// ==/UserScript==
javascript:void((function() {
    // 环境变量
    unsafeWindow['PXER_URL'] =/*<?-pxerURL?>*/'';
    unsafeWindow['PXER_MODE'] ='<?=isDev?"dev":"master"?>';

    // 引入入口文件
    document.documentElement.appendChild(
        document.createElement('script')
    ).src=unsafeWindow['PXER_URL']+'jsonp.js?'+(+new Date);

})());

2. 不再推荐Firefox用户使用Greasemonkey

经测试,Tampermonkey for Firefox无此问题。统一平台也有利于维护代码,因此可考虑更新教程说明,推荐Firefox用户使用Tampermonkey

Pxer抓取部分图片解析错误

使用的系统、浏览器、Pxer版本

  • Windows 10教育版
  • Google Chrome 版本 64.0.3282.186(正式版本) (32 位)
  • Pxer7

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag&word=%E4%BA%94%E6%9B%B4%E7%91%A0%E7%92%83%20500users%E5%85%A5%E3%82%8A

Bug发生时Pxer的状态

抓取完成显示警告

34942856:Cannot read property 'getAttribute' of null
62496903 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
62326688 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
62195545 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
57524390 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
56436071 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
51872918 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
35291218 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
34942856 | 解析错误 | 再试一次,若问题依旧,请反馈给花生

Bug发生的具体情况

当我用Pxer抓取上面地址的作品时,抓取完成会出现若干错误,未错误的作品能正常解析地址。

抓去图片时显示一段代码

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Google Chrome 56.0.2924.87 (64-bit)
  • Pxer开发版

Bug发生时的地址

http://www.pixiv.net/member_illust.php?id=3875056

Bug发生时Pxer的状态

主面板提示:
[ { "task": { "url": [ "http://www.pixiv.net/member_illust.php?mode=medium&illust_id=57114488" ], "html": {}, "completed": false, "type": "illust", "isMultiple": false, "id": "57114488" }, "url": "http://www.pixiv.net/member_illust.php?mode=medium&illust_id=57114488" } ]

Bug发生的具体情况

开始抓取图片时显示以上代码。

同类软件技术交流

我也写了个P站扒图的,但是我主要还是针对于作者下载,无意中发现了贵项目,感觉JS技术比较先进(我只是业余爱好者,主要还是面向过程理念,对象prototype之类的都没搞懂。JS还需要编译之类的完全没听说过,我全部直接写在同一个文件里的)。但是我觉得分析理念上还是有值得互相参考的,因此特来交流。

这是我的项目 https://github.com/Mapaler/PixivUserBatchDownload/
文档比较复杂,简单了解可以直接看我录的视频 http://www.bilibili.com/video/av10115326/

另外还有交流过类似的,不过这位开发者好像一直都没上GitHub
http://tieba.baidu.com/p/5081619105

Pxer7 Bug反馈说明

Pxer是免费的开源软件,因此没有专业的测试人员来进行严格的测试,若使用过程中发现了Bug,可以将Bug进行反馈,花生会尽快修复 :)

反馈说明

反馈Bug前,请 消耗几分钟在这个叫做Github的网站注册一个账号,所有有关Pxer的开发讨论都将在Github进行。

反馈Bug -> 这里
提出功能建议 -> 这里
其他讨论 -> 这里

你也可以点击页面右上角的绿色“New Issue”按钮来新建

反馈格式

当你新发起一个Issue时,文本框中会包括模板,请自行修改对应信息。

更详细的描述可以更快的定位Bug,那么就拜托大家啦~

提的非常好的Bug举例:#156

BUG反馈

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Google Chrome 64.0.3282.186(正式版)(64位)
  • Pxer7

Bug发生时的地址

在下载搜索页面时
在下载个人页面时可以下载,但是搜索页面时报错

Bug发生时Pxer的状态

“程序状态”窗口的“当前状态”一直卡在“抓取作品中”不动,时间还在动,并且主面板有提示PxerApp.executeWroksTask: taskList is empty

Bug发生的具体情况

当我用Pxer抓取搜索的作品时,会在大约抓到百分之十的时候开始报错,尝试过点击Stop按钮依旧无效。每次都是这样。

抓取失败和没有下载地址

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Firefox 延长支持版 60.0.1
  • Pxer开发版 7

Bug发生时的地址

https://www.pixiv.net/bookmark.php

Bug发生时Pxer的状态

“程序状态”窗口的“当前状态”一直卡在“抓取作品中”不动,并且主面板有提示[ { "task": { "url": "https://www.pixiv.net/bookmark.php?p=227", "completed": false }, "url": "https://www.pixiv.net/bookmark.php?p=227" } ]
2.抓取完成后跳转页面显示/** 这个页面是抓取到的下载地址,你可以将它们复制到第三方下载工具如QQ旋风中下载 /
/
*
共计0个作品,0个下载地址。
单张图片作品占 NaN%
多张图片作品占 NaN%
*/

Bug发生的具体情况

抓取是突然卡住不动 然后第二个就是抓取完了后没下载地址

bug反馈

使用的系统、浏览器、Pxer版本

  • Windows 10
  • chrome 60.0.3112.101(正式版本) (64 位)
  • Pxer开发版 7

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag&word=saber%20%2010000users%E5%85%A5%E3%82%8A

Bug发生时Pxer的状态

停止工作,剩余时间不断增加

主面板有提示"PxerApp.executeWroksTask: taskList is empty"

Bug发生的具体情况

当我用Pxer抓取上面地址的搜索作品时,抓取到后面的时候就会出现上述情况.

Pxer7 bug:扒不出链接,时间是2017.03.30中午发现

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Firefox ESR 52.0.1 (32 位)
  • Pxer开发版

Bug发生时的地址

每个画师……
当前试验的画师是http://www.pixiv.net/member_illust.php?id=50117

Bug发生时Pxer的状态

“程序状态”窗口的“当前状态”一直卡在“抓取作品中”不动,并且主面板有提示962819:src.match(...) is null

Bug发生的具体情况

点count的时候,显示
共计0个作品,0个下载地址。
单张图片作品占 NaN%
多张图片作品占 NaN%
点print也确实一张链接都没有……
重新扒取也是这样
换成稳定版也是

搜索页Pxer抓取完成后很多多图作品报错,无法抓取。 50309813:Cannot read property 'getAttribute' of null

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Google Chrome Version 64.0.3282.167 (Official Build) (64-bit)
  • Pxer7.04开发版 & Pxer7.04稳定版

Bug发生时的地址

第一次出错的页面:https://www.pixiv.net/search.php?s_mode=s_tag&word=%E5%92%8C%E6%B3%89%E7%B4%97%E9%9C%A7
在尝试后发现搜索任何东西都会出错

Bug发生时Pxer的状态

图片抓取完成,pxer运行正常,但是有很多作品抓取失败

Bug发生的具体情况

当我用Pxer在搜索页尝试抓取任何东西时,都会有许多(多于99个)作品抓取失败。我进一步看了下发现失败的都是多图的作品。

图片
image

image

image

抓取时有弹窗但实际无效

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Chrome 版本 63.0.3239.84
  • Pxer开发版 7.0.4

Bug发生时的地址

https://www.pixiv.net/member_illust.php?mode=medium&illust_id=64600536

Bug发生时Pxer的状态

显示[完成]并弹出新窗口,但无有效下载地址并显示:共计0个作品,0个下载地址。单张图片作品占 NaN%多张图片作品占 NaN%
Pxer 条提示:64600536:Cannot read property 'getAttribute' of null

追加:在收藏页面进行相关设置后可以抓取。

Bug发生的具体情况

当我用Pxer抓取上面地址的画师作品时,抓取无效。

新增作品重命名功能

使用的系统、浏览器、Pxer版本

  • macSierra10.12.4
  • Google Chrome 60.0.3080.5(正式版本)dev (64 位)
  • Pxer开发版 7.0.4

建议

  • 是否可以在爬去的时候重命名一下作品名字,比如改成“作者_作品ID_PX”,X是0123……,能加上作品名称也不错,但是加上作品名称比较乱。还是作者+作品ID比较好。

bug

67318933:Cannot read property 'getAttribute' of null
汇报下 这个bug

关于使用部分VPN时无法访问Pxer服务器

我用的运营商是移动,似乎把Pixiv给屏蔽了。
在我用某美国VPN上Pixiv的时候,发现插件无效,后发现是因为使用VPN时无法访问pxer-app.pea3nut.org
于是得关闭VPN然后手动执行代码。

应该不是DNS的问题,用ping发现IP是一样的,只不过开着VPN就无回应。

不知道海外的用户是不是也有一样的问题,还是只是我VPN的问题。

Edit:很玄学的屏蔽,有时能上有时不能上

点击run后提示 46920843:Cannot read property 'innerHTML' of null

使用的系统、浏览器、Pxer版本

  • Windows 10 RS1
  • Chrome 57.0.2987.133 32bit
  • Pxer开发版

Bug发生时的地址

http://www.pixiv.net/member_illust.php?id=2894963 (R18注意)

Bug发生时Pxer的状态

点击run后提示 46920843:Cannot read property 'innerHTML' of null

Bug发生的具体情况

点击run后提示 46920843:Cannot read property 'innerHTML' of null
重试几次之后一样如此
失败原因显示解析错误

pxer新状况-。-

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Firefox ESR 52.0.1 (32 位)
  • Pxer开发版

Bug发生时的地址

每个-。-

Bug发生时Pxer的状态

pxer的界面没有出来

Bug发生的具体情况

pxer的界面没有出来,但是标签页的logo是出来了

Pxer抓取多张图片错误或只能抓取第一张图

https://www.pixiv.net/search.php?s_mode=s_tag_full&word=%E8%A6%8B%E5%B4%8E%E9%B3%B4&order=popular_d&blt=1000

其中很多张图片抓取后只有第一张图(_0),抓取不到除了第一张之外的其他图片。
这个页面抓取的结果
https://i.pximg.net/img-original/img/2017/07/04/03/38/42/63696387_p0.jpg
https://i.pximg.net/img-original/img/2012/03/14/05/41/51/25783560_p0.jpg
https://i.pximg.net/img-original/img/2017/01/29/10/04/18/61168443_p0.jpg
https://i.pximg.net/img-original/img/2012/03/03/01/15/12/25498688_p0.jpg
https://i.pximg.net/img-original/img/2012/02/19/00/07/07/25186134_p0.jpg
https://i.pximg.net/img-original/img/2012/03/26/11/31/19/26091584_p0.jpg
https://i.pximg.net/img-original/img/2017/12/21/16/44/17/66379223_p0.jpg
https://i.pximg.net/img-original/img/2012/04/05/23/11/20/26366274_p0.png
https://i.pximg.net/img-original/img/2012/03/13/00/31/42/25755382_p0.jpg
https://i.pximg.net/img-original/img/2012/03/10/00/20/58/25674431_p0.jpg
https://i.pximg.net/img-original/img/2012/02/16/01/32/18/25120832_p0.jpg
https://i.pximg.net/img-original/img/2012/03/23/02/04/56/26007756_p0.png
https://i.pximg.net/img-original/img/2012/01/22/16/51/05/24538113_p0.jpg
https://i.pximg.net/img-original/img/2012/03/27/09/46/55/26115380_p0.jpg
https://i.pximg.net/img-original/img/2012/01/20/05/04/11/24484541_p0.png
https://i.pximg.net/img-original/img/2012/05/30/23/31/59/27614027_p0.png
https://i.pximg.net/img-original/img/2012/02/15/00/59/47/25096164_p0.jpg
https://i.pximg.net/img-original/img/2013/02/06/07/49/46/33366678_p0.jpg
https://i.pximg.net/img-original/img/2012/02/21/00/35/16/25237616_p0.jpg
https://i.pximg.net/img-original/img/2012/02/16/12/43/18/25126506_p0.jpg
https://i.pximg.net/img-original/img/2012/02/19/12/08/21/25196040_p0.png
https://i.pximg.net/img-original/img/2012/08/12/09/59/21/29316620_p0.jpg
https://i.pximg.net/img-original/img/2012/03/18/02/50/36/25883065_p0.jpg

除去一个抓取失败的,其他的有四张图是组图,却只抓取到了第一张

作品页Pxer报 Cannot read property 'getAttribute' of null

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Google Chrome 版本 66.0.3359.139(正式版本) (64 位 / 版本 66.0.3359.170(正式版本) (64 位)(更新前后Bug情况相同)
  • Pxer开发版 7.0.4 (可能是)

Bug发生时的地址

https://www.pixiv.net/member_illust.php?id=237196&type=all&p=5

Bug发生时Pxer的状态

抓取结束,主面板显示“2992723:Cannot read property 'getAttribute' of null”,warn

Bug发生的具体情况

当我用Pxer抓取上面地址的画师作品时,抓取结束后,状态是过滤选项和输出选项面板,右上角是黄色的warn,上方是“2992723:Cannot read property 'getAttribute' of null”。单击warn后表格如下

图片ID | 失败原因 | 解决方案 | 全选 重试选中
68664359 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
55482471 | 解析错误 | 再试一次,若问题依旧,请反馈给花生 |  
2992723 | 解析错误 | 再试一次,若问题依旧,请反馈给花生

单击全选,然后单击重试选中,Pxer回到抓取状态,右上角为蓝色run,显示程序状态、配置信息、当前页面信息、执行进度面板,任务未开始执行,配置信息未重置,主面板依旧显示相同报错。

再次点击run,抓取正常进行,结束后状态相同,右上角黄色warn,主面板错误信息相同

备注

在作者的收藏界面插件没有生效

如题,在P站收藏界面选项没有出现,用的是 Firefox 最新版,全部作者的收藏界面都没有出现插件选项,
开发版的插件,Pxer 没有任何提示。

这也是我第一次用,所以过滤选项中没有按收藏过滤的选项这一点不知道是不是 BUG。
(我个人没有收藏作品,个人收藏界面的情况不清楚)

点赞率算法有问题

整理自QQ群聊天

点赞率会不会也有问题呀?他同一个用户浏览两次会算一次浏览还是两次?如果算两次的话,那就有可能一个作品被多次浏览,点赞率就越来越低。。如果他算一次,那就没问题。。

会有问题的- -、我发现是会算两次的。。我登录状态浏览一次好朋友很久以前的画。。
然后132->133,然后我开匿名窗口,不登录再打开133->134。。然而不登录的用户是不能赞的,然而浏览数会上升。。

那么如果一个画被多次匿名浏览。。或者换IP浏览(这个情况猜测的,没测试),那么作品的点赞率就不可靠了。。

抓取失败的bug

使用的系统、浏览器、Pxer版本

  • Windows 10
  • 360极速浏览器
  • Pxer开发版和稳定版最新版本

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag&word=%E8%89%A6%E3%81%93%E3%82%8C%2010000users%E5%85%A5%E3%82%8A

Bug发生时Pxer的状态

PxerApp.executeWroksTask: taskList is empty
Stop

Bug发生的具体情况

当我用Pxer抓取上面地址的作品时,抓取到某一特定图片时就会停止。点击stop就只显示:PxerApp.executeWroksTask: taskList is empty,重新抓取还是停在同一位置。

UC浏览器,WIN10系统,油猴子还有PXER均已安装,无报错,但是无法启用软件

使用的系统、浏览器、Pxer版本

  • Windows 7
  • Firefox 延长支持版 47.4.0
  • Pxer开发版 6.0.2

Bug发生时的地址

https://www.pixiv.net/member_illust.php?id=10009740

Bug发生时Pxer的状态

“程序状态”窗口的“当前状态”一直卡在“抓取作品中”不动,并且主面板有提示src.match(...) is null

Bug发生的具体情况

当我用Pxer抓取上面地址的画师作品时,抓取到后面的时候偶尔会(30%几率左右的样子)在差10副作品左右时卡住不动,尝试过点击Stop按钮依旧无效。

页面不能分析

使用的系统、浏览器、Pxer版本

  • Windows 7
  • Firefox 延长支持版 47.4.0
  • Pxer开发版 6.0.2

Bug发生时的地址

https://www.pixiv.net/member_illust.php?id=10009740

Bug发生时Pxer的状态

“程序状态”窗口的“当前状态”一直卡在“抓取作品中”不动,并且主面板有提示src.match(...) is null

Bug发生的具体情况

当我用Pxer抓取上面地址的画师作品时,抓取到后面的时候偶尔会(30%几率左右的样子)在差10副作品左右时卡住不动,尝试过点击Stop按钮依旧无效。

搜索页Pxer只能重复抓取当前页的图片

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Chrome 64.0.3282.186(正式版本)(64 位)
  • Pxer开发版 7.0.6

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag&word=%E3%83%89%E3%83%A9%E3%81%88%E3%82%82%E3%82%93%20000user

试了几个搜索页都有这个问题,上面的地址是Readme里面提到的搜索页

Bug发生时Pxer的状态

正常结束运行

Bug发生的具体情况

使用Pxer抓取搜索页时,虽然能够正常结束,但是当使用idm下载时发现去除了巨量的重复文件。

将url列表粘贴到vim里面sort一下,发现url重复了大概页码的次数(以上面的链接来说是7次)。进行去重复的操作后,发现剩余30多项,大概和一页的图片数量差不多。

下载去重后的列表,发现都是第一页的图片(顺便404的好像有点多)。

pics.txt
↑排序后的文件

把搜索结果切到第二页试了一下,结果差不多,但是抓到的都是第二页的图片……

在画师作品页上没有这个问题(没有重复的链接),稳定版在搜索页上也有这个问题。

P站换成HTTPs后Pxer无法启动

由于P站改动换成了HTTPs,由于一些HTTPs限制,Pxer暂时无法启动,请等待后续版本修复。

我们将持续用此issue追踪此问题

38363308:Cannot read property 'getAttribute' of null

使用的系统、浏览器、Pxer版本

  • Windows 10
  • chrome浏览器,版本(稳定版)64.0.3282.186
  • Pxer开发版 7.0.8

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag&word=%E9%8F%A1%E9%9F%B3%E3%83%AA%E3%83%B3&order=popular_d

Bug发生时Pxer的状态

抓取完成后,主程序顶部显示“38363308:Cannot read property 'getAttribute' of null
”的错误

Bug发生的具体情况

抓取完成后,总会有少数一些图片解析错误,重试仍然不行;画师的作品列表不会有这个bug。
qq 20180307152042

抓取失败

抓取页报告
错误报告:http:600
/** 这个页面是抓取到的下载地址,你可以将它们复制到第三方下载工具如QQ旋风中下载 /
/
*
共计0个作品,0个下载地址。
单张图片作品占 NaN%
多张图片作品占 NaN%
*/

使用的系统、浏览器、Pxer版本

  • Windows 7
  • chrome 65.0.3325.181
  • Pxer开发版 7

Bug发生时的地址

https://www.pixiv.net/member_illust.php?mode=medium&illust_id=67946094等(一个时间段之后的所有链接)

Bug发生的具体情况

抓取一定数量后发生此情况,是不是因为IP的流量限制_(:з」∠)_

自动崩溃

收藏地址ID:24156086
11万张。
33个错误。
获取玩自动崩溃。
卡哇伊。

关于配合Pxer的第三方下载工具的讨论

由于Pxer本身没有下载图片的功能,它做的仅仅是把图片下载地址计算出来并打印在页面中,因此需要额外使用一款第三方下载工具。

关于第三方下载工具种类还是不少的,因此这个Issue主要讨论关于各种第三方下载工具的优劣。

你可以将你喜欢的下载工具简单介绍下回复在下面,具体的格式可以参考下面花生要介绍了2款工具

如果你对于下面提到的下载工具有所补充,也可以回复在下面。

显示此网页时内存不足

使用的系统、浏览器、Pxer版本

  • Windows 7
  • CHROME 火狐 水狐 猎豹 QQ 全试了
  • 两个都试了

Bug发生时的地址

http://www.pixiv.net/search.php?s_mode=s_tag&word=leagueoflegends

Bug发生时Pxer的状态

抓取状态中,大概抓到8000多张临近任务结束的时候,整个页面卡住不动,过个十几秒钟网页变白显示
google chrome 在尝试显示此网页时内存不足

Bug发生的具体情况

当我用Pxer抓取上面地址的作品时,抓取到后面的时候会卡住不动

个人收藏页pxer报67994735:Cannot read property 'innerHTML' of null

使用的系统、浏览器、Pxer版本

  • Windows 10
  • Google Chrome 正式版本 66.0.3359.139
  • Pxer开发版 7.0.8

Bug发生时的地址

https://www.pixiv.net/bookmark.php?id=17076518

Bug发生时Pxer的状态

①在开启shadowsock(某一个翻墙软件)时
抛出一个warning:67994735:Cannot read property 'innerHTML' of null
失败列表显示:67994735 | 解析错误 | 再试一次,若问题依旧,请反馈给花生
68012805 | 解析错误 | 再试一次,若问题依旧,请反馈给花生
68012889 | 解析错误 | 再试一次,若问题依旧,请反馈给花生
等等
在点开count按钮时显示
共计0个作品,0个下载地址。
单张图片作品占 NaN%
多张图片作品占 NaN%

②关闭shadowsock即正常上网时
显示[ { "task": { "url": "https://www.pixiv.net/bookmark.php?id=17076518&p=5", "completed": false }, "url": "https://www.pixiv.net/bookmark.php?id=17076518&p=5" } ]

Bug发生的具体情况

在发现p站又需要翻墙之后,开了shadowsock之后出现的问题①。抓取过程中一直很顺畅,最后完成时才报告bug。
问题②情况是,关闭shadowsock即正常上网时,无法打开p站,且利用翻墙打开页面后再次关闭翻墙软件进行抓取操作时,会在卡顿十几秒后显示第二个bug,其实就是pxer自己也被墙了。

无法抓取的bug

使用的系统、浏览器、Pxer版本

  • Windows 10
  • chrome 61.0.3163.79
  • Pxer开发版与稳定版,两个最新版

Bug发生时的地址

https://www.pixiv.net/search.php?s_mode=s_tag_full&word=%E3%83%9D%E3%82%B1%E3%83%A2%E3%83%B3
实际上是所有网址

Bug发生时Pxer的状态

PxerApp.executeWroksTask: taskList is empty

Bug发生的具体情况

当我试图抓取时,pxer会在一个特定的图的位置弹出上述提示并卡住,点击stop后不会出现前几副图的下载按钮。
例如,我选择抓取前1000副,会显示任务数1050,然后卡在第50副。或者2000,2100,100。以此类推。

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.