tzw0745 / tumblr-crawler-cli Goto Github PK

首先非常感谢你的代码！(趁着tumblr还没有完全关，赶紧备份……)
图片抓取应该没什么问题（也可能是我暂时没有检查出来）
但是可以发现视频抓取有遗漏
执行代码
python tumblr-crawler.py --video wanimal1983
抓取的视频共有25个，而实际上从以下地址看到所有的视频
http://wanimal1983.org/archive/filter-by/video
我数了数共有48个，遗漏了不少，请问是什么原因导致的？

这种类型的用户无法获取
https://www.tumblr.com/dashboard/blog/用户名
举个例子。https://www.tumblr.com/dashboard/blog/zuiirrp

File "tumblr-crawler.py", line 106, in parse_site_thread
uid = re.findall(r'tumblr_([a-zA-Z0-9]{15,})', photo_url)[0]
IndexError: list index out of range

加了个判断：
if re.findall(r'tumblr_([a-zA-Z0-9]{15,})', photo_url):
就没问题了

Thanks for the effort on the tumblr-crawler-cli, after several try with it, I have some suggestion for enhancement.

1. Suggest to have a .txt file to list the name of tumblr site.

2. Suggest to allow the authentication so that the private site we can still use an account to do it.

当网络不稳定导致中断后，不得不重新下载；当有好几年数据量时，重新下载比较费时

uid = re.findall(uid_reg, photo_url)[0][1]
这一行，当图片地址没有匹配到**tumblr_**时抛数组异常，导致任务结束；
tip，测试出问题的地址 migg1001

README里运行程序的命令里，程序名好像打错了。

hi,
Have you considered about adding some features ?
Just like, em...

• Use the original 'raw file' for higher quality photos? Replace the 1280px image files if these raw image files exist.
• Is it possible to filter out the image files of a specified size? Just like save the image files larger than 100k only.
• For these private blogs, is it possible to authenticate over the CLI or a configuration file just like the cookie file 😄

当前代码只能爬取到特定的图片
当博主点击撰写博文时选择的是 图片来编辑内容时，其中图片可以正常爬取
当博主点击撰写博文时选择 文章 来编辑内容时，文章中的图片不能被爬取
用例：https://studykkkk.tumblr.com/
链接共有两条博文，测试只能爬取出其中一条内的图片。
海贼图片的博文是通过选择文章来发送的，不能被爬取。

我按照使用方式正确的到了抓取这一步，然后终端打印是start了，接着得到的打印是这样的：
Thread 4 RequestException: /Users/edwardlear/Desktop/liamtbyrne/liamtbyrne/2015-10-16 06.04.53 GMT.131269594843.nwau85pzVb1s7wpcjo6.jpg

然后我到相应的文件夹下查看，没有任何文件生成。请问我是哪一步做错了吗？

我发现是VPN的问题。。不好意思

稍微看了下API，这两个metadata应该会返回，如果贵工具能提取出来从而允许用户加到文件名中就完美了

多谢！

Issue
这个项目作者一直没有回复..希望能支持一下。。过十天后小姐姐资源就没有了！