- 🔭 快手主站前端工程师
- 🌱 希望对他人有所帮助
- 📫 邮箱联系: [email protected]
- 🐦 个人博客:https://www.yaozeyuan.online
yaozeyuan / stablog Goto Github PK
View Code? Open in Web Editor NEW稳部落. 专业备份导出微博记录, 稳!
Home Page: https://www.yaozeyuan.online/stablog
License: MIT License
稳部落. 专业备份导出微博记录, 稳!
Home Page: https://www.yaozeyuan.online/stablog
License: MIT License
假定登录的是自己的微博账号
但是会尝试抓取其他用户的账号, 以@eprom 为例
不知作者是否有兴趣添加一个关注列表的导出导入功能呢?换账号的可能有这个需求。
当然作者的时间宝贵,也不必费时费力开发的。
软件要足够易用,最好随意一个人都能操作
我想导入数据库
6条建议:windows版
我的微博,有几万条内容,在微博数量巨大时,备份是一件非常难的事,加之每页需要停顿20秒,那么,备份时间就太长了,可能要连续工作许多天才有可能。但是,正常情况下,电脑不可能连续工作几百小时。
现在的问题是,每次电脑打开就又从第1页开始备份,这个方式不合理。
整体建议如下:
1.设置单独备份,比如自主选择“第N条”到“第M条”的任意选项。这样就能随时备份,可能分时段,或分批次,随时备份。当有几万条微博时,这个功能非常重要,也是必须的功能。
2.设置时间倒序与时间顺序,是从2010年到2020年,或2020年到2010年等皆可自由选择。
3.也可以直接设定“按年月进行备份”,因为“年月”比较合理,一年只有12个月,备份相对方便。或者可以自由选择“从某N时间,备份到某M时间”,这样更加合理。
4.从目前版本3.0来看,“备份范围”中的“从N面备份到第M页”并没有实际作用,至少我目前使用情况看,没有作用。也许是我使用方式错误了吧。或者是并不能真正程序执行?
5.希望在备份的某个时刻,突然想“停止时”,也能直接导出电子书。实际上,到目前为止,我花了几个小时备份,都没有导出一本书,也没有导出一页,这是否是BUG?
6.希望可以选择“备份停止”功能。
因為很多跟朋友的討論都在評論裡
不知道備份評論內容這樣的功能可不可以研發看看呢?
實在非常謝謝您開發了這個程式
非常非常感謝!
点击同步用户信息一直无反应
非常好用,感谢之极,已star
在win上运行,抓取一个有2000页微博的博主,运行日志显示抓取两三百页之后就停住了,没有继续抓取了,也没有生成pdf,关闭程序再运行也还是有这个问题,请问是为什么
用微博时最大的困扰就是收藏了还不是我的,会被消失
输出pdf
勾选框, 允许跳过pdf输出流程备份数据
勾选框, 允许不备份数据, 直接进入输出流程用户信息获取不到 或者 个人主页 格式设置不正确
增加错误提示呗~
demo => https://browser.qq.com/mac/
抱歉,我不太了解pdf格式的规范,但我知道如果将一个word文档导出为pdf的话,pdf文件中的文字是可以被在软件中选中,索引的。而且字体和形状也是矢量的不会失真。
我希望未来版本导出的pdf文字也可以被选中,索引,图形不会失真。当前版本(3.2)导出的pdf文件实在是有点大而且图片也糊,渲染速度也比较慢,还有很大的改进空间。
感谢
头像也缓存到本地 用本地地址吧。
2020-06-08 17:34:13.139: 网络请求失败, 您的账号可能因抓取频繁被认为有风险, 请6小时后再试
想知道有没有办法备份那种已经炸了,只能自己登陆看的号
正常号的备份非常顺利,已打赏已安利,谢谢作者
给作者点赞,想注销微博很久了,但又舍不得自己从前过往,一直没有找到合适的备份工具,自己也写过把微博数据导出成Markdown,但是因为是测试接口,每天调用接口次数有限,导出的微博内容有些不是全文,图片也不是大图,后来就放弃了 。你写的工具非常好用,但是也发现了一些问题,比如导出的数目和实际微博数量不一致,这点让人有点抓狂。生成的pdf的话,效果也不是特别好,而且视频没法加载,建议尝试生成Markdown,图片直接通过URL加载,视频也不会漏掉。
备份出错了,生成目录什么都没有
2021-06-15 16:55:58.734: [GenerateCustomer] catch error
2021-06-15 16:55:58.735: [GenerateCustomer] RangeError [ERR_BUFFER_OUT_OF_BOUNDS]: Attempt to write outside buffer bounds
at boundsError (internal/buffer.js:71:11)
at Buffer.readUInt16LE (internal/buffer.js:230:5)
at Object.validate (/Applications/稳部落.app/Contents/Resources/app/node_modules/image-size/dist/types/cur.js:7:20)
at finder (/Applications/稳部落.app/Contents/Resources/app/node_modules/image-size/dist/detector.js:26:55)
at Array.find (<anonymous>)
at Object.detector (/Applications/稳部落.app/Contents/Resources/app/node_modules/image-size/dist/detector.js:27:17)
at lookup (/Applications/稳部落.app/Contents/Resources/app/node_modules/image-size/dist/index.js:32:29)
at Function.imageSize (/Applications/稳部落.app/Contents/Resources/app/node_modules/image-size/dist/index.js:87:16)
at /Applications/稳部落.app/Contents/Resources/app/dist/command/generate/customer.js:1034:51
at Generator.next (<anonymous>)
at asyncGeneratorStep (/Applications/稳部落.app/Contents/Resources/app/dist/command/generate/customer.js:50:103)
at _next (/Applications/稳部落.app/Contents/Resources/app/dist/command/generate/customer.js:52:194)
2021-06-15 16:55:58.735: [GenerateCustomer] command finish
2021-06-15 16:55:58.735: [DispatchCommand] 生成电子书命令执行完毕
系统 macOS 10.15
GitHub 下载的最新版本
您好,我用您的工具生成的PDF清晰度不够好,能否加一个选项,生成清晰的PDF呢,哪怕多占用存储资源,另外,谢谢您的工具,给了我很多帮助。
国外下载慢死了 = =b
因为没装 puppeteer,全部抓取完后生成 pdf 这一步失败了,内容全在数据库里。不知道有没有办法重做这最后一步。
max-width: 500px;
改为 width: 500px;
您好,我前几天第一次使用软件,备份了近两年多的微博,使用正常,pdf文档也很清晰,感谢您的开发。然而那次之后就再也无法顺利备份了,都是在中途突然断开,显示账号被认为有风险6小时后再试,但再试依旧失败,想请教一下这个问题如何解决?
感谢分享代码。请问可否备份和导出私信?
3.0mac版下载链接失效
你好,我之前登录了一个已经被封的微博账号,能够登录上去,但是页面完全异常了,也找不到选项退出登录。我试过卸载重新安装,但是软件还是默认登录了异常账号,请问我应该怎么退出登录呢?谢谢
检查后发现可能m.weibo.com只能读取第一页,之前还没有发现这个bug
请问能支持备份其他人的微博吗?比如大v之类的
应该是generate这一步出现问题,现在我的电脑有20多GB的缓存材料,不知道能否直接进行生成步骤......不想再重新爬一天了......
2020-03-08 13:49:04.093: [GenerateCustomer] 未抓取到对应的用户数据, 自动跳过
2020-03-08 13:49:04.094: [GenerateCustomer] command finish
2020-03-08 13:49:04.094: [DispatchCommand] 生成电子书命令执行完毕
"rawInputText": "https:/weibo.com/u/1958389167"
已解决,1.1版本有问题,更新到1.7就正常了
备份页数选择0-1,但是输出只能输出最新的,更改时间无变化。
请问第一次备份需要全部备份,然后如果设置一年跨度输出,下一次备份页数就可以选择0-1对吗。
不知道有没有表达清楚。。。。
第一次备份3000多页太长时间了
只在缓存文件夹中看到零散的图片,还有显示不全的HTML文件,电子书文件夹为空,没有生产任何PDF文件
ht Exception Error: EPERM: operation not permitted, open'C: Program Files\stablog\resources\app\config. json at Object. open Sync(fs. js: 447: 3)
at Object func(electron/jsc/asar, js: 138: 31)
at Object func [as open Sync](electron/jsc/asar. js: 138: 31)
at Object write Sync(fs. js: 1206: 35)
at Function getConfig(C: \ Program Files\ stablog \resources\app\dist\util\common. js: 94: 19)
at Object. (C: Program Files\ stablog \resources\app\dist\config\request js: 17: 30
at Module compile(internal/modules/cjs/loader js: 786: 30)
at Object Module. extensions. js(internal/modules/cjs/loader. js: 798: 10)
at Module load (internal/modules/cjs/loader, jS: 645: 32)
at Function Module load (internal/modules/cjs/loader, js: 560: 12)
1、所有评论
2、如果微博有更新,能否自动更新
3、能否自动监控一个清单列表。如果某个微博主有发贴,就更新数据。
2020-05-31 22:44:40.073: [DispatchCommand] command start
2020-05-31 22:44:40.074: [InitEnv] command start
2020-05-31 22:44:40.076: [InitEnv] 检查更新
2020-05-31 22:44:40.208: 网络请求失败, 您的账号可能因抓取频繁被认为有风险, 请6小时后再试
2020-05-31 22:44:40.209: 错误内容=>
message:Request failed with status code 502, stack=>Error: Request failed with status code 502
at createError (C:\Program Files (x86)\stablog\resources\app\node_modules\axios\lib\core\createError.js:16:15)
at settle (C:\Program Files (x86)\stablog\resources\app\node_modules\axios\lib\core\settle.js:18:12)
at C:\Program Files (x86)\stablog\resources\app\node_modules\axios-cookiejar-support\lib\interceptors\response.js:87:29
at new Promise (<anonymous>)
at $If_1 (C:\Program Files (x86)\stablog\resources\app\node_modules\axios-cookiejar-support\lib\interceptors\response.js:86:30)
at C:\Program Files (x86)\stablog\resources\app\node_modules\axios-cookiejar-support\lib\interceptors\response.js:97:18
at new Promise (<anonymous>)
at responseInterceptor (C:\Program Files (x86)\stablog\resources\app\node_modules\axios-cookiejar-support\lib\interceptors\response.js:21:10)
at C:\Program Files (x86)\stablog\resources\app\node_modules\axios-cookiejar-support\lib\index.js:129:67
at processTicksAndRejections (internal/process/task_queues.js:89:5)
win7-x64,主程序执行后发现win64-686378下的Chrom并没有运行,仍旧是32位的chrome。
希望能添加一个新功能,选择输出的文件夹
c盘撑爆了。。
还有就是希望能添加一个重新输出pdf的功能,输出了好几次体积都在4个G以上..打不开..
谢谢
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.