jjeejj / geektime2pdf Goto Github PK

View Code? Open in Web Editor NEW

436.0 6.0 203.0 1.56 MB

极客时间专栏文章转为 PDF 包含评论音频

License: MIT License

JavaScript 5.83% HTML 94.17%

geektime pdf column

geektime2pdf's Introduction

极客时间专栏转换为PDF

说明：该项目仅仅只能用户个人学习使用，不能在商业中使用，若极客时间官方要求该代码仓库删除，请联系我进行删除

使用方法

配置信息

在配置文件config.js中修改配置所需要的信息

/**
 * 需要转换为 pdf 的配置信息 
 */
module.exports = {
    url: 'https://time.geekbang.org/serv/v1/article', // 该配置项不需要改动
    commentUrl: 'https://time.geekbang.org/serv/v1/comments', // 该配置项不需要改动
    columnBaseUrl: 'https://time.geekbang.org/column/article/', // 该配置项不需要改动
    columnName: '玩转VScode', // 专栏名称
    firstArticalId: 18053, //专栏第一篇文章的ID
    articalIds: [201700,202772,204472,205784],  //指定下载的articalId, 优先级更高, 配置后firstArticalId配置将失效
    isdownloadVideo: false, // 是否下载音频
    isComment: false, // 是否导出评论
    cookie: 'cookie'
};

上面的配置项前三项是不需要修改的, 只需要修改后面的专栏信息
会自动生成一个geektime_{{columnName}} 的文件夹来保存导出的所有pdf文件, columnName 为上面配置的
firstArticalId 这个参数最好配置专栏第一篇文章的 ID ，这个可以获取专栏的所有的文章,若不是第一篇文章的ID 则获取的是该文章以及之后的文章
articalIds 这个参数配置为需要获取的文章的所有的 ID
cookie 你在网页版登录后返回的cookie信息

运行

git clone [email protected]:jjeejj/geektime2pdf.git 在本地克隆下来
然后执行 npm i 安装依赖
运行主程序 node columnArticleList.js 等待一段时间,生成 PDF 完成

这里可以先设置 firstArticalId 参数，获取整个专栏的内容；若中间有错误，不用管它，等运行完毕后，再设置 articalIds 参数，参数的值为上面获取失败的文章 ID，再次运行下载

导出结果

问题汇总

puppeteer 下载失败问题，参考 stackoverflow

geektime2pdf's People

Contributors

Stargazers

Watchers

Forkers

hunterxuan chengzhx76 future1314 trillstones jeromehan zhangzaki greyireland ysnows yekui player74 liyang85 datafu fengsheng990 jaggerwang lwllvyb jianhaiqing zx119 kedup lanya16 italyfiori zhangzheflying uil-nella jokeraaa reimuwang bytetopia wangqianyi2017 zhouxl eosite xuanzilan tkawesome jasontang0606 xuecanlong wongdean beijixing1745 xshrim junzhou2018 zaze359 crazywen jumpuetta winterwd lampnick imluckyeric devil--lord jimmy4j niyalishanda fshuai mtrestm srunup yuexingri dpplh xiaolingis mrrobotsaa lxshopping lchung0 guoyuehua yanghaifeng88 crazy-mt codingongithub clannadxr duanguang winterwhisper zhanjiaxia asd19940315 sevensgqy astraw99 cathyxingchang ly695908698 474873060 oilover nupt5 zhangzi atinosun 1402943677 homedown90 nianbingsihan hotgalvanizing zhangshaocong258 itso310 meson-guo hosea3000 alarm10086 anyprivate maxwelldu jxljf denvey fmouseli guochunyang2004 wushaopei edward-have-a-dream wangyu0361 ybingo qiaokeke shangzongyu huxiaoyu777 dongfengyuli lixinjiang flyaway98 majunyang topicgit hhy5277

geektime2pdf's Issues

特别放送没问题，但是主要内容出现报错

(node:9388) UnhandledPromiseRejectionWarning: Error: Protocol error (Target.closeTarget): Target closed. at Promise (C:\Users\sy\geektime2pdf\node_modules\puppeteer\lib\Connection.js:74:56) at new Promise () at Connection.send (C:\Users\sy\geektime2pdf\node_modules\puppeteer\lib\Connection.js:73:12) at Page.close (C:\Users\sy\geektime2pdf\node_modules\puppeteer\lib\Page.js:991:38) at Page. (C:\Users\sy\geektime2pdf\node_modules\puppeteer\lib\helper.js:111:23) at generaterPdf (C:\Users\sy\geektime2pdf\generaterPdf.js:38:27) (node:9388) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 5)

Puppeteer Error: Chromium revision is not downloaded 报错的解决方法，建议加到readme中。

https://stackoverflow.com/questions/53997175/puppeteer-error-chromium-revision-is-not-downloaded

求助 error msg 用户未购买此专栏

已经有阅读权限，但是下载的时候还是报错
error msg 用户未购买此专栏。

已经购买了专栏，但是不能下载

已经购买了专栏，也确定在浏览器登录了帐号，
如果通过firstArticalId配置专栏，就只能下载免费阅读的那一篇文章，之后没有任何提示 ;
如果通过articalIds进行手动配置则同样只能下载第一篇文章，之后显示访问：
访问地址 https://time.geekbang.org/column/article/186076 err 用户未购买此专栏（确定已经购买）
希望大佬能看看

help me

MacBook-Pro:geektime2pdf stonetest$ node columnArticleList.js

该文件夹已经存在 /Users/stonetest/geektime2pdf/geektime_MySQL实战45讲

专栏文章链接开始获取

error msg 用户未购买此专栏

访问地址 https://time.geekbang.org/column/article/78427 err 用户未购买此专栏

专栏文章链接获取完成

需要转换为 pdf 的配置信息

module.exports = {

url: 'https://time.geekbang.org/serv/v1/article',

commentUrl: 'https://time.geekbang.org/serv/v1/comments',

columnBaseUrl: 'https://time.geekbang.org/column/article/',

columnName: 'MySQL实战45讲',

firstArticalId: 78427, //专栏第一篇文章的ID

isdownloadVideo: false, // 是否下载音频

isComment: true, // 是否导出评论

cookie: '_ga=GA1.2.2063249228.1573724722;GCID=bfdb8a9-972b001-95b8360-8a40fc6; GRID=bfdb8a9-972b001-95b8360-8a40fc6; _gid=GA1.2.1892212275.1587371465;  _gat=1; SERVERID=1fa1f330efedec1559b3abbcb6e30f50|1587537595|1587535691; Hm_lvt_022f847c4e3acd44d4a2481d9187f1e6=1587536660,1587536666,1587537528,1587537551; Hm_lpvt_022f847c4e3acd44d4a2481d9187f1e6=1587537594; GCESS=BAcEUpJfGQIEjeafXgQEAC8NAAoEAAAAAAwBAQsC

生成的PDF乱码，数字、英文、图片是正常的

vim generaterPdf.js

console.log('generater pdf start');
console.log('data', JSON.stringify(data));   // 这一行的注释打开之后，看终端返回的数据都是正常的，没有乱码

作者大佬可以帮忙看看拉钩教育能不能做成类似的导出吗？

无法将LaTeX字符解析为数学公式

如果有数学公式就直接显示为字符了，不会变成公式的格式

求助帖

首先给作者赞一个，发帖是想问下，拉钩教育的课程，这几天有空否，帮写个转换文章到pdf的程序

TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded相关异常

当我代码执行到如下部分时，
await page.setContent(utils.renderEjsArticle2Html(data, options));
抛出了超时异常，

generater pdf err { TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded
   at Promise.then (E:\work_space\Java\geektime2pdf\node_modules\puppeteer\lib\LifecycleWatcher.js:143:21)
 -- ASYNC --
   at Frame.<anonymous> (E:\work_space\Java\geektime2pdf\node_modules\puppeteer\lib\helper.js:110:27)
   at Page.setContent (E:\work_space\Java\geektime2pdf\node_modules\puppeteer\lib\Page.js:647:42)
   at Page.<anonymous> (E:\work_space\Java\geektime2pdf\node_modules\puppeteer\lib\helper.js:111:23)
   at generaterPdf (E:\work_space\Java\geektime2pdf\generaterPdf.js:28:20)
   at process._tickCallback (internal/process/next_tick.js:68:7) name: 'TimeoutError' }

请问这种情况应该如何避免，我尝试结合网上的意见，对代码进行调整，修改为
await page.goto(data:text/html,${utils.renderEjsArticle2Html(data, options)}, { waitUntil: 'networkidle2' });
如此一来虽然不再报错，但是生成的pdf是空白文档，希望作者能帮忙答疑一下，谢谢

只能获取第一篇文章

评论采集似乎不好使

下载失败

generater pdf err { Error: ENOENT: no such file or directory, open 'D:\mario\github\geektime2pdf\geektime_Kafka核心技术与实战\17 | 消费者组重平衡能避免吗？.pdf'
-- ASYNC --
at Page. (D:\mario\github\geektime2pdf\node_modules\puppeteer\lib\helper.js:110:27)
at generaterPdf (D:\mario\github\geektime2pdf\generaterPdf.js:31:20)
errno: -4058,
code: 'ENOENT',
syscall: 'open',
path:
'D:\mario\github\geektime2pdf\geektime_Kafka核心技术与实战\17 | 消费者组重平衡能避免吗？.pdf' }
(node:14764) UnhandledPromiseRejectionWarning: Error: Protocol error (Target.closeTarget): Target closed.
at Promise (D:\mario\github\geektime2pdf\node_modules\puppeteer\lib\Connection.js:74:56)
at new Promise ()
at Connection.send (D:\mario\github\geektime2pdf\node_modules\puppeteer\lib\Connection.js:73:12)
at Page.close (D:\mario\github\geektime2pdf\node_modules\puppeteer\lib\Page.js:991:38)
at Page. (D:\mario\github\geektime2pdf\node_modules\puppeteer\lib\helper.js:111:23)
at generaterPdf (D:\mario\github\geektime2pdf\generaterPdf.js:38:27)
(node:14764) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 17)

代码块样式缺失，主要是没有代码行号，和正文内容配合阅读不太方便
自己在文章里做的划线笔记，有的有显示，有的没有显示，可否能配置为：全部显示 or 全部不显示？

不知道可有继续优化的空间 ^-^

《Kafka核心技术与实战》：3 次报错。
《数据结构与算法之美》：1 次报错。

报错的章节最终未能生成 PDF 文件，其它没有报错的章节仍然能够正常生成 PDF。

详细错误信息如下：

开篇词 | 从今天起，跨过“数据结构与算法”这道坎
开始获取  https://time.geekbang.org/column/article/39922 评论
结束获取  https://time.geekbang.org/column/article/39922 评论 总评论数为 641
generater pdf start
generater pdf err TimeoutError: Navigation Timeout Exceeded: 30000ms exceeded
    at /Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/LifecycleWatcher.js:143:21
  -- ASYNC --
    at Frame.<anonymous> (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/helper.js:110:27)
    at Page.setContent (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/Page.js:647:42)
    at Page.<anonymous> (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/helper.js:111:23)
    at generaterPdf (/Users/liyang/github_projects/geektime2pdf/generaterPdf.js:28:20)
    at processTicksAndRejections (internal/process/task_queues.js:85:5)
    at async getNextColumnArticleUrl (/Users/liyang/github_projects/geektime2pdf/columnArticleList.js:62:13)
    at async getColumnArticleList (/Users/liyang/github_projects/geektime2pdf/columnArticleList.js:85:5) {
  name: 'TimeoutError'
}
(node:4383) UnhandledPromiseRejectionWarning: Error: Protocol error (Target.closeTarget): Target closed.
    at /Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/Connection.js:74:56
    at new Promise (<anonymous>)
    at Connection.send (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/Connection.js:73:12)
    at Page.close (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/Page.js:991:38)
    at Page.<anonymous> (/Users/liyang/github_projects/geektime2pdf/node_modules/puppeteer/lib/helper.js:111:23)
    at generaterPdf (/Users/liyang/github_projects/geektime2pdf/generaterPdf.js:38:27)
    at async getNextColumnArticleUrl (/Users/liyang/github_projects/geektime2pdf/columnArticleList.js:62:13)
    at async getColumnArticleList (/Users/liyang/github_projects/geektime2pdf/columnArticleList.js:85:5)
(node:4383) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)

请问怎样下载用户付费购买的课程，在哪里设置呢？

请问怎样下载用户付费购买的课程，在哪里设置呢？付费课程会出现如下下载错误。

专栏文章链接开始获取
error msg 用户未购买此专栏

解决puppeteer依赖，参考 1 2
解决中文乱码，参考 CentOS安装中文字体