考虑到将写的内容爬取下来，保存起来的避免误删，算是个备份的，而且方便查找，阅读起来也更方便，使用起来也好很多

保存article到pdf、markdown，并保存相应的图片、codes以及website，排版基本按照网页，支持保存数学公式到markdown

详见blog，codes延长了休眠时间，每个article爬取以后统一休眠30秒。

cloudflare反爬，使用Selenium爬取的网址被cloudflare保护起来了的

cloudflare反爬，使用Selenium爬取的网址被cloudflare保护起来了的

-----------20230729 使用beautifulsoup库来进行解析网页，使用起来更加稳定的而且排版更加贴近网页，之前是使用的selenium

-----------202306 上传

点击即可进入article目录查看的
每篇article都附带了修改时间和阅读数

保存到Markdown格式的数学公式、codes和图片
c++ set运算符重载
卷积和转置卷积矩阵计算

保存到PDF格式的，标题下面是网址

win10 python

1、点击下面这个网页，安装miniconda也就是安装python，下载好以后安装即可，在安装时需要加入到系统环境变量，勾选下图第二个框即可。
https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_23.3.1-0-Windows-x86_64.exe
2、接着需要修改python安装的路径，将msedgedriver\.condarc这个档案放到根目录C:\Users\username即可，另外再打开一个cmd或者PowerShell 运行conda clean -i输入Y即可，此时Python已经可以使用了

3、安装Python相关的调用库，另外再打开一个cmd或者PowerShell，运行
cd C:\Users\usrname\csdn
pip install -r .\requirement.txt

进入个人主页，先点击个人中心，然后点击个人主页，拿到个人主页的网址即可，像这里的个人地址是https://blog.csdn.net/m0_50617544，然后加上后缀就是https://blog.csdn.net/m0_50617544?type=blog，用到的网址是后面这个
运行以下内容，网址需要用个人的替掉，这一步是手动操作，需要人工输入账号和密码，然后点击登录就行，登录以后会自动保存好cookie，以后爬取时就不用重复登录了，保存的cookie在这个目录的cookie，产生的档案是cookie_csdn.pkl

爬取一旦开始就自动运行了，爬取窗口一般不能最小化，可以做其他事情的
爬取CSDN的article
默认的爬取每篇article的睡眠时间是20s以上，这边实际爬取时耗时平均是每篇 60s每个图片需要6s, --MarkDown控制是否保存markdown格式的网页内容

若是PDF看起来版式太大，调小参数就可以printop.scale，不是特殊情况一般不用调整

python crawler.py --article --csdn_person_website https://blog.csdn.net/m0_50617544?type=blog --MarkDown --links_scratch

--links_scratch：重命名*.txt，然后爬取所有的article链接+标题。article\article.txt保存了链接和标题

--MarkDown：保存markdown格式的article或者回答的

--article：是否爬取article的

所以，爬取所有的article的链接，需要加--links_scratch，会重命名article.txt，然后生成article.txt，并爬取txt的网址

python crawler.py --article --MarkDown  --links_scratch --csdn_person_website https://blog.csdn.net/m0_50617544?type=blog

直接爬取当前article.txt的网址，则需要删除--links_scratch

python crawler.py --article --MarkDown --csdn_person_website https://blog.csdn.net/m0_50617544?type=blog

第一次可以全部爬取，等所有article都已经爬取好以后，此时若是又写了一篇或者几篇article，而且想爬取到本地，可以将article/article.txt这个档案重命名到article/article_2023_06_20.txt，然后将写好的article的网址和标题按照之前档案的格式再create一个article.txt档案，运行爬取程序就可以了的，此时需要去掉选项--links_scratch避免爬取所有链接，此时只会爬取article.txt的网址
也就是

python crawler.py --answer --MarkDown

article：该目录存放article的website以及爬取到的内容

1、需要较好的网速，本机网速测验是下载100Mbps，上传60Mbps，低点也可以的，不是太慢太卡就行https://www.speedtest.cn/ 2、爬取时设置了睡眠时间, 避免给CSDN服务器带来太大压力，可以日间调试好，然后深夜运行爬取人少, 给其他小伙伴更好的用户体验, 避免CSDN顺着网线过来找人，默认6s 3、若是一直停在登录页面，可能是之前保存的cookie失效了，需要再次登录保存cookie

https://www.aliyundrive.com/s/NikyVRJq8JV 阿里云分享的 提取 0h3l
爬取知乎发布的想法和文篇和回答
爬取CSDN发布的文篇
https://zoujiu.blog.csdn.net/article/details/131514422
https://zoujiu.blog.csdn.net/article/details/131521909