Git Product home page Git Product logo

baidutb's Introduction

百度贴吧采集图片站程序

前言

该程序是根据系统后台设置贴吧名称后,系统根据所设置的贴吧进行指定采集。

采集完成后的图片保存在本地服务器,并生产数据于前端展示。

系统根据所设置贴吧名称指定采集相关贴吧信息图片,指定贴吧前,先检查该贴吧是否正常开放,如被关闭的贴吧是无法正常采集的。

采集逻辑为:

1、采集贴吧列表;

2、采集列表中具体帖子内容图片。

程序演示

http://p.fungj.com

程序简介

程序使用Thinkphp5.0.10 为程序框架开发

前端使用AmazeUI 2.7.2 进行制作

程序目前实现根据指定贴吧进行采集,将采集后的图片存入本地服务器,通过后台管理已采集数据和设置采集贴吧名称。前端实现显示数据,搜索数据,分页,评论等效果。

采集设置

使用windows或linux制作两个定时执行器执行下面两个页面即可

1、设置采集列表 http://youhost/getlist

2、设置采集内容 http://youhost/getimg

列表采集建议每小时执行一次,内容建议30-60秒执行一次。 默认设置为图片大于4张采集,楼层小于20采集,如果需要可以自行修改

一些细节

如果发现采集停止,需要查看/runtime/log/下面的日志情况。

如有更新可以清空/runtime 目录下的所有文件。

由于贴吧中部分帖子为广告贴,但采集无法识别,所有当采集后可以通过删除进行处理。

作者

风之翼灵

www.fungj.com

该程序由风之翼灵开发,如有问题请到www.fungj.com提出来

程序于2017年7月24日开发,同月27日上线并发布R1版本。

程序持续更新中,处理BUG,完善采集,优化系统,新增功能。

baidutb's People

Contributors

fungjcode avatar

Watchers

 avatar  avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.