Git Product home page Git Product logo

Comments (18)

myhhub avatar myhhub commented on May 19, 2024

1.遇到查看行情形态默认是全选,,尝试修改,实在没能找到哪里可以存储特定形态,或者默认不显示形态,手选点选也没法应用,不知道这个功能是否方便修改. 2.股票行情没有创业板和科创,已手动iscode部分修改30,688,可以自动更新到数据库. 如能加入ETF部分的会更完善,方便关注到板块联动股票联动. 新的docker容量减少很多,部署方便很多.谢谢

建议很好。添加了设置visualization.py pattern_is_show = False 形态缺省是否显示，以后会考虑把基金加进来

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

已更新最新的Docker,测试后遇到启动后出现四个instock/job/execute_daily_job.py进程,占用很高,内存占用也高了不少,小主机,从之前的130%cpu增加到350%,内存占用也提高. 按理周末应该不需要更新数据了,昨天已做了收盘数据和形态扫描.

from stock.

myhhub avatar myhhub commented on May 19, 2024

已更新最新的Docker,测试后遇到启动后出现四个instock/job/execute_daily_job.py进程,占用很高,内存占用也高了不少,小主机,从之前的130%cpu增加到350%,内存占用也提高. 按理周末应该不需要更新数据了,昨天已做了收盘数据和形态扫描.

前天的镜像确实有这个bug，昨天的镜像已经消除bug。

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样：
[program:run_job]
command=/data/InStock/instock/bin/run_job.sh
autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样：
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样： [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样： 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

已更新的docker,重新pull 最新latest的docker:
docker exec -it inStock /bin/bash
root@03b9b1505a36:/data# cat /data/InStock/supervisor/supervisord.conf
[program:run_job]
command=/data/InStock/instock/bin/run_job.sh
autorestart=false
priority=100

root@03b9b1505a36:/data# cat /var/spool/cron/crontabs/root
SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
*/30 9,10,11,13,14,15 * * 1-5 /bin/run-parts /etc/cron.hourly
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly
30 10 * * 3,6 /bin/run-parts /etc/cron.monthly
30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly
30 10 * * 3,6 /bin/run-parts /etc/cron.monthly

▶ inStock 4182890aefd6 304% 2G /
后台查询有四个execute_daily和一个web进程.设计的4个守护进程?
ps aux|grep /data/InStock|grep -v grep|grep -v super
root 458786 0.0 0.0 3900 244 pts/0 S 10:32 0:00 /bin/bash /data/InStock/instock/bin/run_web.sh
root 458787 0.0 0.0 2484 0 pts/0 S 10:32 0:00 /bin/sh /data/InStock/instock/bin/run_cron.sh
root 458788 106 16.5 14250424 438652 pts/0 Sl 10:32 10:29 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458789 7.4 0.7 8770424 19792 pts/0 Sl 10:32 0:44 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py
root 458808 107 17.7 14009064 470348 pts/0 Sl 10:32 10:38 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458829 106 15.9 14331448 424152 pts/0 Sl 10:32 10:30 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 458867 105 17.1 14298576 454076 pts/0 Sl 10:32 10:21 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

刚检查了下,可能是重构后cache数据丢失了,会重新下载.已尝试将cache持久化.等跑完数据应该会恢复

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

已经恢复正常了,2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 #######
2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 #######
2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######

from stock.

myhhub avatar myhhub commented on May 19, 2024

已经恢复正常了,2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######

这个初始化数据运行了3遍，前天非正常的镜像。正常只运行一遍。头尾对应一下:

head -n 20 /data/InStock/instock/log/stock_execute_job.log 
tail -f 20 /data/InStock/instock/log/stock_execute_job.log

head -n 20 /data/InStock/instock/log/stock_execute_job.log
2023-04-23 12:09:53,800 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-23 12:09:56,217 Initializing backend: None ak_cache
2023-04-23 12:09:56,217 Initialized SQLiteDict with serializer: SerializerPipeline(name=pickle, n_stages=2)
2023-04-23 12:09:56,219 Opening connection to /tmp/ak_cache.sqlite:responses
2023-04-23 12:09:56,224 Initialized SQLiteDict with serializer: None
2023-04-23 12:09:56,226 Opening connection to /tmp/ak_cache.sqlite:redirects
2023-04-23 12:09:57,496 ######## 任务执行时间: 2023-04-23 12:09:57.496520 #######
2023-04-23 12:09:57,500 数据库不存在，将创建。执行信息：(1049, "Unknown database 'instockdb'")

1623766962675 HTTP/1.1" 200 19382
2023-04-23 12:11:40,312 http://push2his.eastmoney.com:80 "GET /api/qt/stock/kline/get?fields1=f1%2Cf2%2Cf3%2Cf4%2Cf5%2Cf6&fields2=f51%2Cf52%2Cf53%2Cf54%2Cf55%2Cf56%2Cf57%2Cf58%2Cf59%2Cf60%2Cf61%2Cf116&ut=7eea3edcaed734bea9cbfc24409ed989&klt=101&fqt=1&secid=0.002148&beg=20200421&end=20500101&_=1623766962675 HTTP/1.1" 200 19713
2023-04-23 12:13:39,758 Starting new HTTPS connection (1): datacenter-web.eastmoney.com:443
2023-04-23 12:13:40,364 https://datacenter-web.eastmoney.com:443 "GET /api/data/v1/get?sortColumns=NET_BUY_AMT%2CTRADE_DATE%2CSECURITY_CODE&sortTypes=-1%2C-1%2C1&pageSize=5000&pageNumber=1&reportName=RPT_ORGANIZATION_TRADE_DETAILS&columns=ALL&source=WEB&client=WEB&filter=%28TRADE_DATE%3E%3D%272023-01-21%27%29%28TRADE_DATE%3C%3D%272023-04-21%27%29 HTTP/1.1" 200 None
2023-04-23 12:17:56,871 ######## 完成任务, 使用时间: 479.3746862411499 秒 #######

from stock.

myhhub avatar myhhub commented on May 19, 2024

还会发现下面异常：
2023-04-23 12:09:59,627 http://vip.stock.finance.sina.com.cn:80 "GET /q/go.php/vLHBData/kind/ggtj/index.phtml?last=5&p=5 HTTP/1.1" 200 None
2023-04-23 12:09:59,668 stockfetch.fetch_stock_top_data处理异常：[Errno 32] Broken pipe

akshare的龙虎榜数据接口有bug，已经反馈给他们了，docker版看不到龙虎榜。

from stock.

myhhub avatar myhhub commented on May 19, 2024

排查一下，是否更新成功。

sudo docker exec -i InStock bash
cat /data/InStock/supervisor/supervisord.conf

是否和下面一样： [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false #不自动重启

cat /var/spool/cron/crontabs/root

是否和下面一样： 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly # 工作日17：30启动

已更新的docker,重新pull 最新latest的docker: docker exec -it inStock /bin/bash root@03b9b1505a36:/data# cat /data/InStock/supervisor/supervisord.conf [program:run_job] command=/data/InStock/instock/bin/run_job.sh autorestart=false priority=100

root@03b9b1505a36:/data# cat /var/spool/cron/crontabs/root SHELL=/bin/sh PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin */30 9,10,11,13,14,15 * * 1-5 /bin/run-parts /etc/cron.hourly 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly 30 10 * * 3,6 /bin/run-parts /etc/cron.monthly 30 17 * * 1-5 /bin/run-parts /etc/cron.workdayly 30 10 * * 3,6 /bin/run-parts /etc/cron.monthly

▶ inStock 4182890aefd6 304% 2G / 后台查询有四个execute_daily和一个web进程.设计的4个守护进程? ps aux|grep /data/InStock|grep -v grep|grep -v super root 458786 0.0 0.0 3900 244 pts/0 S 10:32 0:00 /bin/bash /data/InStock/instock/bin/run_web.sh root 458787 0.0 0.0 2484 0 pts/0 S 10:32 0:00 /bin/sh /data/InStock/instock/bin/run_cron.sh root 458788 106 16.5 14250424 438652 pts/0 Sl 10:32 10:29 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458789 7.4 0.7 8770424 19792 pts/0 Sl 10:32 0:44 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py root 458808 107 17.7 14009064 470348 pts/0 Sl 10:32 10:38 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458829 106 15.9 14331448 424152 pts/0 Sl 10:32 10:30 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py root 458867 105 17.1 14298576 454076 pts/0 Sl 10:32 10:21 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py

这个是前天有问题的镜像。
正常的是：
UID PID PPID C STIME TTY TIME CMD
root 3094 3074 0 12:09 pts/0 00:00:02 /usr/local/bin/python /usr/local/bin/supervisord -n -c /data/InStock/supervisor/supervisord.conf
root 3124 3094 0 12:09 pts/0 00:00:00 /bin/bash /data/InStock/instock/bin/run_web.sh
root 3125 3094 0 12:09 pts/0 00:00:00 /bin/sh /data/InStock/instock/bin/run_cron.sh
root 3126 3094 5 12:09 pts/0 00:07:12 /usr/local/bin/python3 /data/InStock/instock/job/execute_daily_job.py
root 3127 3124 4 12:09 pts/0 00:06:18 /usr/local/bin/python3 /data/InStock/instock/web/web_service.py
root 3130 3125 0 12:09 pts/0 00:00:00 /usr/sbin/cron -f
root 3177 3074 0 12:09 ? 00:00:00 bash

from stock.

myhhub avatar myhhub commented on May 19, 2024

ETF部分的会更完善,方便关注到板块联动股票联动

纳入了ETF数据

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

也会出现top_data处理异常：[Errno 32] Broken pipe
另:
2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 #######
2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 #######
2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 #######
未完成后重新构建:
2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 #######
2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 #######
2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 #######
2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 #######
2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 #######
2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 #######
完成后3v3匹配最后后台保留3个Exec进程
2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 #######
2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 #######
2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 #######
数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行
2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 #######
2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 #######
2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 #######
2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢
1.是否方便在stockfetch.py添加300股票创业板.
2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

from stock.

johnsonhongyi avatar johnsonhongyi commented on May 19, 2024

出现的一个异常
2023-04-23 19:06:42,456 klinepattern_data_daily_job.prepare处理异常：cannot access local variable '_db' where it is not associated with a value

from stock.

pi159265 avatar pi159265 commented on May 19, 2024

你这个非常棒， 我自己一直在找这个。

请问时候可以添加市盈率，ROE模块选股模块？

from stock.

myhhub avatar myhhub commented on May 19, 2024

johnsonhongyi

也会出现top_data处理异常：[Errno 32] Broken pipe 另: 2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 ####### 2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 ####### 2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 ####### 未完成后重新构建: 2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 ####### 2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 ####### 2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 ####### 2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 ####### 完成后3v3匹配最后后台保留3个Exec进程 2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 ####### 2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 ####### 2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 ####### 数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行 2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 ####### 2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 ####### 2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 ####### 2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢 1.是否方便在stockfetch.py添加300股票创业板. 2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

你docker的问题，除了龙虎榜(他不处理akfamily/akshare#3703)
，软件镜像其他一切正常。
这是我能告诉你的

sudo docker container stop InStock InStockDbService
sudo docker container prune
sudo docker rmi mayanghua/instock:latest
sudo docker rmi -f $(docker images | grep "none" | awk '{print $3}')

from stock.

myhhub avatar myhhub commented on May 19, 2024

你这个非常棒， 我自己一直在找这个。

请问时候可以添加市盈率，ROE模块选股模块？

不太明白，把详细的想法说出来，如果不方便邮件[email protected]

from stock.

myhhub avatar myhhub commented on May 19, 2024

默认添加了创业板股票

from stock.

myhhub avatar myhhub commented on May 19, 2024

docker版抓到johnsonhongyi同样的错误了，问题一定会解决的。

2023-04-24 08:59:19,620 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:20,318 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:23,180 数据库链接执行信息：mysql+pymysql://root:root@InStockDbService:3306/instockdb?charset=utf8mb4
2023-04-24 08:59:30,996 ######## 任务执行时间: 2023-04-24 08:59:30.996580 #######
2023-04-24 08:59:31,031 执行信息：数据库不存在，将创建。
2023-04-24 08:59:31,070 ######## 任务执行时间: 2023-04-24 08:59:31.070898 #######
2023-04-24 08:59:32,543 ######## 任务执行时间: 2023-04-24 08:59:32.543433 #######

from stock.

myhhub avatar myhhub commented on May 19, 2024

也会出现top_data处理异常：[Errno 32] Broken pipe 另: 2023-04-23 11:16:14,164 ######## 任务执行时间: 2023-04-23 11:16:14.164142 ####### 2023-04-23 11:16:14,174 ######## 任务执行时间: 2023-04-23 11:16:14.174617 ####### 2023-04-23 11:16:16,328 ######## 任务执行时间: 2023-04-23 11:16:16.328237 ####### 未完成后重新构建: 2023-04-23 11:23:49,035 ######## 任务执行时间: 2023-04-23 11:23:49.035578 ####### 2023-04-23 11:23:49,064 ######## 任务执行时间: 2023-04-23 11:23:49.064575 ####### 2023-04-23 11:23:51,114 ######## 任务执行时间: 2023-04-23 11:23:51.113904 ####### 2023-04-23 11:58:55,530 ######## 完成任务, 使用时间: 2106.4657397270203 秒 ####### 2023-04-23 11:59:03,637 ######## 完成任务, 使用时间: 2114.602345228195 秒 ####### 2023-04-23 11:59:09,579 ######## 完成任务, 使用时间: 2118.4658913612366 秒 ####### 完成后3v3匹配最后后台保留3个Exec进程 2023-04-23 18:22:19,431 ######## 任务执行时间: 2023-04-23 18:22:19.430466 ####### 2023-04-23 18:22:19,452 ######## 任务执行时间: 2023-04-23 18:22:19.451956 ####### 2023-04-23 18:22:21,221 ######## 任务执行时间: 2023-04-23 18:22:21.221333 ####### 数据已完成后,重启尝试查看系统状态,后还有3个初始化进程后台占用.未完成.

更新ETF docker 后启动为四个任务执行 2023-04-23 18:41:29,727 ######## 任务执行时间: 2023-04-23 18:41:29.727601 ####### 2023-04-23 18:41:29,739 ######## 任务执行时间: 2023-04-23 18:41:29.738994 ####### 2023-04-23 18:41:31,431 ######## 任务执行时间: 2023-04-23 18:41:31.429764 ####### 2023-04-23 18:41:34,460 ######## 任务执行时间: 2023-04-23 18:41:34.460456 #######

已更新ETF 新版docker,谢谢 1.是否方便在stockfetch.py添加300股票创业板. 2.系统完成收盘以及数据分析后,docker重启后仍会重新跑一次数据校验么,后台任务也还在执行ing

提了很多建设性的意见，很好！

重复执行已解决，配置问题。你测试一下

from stock.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.