benjaminwan / ocrlitencnn Goto Github PK

View Code? Open in Web Editor NEW

45.0 1.0 13.0 1.83 MB

chineseocr lite onnx to ncnn，超轻量级中文ocr demo，支持ncnn推理 ( dbnet+crnn+anglenet)

Home Page: https://github.com/ouyanghuiyu/chineseocr_lite

CMake 2.67% Batchfile 4.38% Shell 3.31% C++ 87.74% C 1.90%

chineseocr-lite ncnn dbnet android crnn

ocrlitencnn's Introduction

OcrLiteNcnn

联系方式

QQ①群：994929053(满)
QQ②群：820132154(满)
QQ③群：904091319(满)
QQ④群：615877948(满)
QQ⑤群：185905924(满)
QQ⑥群：628010752

Project下载

整合好源码和依赖库的完整工程项目，可以在Release中下载(github)
可到Q群共享内下载，以Project开头的压缩包文件为源码工程，例：Project_OcrLiteNcnn-版本号.7z
如果想自己折腾，则请继续阅读本说明

Demo下载(win、mac、linux)

编译好的demo，可以在release中下载，或者Q群共享内下载
或者Gitee下载
或者Github下载
各平台可执行文件：linux-bin.7z、macos-bin.7z、windows-bin.7z
用于java的jni库：linux-jni.7z、macos-jni.7z、windows-jni.7z
用于C的动态库：linux-clib.7z、macos-clib.7z、windows-clib.7z
C动态库调用范例:OcrLiteNcnnLibTest
注意：linux编译平台为ubuntu18.04，如果你的linux版本无法运行demo，请自行从源码编译依赖库和完整项目。

介绍

ChineseOcr Lite Ncnn，超轻量级中文OCR PC Demo，支持ncnn推理

对应chineseocr lite的onnx分支

这个项目使用ncnn框架进行推理，模型是从onnx模型转成了ncnn模型格式。

详情请查看 https://github.com/ouyanghuiyu/chineseocr_lite

采用ncnn神经网络前向计算框架https://github.com/Tencent/ncnn

更新说明

2021-10-13 update

opencv 4.5.4
ncnn 20210720
优化编译脚本和测试脚本

2021-10-25 update

fix:win编译打包C动态库缺少lib文件
编译c动态库添加打包include

2022-06-18 update

opencv 4.6.0
ncnn 20220420，模型格式变化，需重新转换db和angle模型
修改c lib导出方法，支持C调用

2022-10-14 update

ncnn: 20220729
vulkan: 1.2.189.0
范例工程windows版默认使用mt版依赖库

2023-02-14 update

ncnn: 20221128
vulkan: 1.3.236.0

模型下载

模型下载地址下载后解压到项目根目录

OcrLiteNcnn/models
    ├── angle_op.bin
    ├── angle_op.param
    ├── crnn_lite_op.bin
    ├── crnn_lite_op.param
    ├── dbnet_op.bin
    ├── dbnet_op.param
    └── keys.txt

编译说明

测试说明

根据系统下载对应的程序包linux-bin.7z、macos-bin.7z、windows-bin.7z，并解压.
把上面的模型下载，解压到第一步解压的文件夹里.
终端运行run-test.sh或命令行运行run-test.bat，查看识别结果.
终端运行run-benchmark.sh或命令行运行run-benchmark.bat，查看识别过程平均耗时.

FAQ

macOS缺少openmp(从1.7.0开始已不再依赖openmp)

brew install libomp

gpu版程序运行出错，缺少vulkan sdk

参考编译说明安装vulkan sdk

windows提示缺少"VCRUNTIME140_1.dll"

下载安装适用于 Visual Studio 2015、2017 和 2019 的 Microsoft Visual C++ 可再发行软件包下载地址

Windows7执行错误|中文乱码

cmd窗口左上角-属性
字体选项卡-选择除了“点阵字体”以外的TrueType字体,例如:Lucida Console、宋体
重新执行bat

输入参数说明

请参考main.h中的命令行参数说明。
每个参数有一个短参数名和一个长参数名，用短的或长的均可。

-d或--models：模型所在文件夹路径，可以相对路径也可以绝对路径。
-1或--det:dbNet模型文件名(不含扩展名)
-2或--cls:angleNet模型文件名(不含扩展名)
-3或--rec:crnnNet模型文件名(不含扩展名)
-4或--keys:keys.txt文件名(含扩展名)
-i或--image：目标图片路径，可以相对路径也可以绝对路径。
-t或--numThread：线程数量。
-p或--padding：图像预处理，在图片外周添加白边，用于提升识别率，文字框没有正确框住所有文字时，增加此值。
-s或--maxSideLen ：按图片最长边的长度，此值为0代表不缩放，例：1024，如果图片长边大于1024则把图像整体缩小到1024再进行图像分割计算，如果图片长边小于1024则不缩放，如果图片长边小于32，则缩放到32。
-b或--boxScoreThresh：文字框置信度门限，文字框没有正确框住所有文字时，减小此值。
-o或--boxThresh：请自行试验。
-u或--unClipRatio：单个文字框大小倍率，越大时单个文字框越大。此项与图片的大小相关，越大的图片此值应该越大。
-a或--doAngle：启用(1)/禁用(0) 文字方向检测，只有图片倒置的情况下(旋转90~270度的图片)，才需要启用文字方向检测。
-A或--mostAngle：启用(1)/禁用(0) 角度投票(整张图片以最大可能文字方向来识别)，当禁用文字方向检测时，此项也不起作用。
-h或--help：打印命令行帮助。
-G或--GPU：尝试使用gpu进行计算，-1(使用CPU)/0(使用GPU0)/1(使用GPU1)/...，GPU选择失败时，则使用CPU进行计算。

关于内存泄漏与valgrind

项目根目录的valgrind-memcheck.sh用来检查内存泄漏(需要debug编译)。
valgrind-memcheck.txt是demo在linux平台的检查报告。
报告中的"possibly lost"均发生在第三方库，possibly lost可能不一定是泄露，暂时不管。

ocrlitencnn's People

Contributors

Stargazers

Watchers

Forkers

qaz734913414 slj99 wavelet2008 alonegiveup dandelion111 amen9 yimudi003 wode2016501 webstorage119 heisir2014 iulove zelohon hhtczengjing

ocrlitencnn's Issues

错误 layer load_param 106 611 failed

wode@xxx-NBLK-WAX9X:~/src/OcrLiteNcnn$ bash run-test.sh
Setting the Number of Threads=8 Using an OpenMP Environment Variable
Gpu版本测试前请先安装Vulkan SDK v1.2.162.0，https://vulkan.lunarg.com/sdk/home
请输入测试选项并回车: 1)CPU, 2)GPU
2
1.8.1
[0 AMD RADV RAVEN] queueC=1[4] queueG=0[1] queueT=0[1]
[0 AMD RADV RAVEN] bugsbn1=0 bugbilz=0 bugcopc=0 bugihfa=0
[0 AMD RADV RAVEN] fp16-p/s/a=1/1/1 int8-p/s/a=1/1/1
[0 AMD RADV RAVEN] subgroup=64 basic=1 vote=1 ballot=1 shuffle=1
[1 llvmpipe (LLVM 13.0.1, 256 bits)] queueC=0[1] queueG=0[1] queueT=0[1]
[1 llvmpipe (LLVM 13.0.1, 256 bits)] bugsbn1=0 bugbilz=0 bugcopc=0 bugihfa=0
[1 llvmpipe (LLVM 13.0.1, 256 bits)] fp16-p/s/a=1/1/1 int8-p/s/a=1/1/1
[1 llvmpipe (LLVM 13.0.1, 256 bits)] subgroup=8 basic=1 vote=1 ballot=1 shuffle=0
This device has 2 GPUs
modelsPath=models
model dbnet path=models/dbnet_op
model angle path=models/angle_op
model crnn path=models/crnn_lite_op
keys path=models/keys.txt
imgDir=images/, imgName=1.jpg
resultTxtPath(images/1.jpg-result.txt)
[0 AMD RADV RAVEN] queueC=1[4] queueG=0[1] queueT=0[1]
[0 AMD RADV RAVEN] bugsbn1=0 bugbilz=0 bugcopc=0 bugihfa=0
[0 AMD RADV RAVEN] fp16-p/s/a=1/1/1 int8-p/s/a=1/1/1
[0 AMD RADV RAVEN] subgroup=64 basic=1 vote=1 ballot=1 shuffle=1
[1 llvmpipe (LLVM 13.0.1, 256 bits)] queueC=0[1] queueG=0[1] queueT=0[1]
[1 llvmpipe (LLVM 13.0.1, 256 bits)] bugsbn1=0 bugbilz=0 bugcopc=0 bugihfa=0
[1 llvmpipe (LLVM 13.0.1, 256 bits)] fp16-p/s/a=1/1/1 int8-p/s/a=1/1/1
[1 llvmpipe (LLVM 13.0.1, 256 bits)] subgroup=8 basic=1 vote=1 ballot=1 shuffle=0
dbNet try to use Gpu0
AngleNet use Cpu
CrnnNet use Cpu
=====Input Params=====
numThread(8),padding(50),maxSideLen(0),boxScoreThresh(0.600000),boxThresh(0.300000),unClipRatio(2.000000),doAngle(1),mostAngle(1),GPU(0)
=====Init Models=====
--- Init DbNet ---
--- Init AngleNet ---
param is too old, please regenerate!
layer load_param 106 611 failed
run-test.sh：行 57: 25190 段错误（核心已转储） ./${EXE_PATH}/OcrLiteNcnn --models models --det dbnet_op --cls angle_op --rec crnn_lite_op --keys keys.txt --image $TARGET_IMG --numThread $NUM_THREADS --padding 50 --maxSideLen 0 --boxScoreThresh 0.6 --boxThresh 0.3 --unClipRatio 2.0 --doAngle 1 --mostAngle 1 --GPU $GPU_INDEX

输出的似乎不是框坐标

for (int i = 0; i < textBoxes.size(); ++i) {
Logger("TextBox%d[score(%f),[x: %d, y: %d], [x: %d, y: %d], [x: %d, y: %d], [x: %d, y: %d]]\n", i,
textBoxes[i].score,
textBoxes[i].boxPoint[0].x, textBoxes[i].boxPoint[0].y,
textBoxes[i].boxPoint[1].x, textBoxes[i].boxPoint[1].y,
textBoxes[i].boxPoint[2].x, textBoxes[i].boxPoint[2].y,
textBoxes[i].boxPoint[3].x, textBoxes[i].boxPoint[3].y);
}

如何自己训练模型或者在现有模型基础上进行训练，项目中模型文件“讲进”识别不准确

vs2019 编译出来的NCNN 测试，在cmd界面输出都是乱码，请问怎么解决？

C:\Users\admin\Desktop\Project_OcrLiteNcnn-1.7.0\ncnnocr\Release>ncnnocr.exe --models models --det det --cls cls --rec rec --keys keys.txt --image 1.jpg --GPU 0

modelsPath=models
model dbnet path=models/det
model angle path=models/cls
model crnn path=models/rec
keys path=models/keys.txt
imgDir=, imgName=1.jpg
Model dbnet file not found: models/det.param

C:\Users\admin\Desktop\Project_OcrLiteNcnn-1.7.0\ncnnocr\Release>ncnnocr.exe --models models --keys keys.txt --image 1.jpg --GPU 0
modelsPath=models
keys path=models/keys.txt
imgDir=, imgName=1.jpg
resultTxtPath(1.jpg-result.txt)
=====Input Params=====
numThread(4),padding(50),maxSideLen(1024),boxScoreThresh(0.600000),boxThresh(0.300000),unClipRatio(2.000000),doAngle(1),mostAngle(1),GPU(0)
=====Init Models=====
--- Init DbNet ---
--- Init AngleNet ---
--- Init CrnnNet ---
=====Start detect=====
ScaleParam(sw:740,sh:740,dw:736,dh:736,0.994595,0.994595)
---------- step: dbNet getTextBoxes ----------
dbNetTime(496.365100ms)
TextBox0[score(0.735103),[x: 314, y: 58], [x: 668, y: 433], [x: 622, y: 476], [x: 268, y: 102]]
TextBox1[score(0.770903),[x: 435, y: 53], [x: 691, y: 305], [x: 635, y: 362], [x: 379, y: 110]]
TextBox2[score(0.791785),[x: 263, y: 122], [x: 564, y: 460], [x: 500, y: 515], [x: 201, y: 178]]
TextBox3[score(0.794584),[x: 182, y: 176], [x: 483, y: 530], [x: 415, y: 589], [x: 114, y: 234]]
TextBox4[score(0.699193),[x: 109, y: 230], [x: 320, y: 501], [x: 255, y: 552], [x: 44, y: 281]]
---------- step: drawTextBoxes ----------
---------- step: angleNet getAngles ----------
angle[0][index(1), score(0.999997), time(7.265200ms)]
angle[1][index(1), score(0.999786), time(2.394500ms)]
angle[2][index(1), score(0.999846), time(2.373200ms)]
angle[3][index(1), score(0.791865), time(2.258000ms)]
angle[4][index(1), score(1.000000), time(2.451200ms)]
---------- step: crnnNet getTextLine ----------
textLine0
textScores[0]{0.996313 ,0.999845 ,0.999914 ,0.999713 ,0.999677 ,0.998594 ,0.999956 ,0.999995 ,0.995888 ,0.998597}
crnnTime0
textLine1
textScores[1]{0.999805 ,0.576728 ,0.993639 ,0.999157 ,0.999847}
crnnTime1
textLine2
textScores[2]{0.999981 ,0.999988 ,0.999614 ,0.999997 ,0.999606 ,0.999977 ,0.999962}
crnnTime2
textLine3
textScores[3]{0.985631 ,0.999934 ,0.993689 ,0.982854 ,0.958149 ,0.996716 ,0.999792}
crnnTime3
textLine4
textScores[4]{0.987057 ,0.984709 ,0.969712 ,0.880784 ,0.790944 ,0.988959}
crnnTime4
=====End detect=====
FullDetectTime(628.647800ms)
棣欐腐娣卞湷鎶借锛屽彲閭瘎
涓撲笟鏌ユ€у埆
涓撲笟閴村畾B瓒呭崟
b瓒呬华鍣ㄦ煡鎬у埆
鍔犲井淇ee

请问c_api的结果支持输出对应坐标吗

我安装了VS2019和Cmake但是generate-vs-project.bat运行选项选择完只生成文件夹，文件夹里没东西。

我安装了VS2019和Cmake但是generate-vs-project.bat运行选项选择完只生成文件夹，文件夹里没东西。build.bat也是只生成文件夹但没有东西！
这是我电脑路径 E:\VSwork_Project\Project_OcrLiteNcnn-1.8.0
没有中文和特殊符号！

你好还有一个问题我目前利用这个项目生成c++的动态库成功了，可是把这个库带入项目报错

1>OcrTest.obj : error LNK2001: 无法解析的外部符号 optarg
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "void __cdecl printGpuInfo(void)" (?printGpuInfo@@yaxxz)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: struct OcrResult __cdecl OcrLite::detect(char const *,char const *,int,int,float,float,float,bool,bool)" (?detect@OcrLite@@qeaa?AUOcrResult@@PEBD0HHMMM_N1@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: void __cdecl OcrLite::Logger(char const *,...)" (?Logger@OcrLite@@QEAAXPEBDZZ)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: bool __cdecl OcrLite::initModels(class std::basic_string<char,struct std::char_traits,class std::allocator > const &,class std::basic_string<char,struct std::char_traits,class std::allocator > const &,class std::basic_string<char,struct std::char_traits,class std::allocator > const &,class std::basic_string<char,struct std::char_traits,class std::allocator > const &)" (?initModels@OcrLite@@QEAA_NAEBV?$basic_string@DU?$char_traits@D@std@@v?$allocator@D@2@@std@@000@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: void __cdecl OcrLite::setGpuIndex(int)" (?setGpuIndex@OcrLite@@QEAAXH@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: void __cdecl OcrLite::enableResultTxt(char const *,char const *)" (?enableResultTxt@OcrLite@@QEAAXPEBD0@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: void __cdecl OcrLite::initLogger(bool,bool,bool)" (?initLogger@OcrLite@@QEAAX_N00@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: void __cdecl OcrLite::setNumThread(int)" (?setNumThread@OcrLite@@QEAAXH@Z)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: __cdecl OcrLite::~OcrLite(void)" (??1OcrLite@@qeaa@XZ)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 "public: __cdecl OcrLite::OcrLite(void)" (??0OcrLite@@qeaa@XZ)
1>OcrTest.obj : error LNK2001: 无法解析的外部符号 getopt_long

这个应该是库的版本不符合的问题，都是release64的，用的是复制main.cpp文件，请问下这个问题怎么解决