lolishinshi / imsearch Goto Github PK

View Code? Open in Web Editor NEW

533.0 4.0 40.0 347 KB

基于特征点匹配的相似图片搜索

License: GNU General Public License v3.0

Rust 72.01% C++ 12.26% C 15.21% Python 0.51%

imsearch's People

Stargazers

Watchers

imsearch's Issues

[FR] 新特性

删除图片
分 index 构建

关于数据库存放在HDD导致搜索时间过慢问题

--版本

--情况

HZ-E5-256G-10并行-230G(HDD)
[2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 3.67s
[2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 4.17s
[2021-12-01T15:47:09Z DEBUG imsearch::index] knn search time: 4.20s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.24s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.26s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.26s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.27s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.28s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.29s
[2021-12-01T15:47:10Z DEBUG imsearch::index] knn search time: 4.29s
[2021-12-01T15:48:54Z DEBUG imsearch::imdb] search time: 108.33s
[2021-12-01T15:48:56Z DEBUG imsearch::imdb] search time: 111.20s
[2021-12-01T15:48:57Z DEBUG imsearch::imdb] search time: 111.74s
[2021-12-01T15:48:58Z DEBUG imsearch::imdb] search time: 112.45s
[2021-12-01T15:48:58Z DEBUG imsearch::imdb] search time: 112.55s
[2021-12-01T15:48:59Z DEBUG imsearch::imdb] search time: 113.93s
[2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.26s
[2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.42s
[2021-12-01T15:49:00Z DEBUG imsearch::imdb] search time: 114.89s
[2021-12-01T15:49:01Z DEBUG imsearch::imdb] search time: 115.48s

在E5-1650V3 256G HDD机子里
使用 start-server http模式加载 230G index 和 22G 数据库(database)（数据库已 clear-cache 清除特征点）
再使用10个并行测试搜索，log如上

index已经缓存在内存里，knn搜索时间没什么问题
但总时间却过于长，应该是「从数据库中查询特征点对应的本子」，并且数据库存放在HDD读取过慢的问题

--解决方式

1.把数据库(database)存放在nvme盘
但租用的服务器没有

2.使用内存创建虚拟硬盘，把数据库(database)放进去
目前临时使用该方法解决中，但由于是使用tmpfs创建内存虚拟硬盘效率不佳，并且只能手动

3.我建议新增个可选项，把数据库(database)也缓存在内存里

编译失败

不知道为什么...

[BUG] 新版添加大量图片时出现 Segmentation fault 中断

--版本

--情况

添加48w图片时的一半出现

[OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/091.png
[OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/146.png
[OK] Add /www/nhentai_jp/nh2/[315879][brother pierrot]/001.jpg
Segmentation fault

--尝试复现1（失败）

新建一个数据库，添加这个 /www/nhentai_jp/nh2/[315879][brother pierrot]/ 文件夹是没问题

--尝试复现2（成功）

新建一个数据库，添加这个 /www/nhentai_jp/ 整个文件夹，也在中途出现 Segmentation fault 错误中断
但中断文件的文件夹不是 /www/nhentai_jp/nh2/[315879][brother pierrot]/ ，而是其他

--退回上上旧版（无错误）

退回上上旧版 https://github.com/lolishinshi/imsearch/tree/06b4c3705ec5554c7429923dbc5de5bb6fb85645
再新建一个数据库，添加这个 /www/nhentai_jp/ 整个文件夹，未出现中断错误问题

关于使用方法

第一次的imsearch add-images train和后面的imsearch add-images DIR是什么关系？看起来train的图片也会被搜索，区别是？
执行多次imsearch add-images train添加训练数据，同名图片会覆盖掉吗？imsearch add-images DIR会被用于训练吗？

[FR] start-server模式增强

支持切换其他参数
支持切换 --mmap 模式 / 恢复内存加载模式（用于避免构建index时挤掉server）
Post密码方式重载、停止、启动 server（用于更新加载index）

conda create -n imsearch -c conda-forge rust python=3.7
conda install -c pytorch opencv faiss-gpu cudatoolkit=10.2

出现了上面那个报错

[FR] 分块载入内存构建，然后再在硬盘上合并

[FR] 支持 HNSWx 模式构建索引（实验性）

支持 HNSWx(IndexHNSWFlat) 模式构建索引（实验性）
其优点：基于图检索的改进方法，检索速度极快，10亿级别秒出检索结果，而且召回率几乎可以媲美Flat，能达到惊人的97%。检索的时间复杂度为loglogn，几乎可以无视候选向量的量级了。并且支持分批导入，极其适合线上任务，毫秒级别体验。（来自网传）
其缺点：构建索引极慢，占用内存极大（是Faiss中最大的，大于原向量占用的内存大小）

有没有粉丝交流的地方，搜图Bot娘好可爱！！

比如QQ群什么的

[FR] 请求 build-index 构建支持GPU

build-index 构建支持GPU

lolishinshi / imsearch Goto Github PK

imsearch's People

Stargazers

Watchers

Forkers

imsearch's Issues

--版本

--情况

--解决方式

--版本

--情况

--尝试复现1（失败）

--尝试复现2（成功）

--退回上上旧版（无错误）

Recommend Projects

Recommend Topics

Recommend Org