千家信息网

相似图像搜索插件imgsmlr性能测试与优化方法是什么

发表于:2025-01-22 作者:千家信息网编辑
千家信息网最后更新 2025年01月22日,这篇文章主要讲解了"相似图像搜索插件imgsmlr性能测试与优化方法是什么",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"相似图像搜索插件imgsmlr
千家信息网最后更新 2025年01月22日相似图像搜索插件imgsmlr性能测试与优化方法是什么

这篇文章主要讲解了"相似图像搜索插件imgsmlr性能测试与优化方法是什么",文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习"相似图像搜索插件imgsmlr性能测试与优化方法是什么"吧!

citus (8节点, 128 shard)

1、安装imgsmlr插件软件 (所有节点)

2、create extension imgsmlr (所有节点)

3、生成随机img sig的函数 (cn, 因为只需要用于插入, 不需要下推)

CREATE OR REPLACE FUNCTION public.gen_rand_img_sig(integer)   RETURNS signature   LANGUAGE sql   STRICT  AS $function$    select ('('||rtrim(ltrim(array(select (random()*$1)::float4 from generate_series(1,16))::text,'{'),'}')||')')::signature;  $function$;

4、创建测试表 (cn)

create table t_img (id int primary key, sig signature);

5、创建索引 (cn)

create index idx_t_img_1 on t_img using gist (sig);

6、创建分片表(128 shard) (cn)

set citus.shard_count = 128;  select create_distributed_table('t_img','id');

7、写入4.5亿随机图像特征值

vi test.sql    \set id random(1,2000000000)  insert into t_img values (:id, gen_rand_img_sig(10)) on conflict(id) do nothing;
pgbench -M prepared -n -r -P 1 -f ./test.sql -c 128 -j 128 -t 10000000

写入约4.5亿随机图像特征值

postgres=# select count(*) from t_img;     count     -----------   446953185  (1 row)
postgres=# select * from t_img limit 10;      id     |                                                                               sig                                                                                  -----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------    47902935 | (5.861920, 1.062770, 8.318020, 2.205840, 0.202951, 6.956610, 1.413190, 2.898480, 8.961630, 6.377800, 1.110450, 6.684520, 2.286290, 7.850760, 1.832650, 0.074348)   174656795 | (2.165030, 0.183753, 9.913950, 9.208260, 5.165660, 6.603510, 2.008380, 8.117910, 2.358590, 5.466330, 9.139280, 8.893700, 4.664190, 9.361670, 9.016990, 2.271000)    96186891 | (9.605980, 4.395920, 4.336720, 3.174360, 8.706960, 0.155107, 9.408940, 4.531100, 2.783530, 5.681780, 9.792380, 6.428320, 2.983760, 9.733290, 7.635160, 7.035780)    55061667 | (7.567960, 5.874530, 5.222040, 5.638520, 3.488960, 8.770750, 7.054610, 7.239630, 9.202280, 9.465020, 4.079080, 5.729770, 0.475227, 8.434800, 6.873730, 5.140080)    64659434 | (4.860650, 3.984440, 3.009900, 5.116680, 6.489150, 4.224800, 0.609752, 8.731120, 6.577390, 8.542540, 9.096120, 8.976700, 8.936000, 2.836270, 7.186250, 6.264300)    87143098 | (4.801570, 7.870150, 0.939599, 3.666670, 1.102340, 5.819580, 6.511330, 6.430760, 0.584531, 3.024190, 6.255460, 8.823820, 5.076960, 0.181344, 8.137380, 1.230360)   109245945 | (7.541850, 7.201460, 6.858400, 2.605210, 1.283090, 7.525200, 4.213240, 8.413760, 9.707390, 1.916970, 1.719320, 1.255280, 9.006780, 4.851420, 2.168250, 5.997360)     4979218 | (8.463000, 4.051410, 9.057320, 1.367980, 3.344340, 7.032640, 8.583770, 1.873090, 5.524810, 0.187254, 5.783270, 6.141040, 2.479410, 6.406450, 9.371700, 0.050690)    72846137 | (7.018560, 4.039150, 9.114800, 2.911170, 5.531180, 8.557330, 6.739050, 0.103649, 3.691390, 7.584640, 8.184180, 0.599390, 9.037130, 4.090610, 4.369770, 6.480000)    36813995 | (4.643480, 8.704640, 1.073880, 2.665530, 3.298300, 9.244280, 5.768050, 0.887555, 5.990350, 2.991390, 6.186550, 6.464940, 6.187140, 0.150242, 2.123070, 2.932270)  (10 rows)

查询性能

1、由于imgsmlr的一些类型没有写对应的send, recv函数接口,所以需要使用TEXT交互。CN设置参数如下

set citus.binary_master_copy_format =off;

未设置时报错

WARNING:  42883: no binary output function available for type signature  LOCATION:  ReportResultError, remote_commands.c:302

2、创建生成随机图像特征值stable函数,便于测试。(所有节点)

create or replace function get_rand_img_sig(int) returns signature as $$    select ('('||rtrim(ltrim(array(select (random()*$1)::float4 from generate_series(1,16))::text,'{'),'}')||')')::signature;  $$ language sql strict stable;

3、性能

postgres=# select * from t_img order by sig <-> get_rand_img_sig(10) limit 1;      id     |                                                                               sig                                                                                  -----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------   565459043 | (1.790420, 9.463960, 7.089370, 5.888980, 0.974693, 2.148580, 6.153310, 9.098670, 2.815750, 7.625620, 7.598990, 7.141670, 7.189410, 4.630740, 3.673030, 7.820140)  (1 row)    Time: 612.839 ms

4、执行计划

postgres=# explain (analyze,verbose,timing,costs,buffers) select * from t_img order by sig <-> get_rand_img_sig(10) limit 1;                                                                                           QUERY PLAN                                                                                            ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------   Limit  (cost=0.00..0.00 rows=0 width=0) (actual time=823.235..823.237 rows=1 loops=1)     Output: remote_scan.id, remote_scan.sig, remote_scan.worker_column_3     ->  Sort  (cost=0.00..0.00 rows=0 width=0) (actual time=823.233..823.233 rows=1 loops=1)           Output: remote_scan.id, remote_scan.sig, remote_scan.worker_column_3           Sort Key: remote_scan.worker_column_3           Sort Method: top-N heapsort  Memory: 25kB           ->  Custom Scan (Citus Real-Time)  (cost=0.00..0.00 rows=0 width=0) (actual time=823.185..823.200 rows=128 loops=1)                 Output: remote_scan.id, remote_scan.sig, remote_scan.worker_column_3                 Task Count: 128                 Tasks Shown: One of 128                 ->  Task                       Node: host=172.24.211.224 port=1921 dbname=postgres                       ->  Limit  (cost=0.67..0.97 rows=1 width=72) (actual time=151.011..151.012 rows=1 loops=1)                             Output: id, sig, ((sig <-> get_rand_img_sig(10)))                             Buffers: shared hit=5769                             ->  Index Scan using idx_t_img_1_106940 on public.t_img_106940 t_img  (cost=0.67..1052191.36 rows=3488100 width=72) (actual time=151.008..151.009 rows=1 loops=1)                                   Output: id, sig, (sig <-> get_rand_img_sig(10))                                   Order By: (t_img.sig <-> get_rand_img_sig(10))                                   Buffers: shared hit=5769                           Planning time: 1.021 ms                           Execution time: 156.785 ms   Planning time: 2.364 ms   Execution time: 823.577 ms  (23 rows)
postgres=# select * from t_img order by sig <-> get_rand_img_sig(10) limit 1;      id    |                                                                               sig                                                                                  ----------+------------------------------------------------------------------------------------------------------------------------------------------------------------------   30290963 | (4.656000, 7.143380, 7.738080, 1.971150, 4.294430, 4.397560, 7.121350, 8.629690, 2.768710, 2.715320, 0.358493, 0.486682, 5.985860, 8.319860, 2.560290, 3.384480)  (1 row)    Time: 612.783 ms  postgres=# select * from t_img order by sig <-> get_rand_img_sig(10) limit 1;       id     |                                                                               sig                                                                                  ------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------   1632633492 | (6.969460, 5.835990, 0.629481, 7.621580, 0.171138, 2.586950, 1.483150, 5.526530, 3.835270, 2.275350, 3.470760, 4.934100, 0.442193, 1.843810, 0.561291, 0.647721)  (1 row)    Time: 610.960 ms

感谢各位的阅读,以上就是"相似图像搜索插件imgsmlr性能测试与优化方法是什么"的内容了,经过本文的学习后,相信大家对相似图像搜索插件imgsmlr性能测试与优化方法是什么这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是,小编将为大家推送更多相关知识点的文章,欢迎关注!

图像 性能 测试 插件 相似 方法 搜索 节点 函数 特征 特征值 学习 内容 生成 参数 就是 思路 情况 接口 文章 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 杭州超声波液位计电路板软件开发 前端和网络技术的关系 苹果cms如何删除数据库 服务器的服务的启用记录 互联网科技公司做炒股软件 数据库中 数据冗余是指 北京服务器机柜销售公司 一张图看懂世界互联网大会黑科技 计算机控制及网络技术pdf 服务器安全策略禁止ping 厦门做网络安全企业 ef数据库更新 rust直接连接服务器代码 货运软件开发公司经营范围 方舟生存进化开服务器详细流程 c4网络技术挑战赛报名费 苹果手机软件开发怎么样 网络安全顾问年薪最高的人 sql数据库用户名密码 南昌县软件开发培训学校 初中生正确使用网络安全 深圳服务器系统集成服务费用 长乐财务软件开发哪里好 java数据库工厂类 光纤专线接服务器 上饶云服务器要多少费用 银行软件开发考什么条件 华为生产服务器吗 软件和软件开发服务费区别 网络安全基本因素包括以下
0