collection entity numbers

[zhu3359]

新建了一个collection插入了130w数据，insert数据后每天会执行upsert操作，upsert的数据中既有新的数据，也有对已有数据的update，两天后看有165w数据，现在发现在attr schema一栏看到的entity数量和在分区一栏中看到的数量差别很大，query node在每天upsert数据后的内存上涨量也很夸张，现在已经是刚建好表插入130w数据的两倍了，想咨询下这是为什么

[yhmo]

"既有新的数据，也有对已有数据的update" ----------------- 有"新的数据"的话，行数是会增长的。比如之前有id=[1,2,3]三条数据，我upsert(data={id:4, xxx:xxx})，就增加了id=4这条数据，行数就变成4。行数增加内存也必定增加。

[yhmo]

这日志只有30秒，里面大量关于indexnode的报错，看起来indexnode撞到了什么bug，也许跟这个相关：#41287
你的milvus版本小于等于2.5.6，对于这种2.5早期版本，一般都是建议升级到latest version看看

[2025/12/02 07:34:25.105 +00:00] [WARN] [grpcclient/client.go:424] ["call received grpc error"] [clientRole=indexnode-430] [error="rpc error: code = Canceled desc = context canceled"]
[2025/12/02 07:34:25.105 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-430] [address=10.244.244.36:21121] 
[2025/12/02 07:34:55.165 +00:00] [WARN] [datacoord/task_index.go:205] ["failed to get dim from field type params"] ["field type"=Array] [error="dim not found in params"] 
[2025/12/02 07:34:55.165 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-431] [address=10.244.245.44:21121] 
[2025/12/02 07:34:55.268 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-428] [address=10.244.247.31:21121] 

[zhu3359]

这日志只有30秒，里面大量关于indexnode的报错，看起来indexnode撞到了什么bug，也许跟这个相关：#41287 你的milvus版本小于等于2.5.6，对于这种2.5早期版本，一般都是建议升级到latest version看看

[2025/12/02 07:34:25.105 +00:00] [WARN] [grpcclient/client.go:424] ["call received grpc error"] [clientRole=indexnode-430] [error="rpc error: code = Canceled desc = context canceled"]
[2025/12/02 07:34:25.105 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-430] [address=10.244.244.36:21121] 
[2025/12/02 07:34:55.165 +00:00] [WARN] [datacoord/task_index.go:205] ["failed to get dim from field type params"] ["field type"=Array] [error="dim not found in params"] 
[2025/12/02 07:34:55.165 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-431] [address=10.244.245.44:21121] 
[2025/12/02 07:34:55.268 +00:00] [WARN] [grpcclient/client.go:576] ["ClientBase Call grpc call get error"] [role=indexnode-428] [address=10.244.247.31:21121] 

@yhmo 我在另一个collection(collectionID=461826143433047302)重新触发了一次manual compact，collection包含了55个segment，count(*) entity number 约 191w, segments row count总和474.5w，收集了datacoord和datanode的日志，看日志中有内容”prioritizedCandidates=55“这个表示 compaction plan是要更新55个segment吗？但是datanode好像没有真正执行所有的compaction plan？

datacoord_log.txt
datanode_log.txt

[yhmo]

还是建议先升级到2.5.23，目测是有bug，那55个segment没有被datacoord放入compaction task
你的milvus版本是2.5.3
在2.5 release notes里，有大量的compaction相关issue在各个版本被修复： https://milvus.io/docs/v2.5.x/release_notes.md

[zhu3359]

还是建议先升级到2.5.23，目测是有bug，那55个segment没有被datacoord放入compaction task 你的milvus版本是2.5.3 在2.5 release notes里，有大量的compaction相关issue在各个版本被修复： https://milvus.io/docs/v2.5.x/release_notes.md

@yhmo 好的，我找到解决问题的cr了，大概是这个#40350

想问下如果直接升级到2.6.*的版本会有什么问题吗？现在2.6.*有比较稳定的版本吗？

[yhmo]

一般先升级到当前大版本的latest version，再升级到下个大版本的latest version，这样比较安全。
我觉得如果你暂时用不到2.6的新feature的话，就先用着2.5的latest version就行，毕竟每个大版本的前几个小版本都不是太好。

[sb1691164-beep]

Ning nbgff@