Unable to insert documents into milvus, float16 vector contain nan or infinity value
Opened this issue · 5 comments
Trying to index 512 dimension vector into milvus collection, but facing this error.
Initial vectors are of type float, hence using Float.floatToFloat16 method of java SDK, and put the short value into ByteBuffer.
mivlus version: 2.4.4
mivlus SDK: 2.4.1
Can someone please guide me from where I can I start debugging or where this error is thrown.
sample List I am using
[0.0, 0.0, 0.02130127, 0.0, 0.0, 0.0, 0.0, 0.06329346, 0.0, 0.0, 0.0, 0.0, 0.0, 0.071777344, 0.115478516, 0.0, 0.0, 0.04058838, 0.0, 0.093566895, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0037250519, 0.0, 0.0, 0.020324707, 0.0, 0.07287598, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.008705139, 0.0, 0.0, 0.0, 0.023605347, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.019729614, 0.0, 0.0, 0.0, 0.0, 0.036834717, 0.0, 0.031051636, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.056518555, 0.0, 0.0, 0.0, 0.07281494, 0.0036754608, 0.0, 0.0, 0.05532837, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.047790527, 0.0, 0.0, 0.26464844, 0.0, 0.037261963, 0.0, 0.0, 0.0, 0.0, 0.063964844, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.14318848, 0.020904541, 0.03390503, 0.0, 0.0, 0.047698975, 0.049072266, 0.07385254, 0.0, 0.0, 0.0, 0.0, 0.0, 0.086120605, 0.0, 0.0, 0.0, 0.2211914, 0.0035037994, 0.036712646, 0.0, 0.004814148, 0.0, 0.17590332, 0.13586426, 0.0, 0.0, 0.019592285, 0.0, 0.0, 0.0, 0.0, 0.03062439, 0.0, 0.0, 0.0, 0.0, 0.0, 0.011459351, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.004547119, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.031173706, 0.11608887, 0.0, 0.0, 0.0, 0.0, 0.051818848, 0.0, 0.0, 0.0, 0.0, 0.04711914, 0.0, 0.0, 0.0, 0.0, 0.07739258, 0.0, 0.044555664, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.15820312, 0.0, 0.015022278, 0.0, 0.028533936, 0.0, 0.12463379, 0.0, 0.0051193237, 0.0, 0.0, 0.005405426, 0.0, 0.0, 0.0, 0.0, 0.045684814, 0.0, 0.0, 0.10284424, 0.0, 0.0, 0.0, 0.0, 0.054595947, 0.0, 0.0, 0.0, 0.0, 0.15844727, 0.0, 0.19628906, 0.0, 0.0, 0.0713501, 0.0, 0.0, 0.001739502, 0.011062622, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.07366943, 0.0, 0.0, 0.014556885, 0.09295654, 0.0, 0.0, 0.0, 0.0, 0.0, 0.06530762, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.016403198, 0.0, 0.0, 0.0, 0.045654297, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.13305664, 0.0, 0.0, 0.0, 0.0, 0.056152344, 0.0, 0.0, 0.0, 0.0, 0.0, 0.113708496, 0.036254883, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.16186523, 0.0, 0.0, 0.0, 0.0, 0.14758301, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.027328491, 0.0, 0.0, 0.0, 0.0, 0.12420654, 1.2481213E-4, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.079956055, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.019699097, 0.0, 0.0, 0.0, 0.0, 0.07006836, 0.0, 0.0, 0.014907837, 0.0, 0.0, 0.0, 0.0, 0.11810303, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0814209, 0.2849121, 0.0, 0.0, 0.0, 0.017181396, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.17687988, 0.036010742, 0.0, 0.024520874, 0.0, 0.0, 0.0, 0.066467285, 0.0, 0.010261536, 0.0, 0.0, 0.0, 0.0026607513, 0.0, 0.0, 0.0, 0.0, 0.14868164, 0.045898438, 0.0, 0.0, 0.0, 0.0, 0.017715454, 0.0, 0.042510986, 0.006374359, 0.0, 0.0012702942, 0.0, 0.2775879, 0.0, 0.0, 0.0, 0.0, 0.02192688, 0.0, 0.018554688, 0.0, 0.071899414, 0.0, 0.0, 0.0, 0.0, 0.078125, 0.0, 0.0, 0.0, 0.013839722, 0.0, 0.027069092, 0.0, 0.0, 0.0, 0.21716309, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.17980957, 0.0, 0.0, 0.0, 0.018569946, 0.0, 0.0, 0.117126465, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.101745605, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.060333252, 0.0, 0.0, 0.0042495728, 0.0, 0.02897644, 0.041748047, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.15722656, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.010848999, 0.0, 0.0, 0.0, 0.01184845, 0.0, 0.057617188, 0.0, 0.07836914, 0.068359375, 0.0, 0.0, 0.0, 0.08343506, 0.0, 0.07281494, 0.0, 0.0, 0.15527344, 0.0, 0.0, 0.0, 0.0, 0.0]
what is the error you hit?
@cqy123456
please follow up this
float16 vector contain nan or infinity value , getting this error msg.
this is expected. if doesn't make sense for a embedding to contains inf or nan.
@daxesh020500 same problem with #998 ?