xuelunshen/gim

lightglue实际部署很差,是否是哪里有误

fighterzzzh opened this issue · 3 comments

大佬你好,我把lightglue部署后正常,但GIM的模型却很差,只有一个特征点,我估计是哪有问题,我在转onnx有如下处理会有问题吗?

import torch

#-假设检查点文件包含一个名为 state_dict 的模型状态字典
checkpoint = torch.load(R"D:\pycharm\gim\weights\gim_lightglue_100h.ckpt", map_location="cpu")
state_dict = checkpoint['state_dict']

#-将 state_dict 保存为 .pth 文件
torch.save(state_dict, 'gim_lightglue_100h.pth')
#---------------------调用时----------------------------
state_dict = torch.load(
    R"D:\pycharm\LightGlue-ONNX\gim_lightglue_100h.pth"
    )

请问是不是对lightglue的模型有修改

我们没有修改 lightglue 的模型. 我对部署也不是很了解, 考虑到你之前部署成功了 LightGlue, 现在如果你要部署 $GIM_{LightGlue}$ 模型, 最好不要仅替换 ckpt 或者 pth 的参数. 推理代码等等最好也从 gim 的仓库搬过去. 可以参考 demo.py

我们没有修改 lightglue 的模型. 我对部署也不是很了解, 考虑到你之前部署成功了 LightGlue, 现在如果你要部署 G I M L i g h t G l u e 模型, 最好不要仅替换 ckpt 或者 pth 的参数. 推理代码等等最好也从 gim 的仓库搬过去. 可以参考 demo.py

谢谢,我发现是因为错误的导入的模型参数导致的,现在已经可以了,目前看上去lightglue一样,当然这是我人眼看的,不能代表,详细的我再看下。

可以去尝试一些困难的 case, 比较简单的 case 差距不会太大, 大家可能表现的都不错.