THUDM/CogVLM2

cogvlm2-video chat模式如何更改推理的帧数？

Closed this issue · 3 comments

zhengxingmao commented

比如我的视频有5秒，每秒25帧，5秒总共125帧，按照目前逻辑只能取到6帧，会丢失一些信息，那么我如果自定义取的帧数呢？比如取8帧，12帧，24帧

CogVLM2/video_demo/inference.py

Line 40 in cf9cb3c

closest_num = min(timestamps, key=lambda x: abs(x - second))

huangshiyu13 commented

CogVLM2/video_demo/inference.py

Line 27 in cf9cb3c

if strategy == 'base':

使用strategy == 'base'就是均匀抽帧，抽取的帧数由num_frames决定

zhengxingmao commented

@huangshiyu13 感谢你的回复，base 模型就不能对话了，希望能够给出对话模型的均匀抽帧的方式。

huangshiyu13 commented

@huangshiyu13 感谢你的回复，base 模型就不能对话了，希望能够给出对话模型的均匀抽帧的方式。

不是改成base模型，意思是你用这个base的抽帧方式

  • 👍1