IQ of AI
- capture_screen.py 截屏获取IQ题目
- test_iq.py 测试智商的脚本
- data/ 测试题文件
- result/ 测试结果
- 测试题目来源 https://iqmentor.io/zh-Hans/iqtest
- 有5道题目没有明确答案，取了35/40条做测试
- 参赛选手
- gpt-4-o (API调用)
- glm-4v (API调用)
- qwen-vl-max (API调用)
- 参数设置
-
system： 你是一个高智商的天才，你正在接受一场智商测试。 你会看到一个图片，图片的左边是3*3排列的9张小图，最后一张小图的内容缺失 图片的右边是6张小图，标号分别是1,2,3,4,5,6。 你需要选择一张最符合左边图片规律的小图，填入左边缺失的小图的空挡中。
-
prompt： 请遵循如下格式输出 观察：左边8张小图呈现出来的规律 候选项分析：右边6个候选项表达出来的信息 选择理由：考量#观察#的结果和#候选项分析#的结果，选择最适合的候选项，给出理由 最终选择：候选项的标号,在1-6中选择
-
每个模型测评三次，得分取最大值，消耗的时间取去除了最长时间的平均值
-
- 测试结果
- 汇总结果
- gpt-4-o
- 得分 0.294
- 平均时间 11.80s
- glm-4v
- 得分 0.2
- 平均时间 11.33s
- qwen-vl-max
- 得分 0.176
- 平均时间 25.18s
- gpt-4-o
- 详细结果参考result/AIQ_0531.xlsx
- 汇总结果