请问一下，有没有通过FastGPT输出的答案和问答集里的准确答案，检测输出的准确性的评分工具
Closed this issue · 12 comments
vipelanchen commented
例行检查
- 我已确认目前没有类似 features
- 我已确认我已升级到最新版本
- 我已完整查看过项目 README，已确定现有版本无法满足需求
- 我理解并愿意跟进此 features，协助测试和提供反馈
- 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 features 可能会被无视或直接关闭
功能描述
应用场景
相关示例
newfish-cmyk commented
可以使用平台上的“应用评测”功能
vipelanchen commented
@newfish-cmyk 请问一下，应用评测在社区版本内，目前还没有吗？
newfish-cmyk commented
暂时没有 过段时间会迁移到开源版
vipelanchen commented
暂时没有 过段时间会迁移到开源版
好的 感谢老师的回答
vipelanchen commented
@newfish-cmyk 老师，可以再请教的深入一点？ 这个应用评测体系，是从哪几个维度，来给输出的答案评分的？（FastGPT输出的回答和准确答案--相似性？逻辑性？）
newfish-cmyk commented
回答准确性、问题相关性、语义准确性，不过暂时只有回答准确性一个维度
vipelanchen commented
回答准确性、问题相关性、推断准确性，但暂时只回答准确性一个维度
非常感谢老师的回复
vipelanchen commented
回答准确性、问题相关性、语义准确性，不过暂时只有回答准确性一个维度
请教一下老师，关于最后评测打分的问题，FastGPT输出的答案和问答集里的答案进行对比，是直接利用大模型，提示词（回答准确性、问题相关性、语义准确性）去打分的吗？ 还是利用了RAG其他的方式？
newfish-cmyk commented
都会有 不同的维度用的方式不同
vipelanchen commented
都会有 不同的维度用的方式不同
除了大模型进行评分，还有其他的方式吗？ 方便提供一下思路不，这个问题挺困扰的
newfish-cmyk commented
就比如向量化然后求余弦相似度这些
vipelanchen commented
如向量化然后求余弦相似度这些
好的 了解了，谢谢老师