对于占位符的疑问
lithiumfleet opened this issue · 3 comments
lithiumfleet commented
- 疑问：请问prompt中"以&keys&作为占位符"， "&keys&"是special token吗？还是说这是在对齐的过程中用到的标记？
- 想解决的问题：在prompt过程中发现ChatGLM2对于 [extra info]之类的自定义标记不敏感或者不理解。我现在想寻找一个更好的标记。
- 想到的解决方案：有instruction的sft（但是这样比较麻烦）
gouzil commented
这里的&*keys*&指的是用户输入的内容
比如你的 prompt 是: 你好，&*keys*&
用户输入的是: 小明
那么替换后的结果就是: 你好，小明
这个做法只是针对人工代码处理部分的流程，不涉及到LLM的处理，所以没办法参考
lithiumfleet commented
好的，感谢回复。
- 还有一个想讨论的问题：这里的prompt似乎都采用CRISPE框架，对于glm来说，有没有更好的框架？
- 理由：glm和gpt训练在不同的数据集和格式上，并且分词和embedding也不一样。明显能看出来它们对于同样词语理解有细微差别。所以我猜测可能对于gpt有效的不一定是对glm最好的。
所以有没有这方面的工作呢？
Liyulingyue commented
好的，感谢回复。
- 还有一个想讨论的问题：这里的prompt似乎都采用CRISPE框架，对于glm来说，有没有更好的框架？
- 理由：glm和gpt训练在不同的数据集和格式上，并且分词和embedding也不一样。明显能看出来它们对于同样词语理解有细微差别。所以我猜测可能对于gpt有效的不一定是对glm最好的。
所以有没有这方面的工作呢？
目前我们没有这方面的工作~