Mistral 8x7B 32k 是一个预训练模型还是SFT模型?
Closed this issue · 2 comments
Ezra-Yu commented
从 https://klu.ai/glossary/mistral-8x7b 上的信息来看。Mistral 8x7B 32k 是一个sft模型。但目前的评测方式是有些数据集使用的预训练的评测方式。
![image](https://private-user-images.githubusercontent.com/18586273/289737527-a2ce2dfd-4dd0-4a56-b4d2-bb84bf5f5e58.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjU1NDMxNTUsIm5iZiI6MTcyNTU0Mjg1NSwicGF0aCI6Ii8xODU4NjI3My8yODk3Mzc1MjctYTJjZTJkZmQtNGRkMC00YTU2LWI0ZDItYmI4NGJmNWY1ZTU4LnBuZz9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA5MDUlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjQwOTA1VDEzMjczNVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPWVjYWY5MmIzMjg3ZWIwZGMzODc0ZjE2NjgxOTNjYWUxMDY2OTdmNWI1OTU2YmRhZTA2ZWNkZjI2NzBkY2VjZGUmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0JmFjdG9yX2lkPTAma2V5X2lkPTAmcmVwb19pZD0wIn0.ihOy9RFH5uKQllpkmk3qvDUq417r-FyrkoU41bBGdT8)
我有一些困惑:
Mistral 8x7B 32k 是一个预训练模型还是SFT模型?
网站 上的信息是否正确?
你们有这个模型的其他信息吗?
tonysy commented
Ezra-Yu commented
Get that, Thanks. 👍