非常棒的多模态工作

[Theweekfoolish229]

您好作者：
有个问题需要请教您一下，如果想用大模型做统一的ASR\TTS\STT(translate)\情感分析等。在您原始数据格式中
{ "prefix": "XXXXXXXXXX", "plain_text": "[Human]: XXXXXXXXXX.<eoh> [SpeechGPT]: <sosp><XXXX><XXXX><eosp><eoa> " },

如果另加入类似于比如：
         `    {
    "prefix": "XXXXXXXXXX",
    "plain_text": "[Human]: XXXXXXXXXX.<eoh> [SpeechGPT]: <sosp><XXXX><XXXX><eosp><eoa> [音频情感描述]:XXXXX"
},`
另外，如果多种语言的话，同样的问答对以及音频，各种语言的问答对也得在数据集中包含吧？