句子对任务的RoBERTa-tiny-pair的ckpt文件的问题
drzqb opened this issue · 8 comments
drzqb commented
句子对任务的RoBERTa-tiny-pair的ckpt文件里面为什么没有pool层出口处的（312,2）的张量权重呢，就是"cls/seq_relationship"下的“output_weights”和”output_bias“”？，没有这个怎么得到相似与否的概率值呢？难道这个相似度计算是由pool出口的向量用余弦相似度计算的？
brightmart commented
你可以再下游任务训练一下，就可以了。
brightmart commented
你可以下游任务训练吗？
drzqb commented
感谢回复，但我只是想直接利用你们的模型做相似度计算，我们自己没有条件做下游的训练任务，主要相关数据不好制作。能否把包含全部权重的模型开放呢？
发自我的iPhone
…------------------ 原始邮件 ------------------
发件人: brightmart <notifications@github.com>
发送时间: 2020年3月10日 18:19
收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>
抄送: drzqb <191771508@qq.com>, Author <author@noreply.github.com>
主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)
你可以下游任务训练吗？
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
DukeEnglish commented
在CLUE那个repository里面 有一些模型 能满足你的需要么发自我的iPhone------------------ 原始邮件 ------------------发件人: drzqb <notifications@github.com>发送时间: 2020年3月10日 19:00收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>抄送: Subscribed <subscribed@noreply.github.com>主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)感谢回复，但我只是想直接利用你们的模型做相似度计算，我们自己没有条件做下游的训练任务，主要相关数据不好制作。能否把包含全部权重的模型开放呢？
发自我的iPhone
…------------------ 原始邮件 ------------------
发件人: brightmart <notifications@github.com>
发送时间: 2020年3月10日 18:19
收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>
抄送: drzqb <191771508@qq.com>, Author <author@noreply.github.com>
主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)
你可以下游任务训练吗？
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
—You are receiving this because you are subscribed to this thread.Reply to this email directly, view it on GitHub, or unsubscribe.
[
{
"@context": "http://schema.org",
"@type": "EmailMessage",
"potentialAction": {
"@type": "ViewAction",
"target": "#4?email_source=notifications\u0026email_token=AEMFSVF3OMQQJD66CSOMFI3RGYMWTA5CNFSM4LEWVLY2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEOK6QZA#issuecomment-597026916",
"url": "#4?email_source=notifications\u0026email_token=AEMFSVF3OMQQJD66CSOMFI3RGYMWTA5CNFSM4LEWVLY2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEOK6QZA#issuecomment-597026916",
"name": "View Issue"
},
"description": "View this Issue on GitHub",
"publisher": {
"@type": "Organization",
"name": "GitHub",
"url": "https://github.com"
}
}
]
drzqb commented
一样的
发自我的iPhone
…------------------ 原始邮件 ------------------
发件人: Junyi_Li <notifications@github.com>
发送时间: 2020年3月11日 08:06
收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>
抄送: drzqb <191771508@qq.com>, Author <author@noreply.github.com>
主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)
在CLUE那个repository里面 有一些模型 能满足你的需要么发自我的iPhone------------------ 原始邮件 ------------------发件人: drzqb <notifications@github.com>发送时间: 2020年3月10日 19:00收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>抄送: Subscribed <subscribed@noreply.github.com>主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)感谢回复，但我只是想直接利用你们的模型做相似度计算，我们自己没有条件做下游的训练任务，主要相关数据不好制作。能否把包含全部权重的模型开放呢？
发自我的iPhone
------------------ 原始邮件 ------------------
发件人: brightmart <notifications@github.com&gt;
发送时间: 2020年3月10日 18:19
收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com&gt;
抄送: drzqb <191771508@qq.com&gt;, Author <author@noreply.github.com&gt;
主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)
你可以下游任务训练吗？
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
—You are receiving this because you are subscribed to this thread.Reply to this email directly, view it on GitHub, or unsubscribe.
[
{
"@context": "http://schema.org",
"@type": "EmailMessage",
"potentialAction": {
"@type": "ViewAction",
"target": "#4?email_source=notifications\u0026email_token=AEMFSVF3OMQQJD66CSOMFI3RGYMWTA5CNFSM4LEWVLY2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEOK6QZA#issuecomment-597026916",
"url": "#4?email_source=notifications\u0026email_token=AEMFSVF3OMQQJD66CSOMFI3RGYMWTA5CNFSM4LEWVLY2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGOEOK6QZA#issuecomment-597026916",
"name": "View Issue"
},
"description": "View this Issue on GitHub",
"publisher": {
"@type": "Organization",
"name": "GitHub",
"url": "https://github.com"
}
}
]
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
brightmart commented
添加了新模型，这两个新模型下面都 包含全部权重。你看看
drzqb commented
感谢感谢
发自我的iPhone
…------------------ 原始邮件 ------------------
发件人: brightmart <notifications@github.com>
发送时间: 2020年3月11日 09:22
收件人: CLUEbenchmark/CLUEPretrainedModels <CLUEPretrainedModels@noreply.github.com>
抄送: drzqb <191771508@qq.com>, Author <author@noreply.github.com>
主题: 回复：[CLUEbenchmark/CLUEPretrainedModels] 句子对任务的RoBERTa-tiny-pair的ckpt文件的问题 (#4)
添加了新模型，这两个新模型下面都 包含全部权重。你看看
—
You are receiving this because you authored the thread.
Reply to this email directly, view it on GitHub, or unsubscribe.
drzqb commented
测试了一下，用tiny3L312，结果挺奇怪的，不管是完全相同的两个句子的相似度还是完全不同意思的两个句子的相似度都是大约0.5，有点随机初始化权重的感觉。有哪位大佬测试过吗？请教学习