实验结果很差
qingqing625 opened this issue · 12 comments
我分别用ICDAR2013和2015的数据集训练模型，然后测试集进行验证，得到的结果都不理想。请大家帮忙分析一下是什么原因造成的。
以下自训练模型是自己用数据集的训练集训练出的模型，然后运行demo.py时用自己训练的模型，测试数据集的测试集。最后计算得到的结果的准确率和召回率。计算的代码也是在ICDAR网站上下的评估脚本。
源码模型是指作者提供的模型ctpn.pb，直接运行demo_pb.py文件，测试数据集的测试集，最后计算准确率。
但不管哪个结果跟原论文的结果相差很大。
下面是实验结果：
*ICDAR2013数据集
| -- | Precision | Recall | Hmean |
|---|---|---|---|
| 原文 | 93% | 83% | 88% |
| 源码模型 | 77.73% | 72.84% | 75.21% |
| 自训练模型 | 66.52% | 54.16% | 59.70% |
*ICDAR2015数据集
| -- | Precision | Recall | Hmean |
|---|---|---|---|
| 原文 | 74% | 52% | 61% |
| 源码模型 | 14% | 18.01% | 15.75% |
| 自训练模型 | 18.04% | 19.88% | 18.92% |
再次感谢大家，希望能提供一些帮助。
你测试是用论文里说的大小测的吗
非常感谢！ 请问你完全复现CTPN了吗？实验结果如何？
…
------------------ 原始邮件 ------------------ 发件人: "baixiaohuang"<notifications@github.com>; 发送时间: 2020年6月14日(星期天) 凌晨0:28 收件人: "eragonruan/text-detection-ctpn"<text-detection-ctpn@noreply.github.com>; 抄送: "范晴"<969548863@qq.com>;"Author"<author@noreply.github.com>; 主题: Re: [eragonruan/text-detection-ctpn] 实验结果很差 (#459) 你好 CTPN官方readme.md里有这样写“These demo codes (with our trained model) are for text-line detection (without side-refinement part).” 我个人感觉是少了side-refinement part，而且里面生成文本线的操作跟论文里的描述也不完全一致。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.
不好意思，我说错了 效果差最关键的原因是，论文作者训练是用的3000张图片，其中除了ICDAR2013的图片，剩下的是作者自己收集的。
“Our model was trained on 3,000 natural images, including 229 images from the ICDAR 2013 training set. We collected the other images ourselves and manually labelled them with text line bounding boxes.” CTPN论文第11页，第2行
我还没有复现出来
我之前的实验，只在icdar2015跑了15个epoch， {'precision': 0.6114808652246256, 'recall': 0.3538757823784304, 'hmean': 0.44830741079597436, 'AP': 0} ，没有这么差
@BADBADBADBOY
我完全按照代码来测的 没有修改代码
@bxhandhxb
那可以沟通交流一下吗 一起学习 qq969548863
@bxhandhxb
那可以沟通交流一下吗 一起学习 qq969548863
你是按论文里的大小测试的吗，论文里测试最大边长是2000多，我记得
@bxhandhxb
那可以沟通交流一下吗 一起学习 qq969548863
你也可以用我这个跑一下 ，https://github.com/BADBADBADBOY/pytorch.ctpn，我加了ohem和模糊文本不参与训练的操作
@BADBADBADBOY
我完全按照代码来测的没有修改代码
您好，请问您没有修改任何代码，如何使用他修改过后的标签（他的原代码）计算评估指标呢，能否提供您的代码呢？
我之前的实验，只在icdar2015跑了15个epoch， {'precision': 0.6114808652246256, 'recall': 0.3538757823784304, 'hmean': 0.44830741079597436, 'AP': 0} ，没有这么差
我之前的实验，只在icdar2015跑了15个epoch， {'precision': 0.6114808652246256, 'recall': 0.3538757823784304, 'hmean': 0.44830741079597436, 'AP': 0} ，没有这么差
您好，请问您用的2015的指标吗，我用指标测试出来我的所有值都为0，这不科学啊，测试的图片有一些是框出来的，不可能没有交集啊
我之前的实验，只在icdar2015跑了15个epoch， {'precision': 0.6114808652246256, 'recall': 0.3538757823784304, 'hmean': 0.44830741079597436, 'AP': 0} ，没有这么差
我之前的实验，只在icdar2015跑了15个epoch， {'precision': 0.6114808652246256, 'recall': 0.3538757823784304, 'hmean': 0.44830741079597436, 'AP': 0} ，没有这么差
您好，请问您用的2015的指标吗，我用指标测试出来我的所有值都为0，这不科学啊，测试的图片有一些是框出来的，不可能没有交集啊
兄弟，我现在也在跑这个代码，我出现的结果和你的差不多。请问一下你是怎么解决的呀。