数据集压缩包无法打开
Closed this issue · 22 comments
百度网盘下载的数据集的压缩包坏了，麻烦您能提供一下数据集吗？qq：1165828007
已经重新分享，且更新了readme，请尝试再次下载
不好意思，我搞错了，其实是您的已经训练好的模型的链接出现了错误：已训练好模型： 链接: https://pan.baidu.com/s/1NKMIAsaE8H7GiCpP7Jovig 提取码: d7pr。还有就是您有没有关于这个模型的相关论文可以参考，我想知道一些具体细节，比如使用了什么模型、什么框架，bert还是transformer，等等。谢谢大佬
又仔细翻了翻，找到论文了。谢谢大佬。
不好意思，我搞错了，其实是您的已经训练好的模型的链接出现了错误：已训练好模型： 链接: https://pan.baidu.com/s/1NKMIAsaE8H7GiCpP7Jovig 提取码: d7pr。还有就是您有没有关于这个模型的相关论文可以参考，我想知道一些具体细节，比如使用了什么模型、什么框架，bert还是transformer，等等。谢谢大佬
奇怪，我这里是可以下载的，一个400多M的模型文件
不好意思，我搞错了，其实是您的已经训练好的模型的链接出现了错误：已训练好模型： 链接: https://pan.baidu.com/s/1NKMIAsaE8H7GiCpP7Jovig 提取码: d7pr。还有就是您有没有关于这个模型的相关论文可以参考，我想知道一些具体细节，比如使用了什么模型、什么框架，bert还是transformer，等等。谢谢大佬
奇怪，我这里是可以下载的，一个400多M的模型文件
可以下载，但是报错误，打不开压缩包，说的是压缩包损坏了
不好意思，我搞错了，其实是您的已经训练好的模型的链接出现了错误：已训练好模型： 链接: https://pan.baidu.com/s/1NKMIAsaE8H7GiCpP7Jovig 提取码: d7pr。还有就是您有没有关于这个模型的相关论文可以参考，我想知道一些具体细节，比如使用了什么模型、什么框架，bert还是transformer，等等。谢谢大佬
奇怪，我这里是可以下载的，一个400多M的模型文件
可以下载，但是报错误，打不开压缩包，说的是压缩包损坏了
python make_data_files.py
这个指令出错，FileNotFoundError: [Errno 2] No such file or directory: './data/unfinished/valid.title.txt'
好像是文件夹少了文件，具体代码在makedatafiles的main下面就是，这段：
for file in ['eval', 'test', 'train']: df = pd.read_csv('./Pre LCSTS/%s.csv' % file, header=None) if file == 'eval': file = 'valid' with open('./data/unfinished/%s.title.txt' % file, 'w') as f: for data in tqdm(df[0].tolist()): f.write(preprocess(data)) f.write('\n') with open('./data/unfinished/%s.article.txt' % file, 'w') as f: for data in tqdm(df[1].tolist()): f.write(preprocess(data)) f.write('\n')
你有时间能帮忙解答下吗？是少传了文件还是我操作有误。谢谢大佬。
目录没找到文件啊，看看是不是文件都放在对应目录了
您上传的make_data_files.py中代码里需要用到with open('./data/unfinished/%s.title.txt' % file, 'w') as f:这段代码，您项目里面没有data文件夹，而且我看英文版的github里面应该有个/data/unfinished这个文件夹，您这也没有。
对了，那个模型的压缩包没有问题，我在win本上打开tar的文件肯定打不开，大意了。但是还有一个问题，就是我clone下来的make_data_files.py里面有用到data文件夹下的unfinished文件，但是没有，请问能否方便提供一下？
训练的模型我给传到我的服务器上了，仍然解不了包。
训练的模型我给传到我的服务器上了，仍然解不了包。
不用解压，模型可以读tar文件
您上传的make_data_files.py中代码里需要用到
with open('./data/unfinished/%s.title.txt' % file, 'w') as f:这段代码，您项目里面没有data文件夹，而且我看英文版的github里面应该有个/data/unfinished这个文件夹，您这也没有。
建一下目录就好了，我刚刚已经建了
谢谢谢谢，万分感谢。原谅我是个小白。。。我刚把数据在win本上处理了，程序有几处bug，就是当读取文件的时候，有可能报gbk编码的错误，我给读文件加上encoding=‘utf-8’就没问题了，现在数据已经生成了。太感谢您了，最后想问下，这个代码可以在win本上跑吗？我们实验室的服务器网慢，暂时用不了linux系统。
参数什么都没改，请问一下，您服务器配置是什么，跑了多长时间，我现在windows跑了快有三个小时了吧
大佬，我刚看了下，5000000次的训练次数。。。。我现在都已经是一分钟一次了，训练到现在才训练了335次。。。下午三点半训练的。。。所以我想问下，现在可以停止吗
大佬，我刚看了下，5000000次的训练次数。。。。我现在都已经是一分钟一次了，训练到现在才训练了335次。。。下午三点半训练的。。。所以我想问下，现在可以停止吗
什么配置，gpu吗
谢谢谢谢，万分感谢。原谅我是个小白。。。我刚把数据在win本上处理了，程序有几处bug，就是当读取文件的时候，有可能报gbk编码的错误，我给读文件加上encoding=‘utf-8’就没问题了，现在数据已经生成了。太感谢您了，最后想问下，这个代码可以在win本上跑吗？我们实验室的服务器网慢，暂时用不了linux系统。
Flask服务可以跑起来吧
大佬，我刚看了下，5000000次的训练次数。。。。我现在都已经是一分钟一次了，训练到现在才训练了335次。。。下午三点半训练的。。。所以我想问下，现在可以停止吗
什么配置，gpu吗
对，另外，我现在停止训练影响模型不？换句话说就是我现在如果停止训练，然后使用测试集可以不可以
大佬，我刚看了下，5000000次的训练次数。。。。我现在都已经是一分钟一次了，训练到现在才训练了335次。。。下午三点半训练的。。。所以我想问下，现在可以停止吗
什么配置，gpu吗
对，另外，我现在停止训练影响模型不？换句话说就是我现在如果停止训练，然后使用测试集可以不可以
有写临时模型，就可以用来测试。看你设置训练多久写一次临时模型
嗯嗯，我看你写的程序来着。训练的总次数在config.py里面，训练次数您给设置的为5,000,000次，然后大概三百多次的时候会有写入文件的操作，但是data文件夹下又少了个文件，我给补全了。还没跑模型。我感觉在win本上跑程序不大可能了，现在我手动设置的是训练500次。
嗯嗯，没有什么问题，我给关闭了哈
不好意思，刚到实验室，中午吃饭去来。最后再一次感谢您。谢谢