处理文件过大

[pizzaonline]

您好，

我了解到需要下载谷歌云盘里面的数据作为模型的输入，但是我下载movielens后发现文件解压之后大小有104G，请问这104G的文件就是模型的输入吗？这个是不是太大了。

谢谢分享。

[rootlu]

你好，云盘中的数据是处理后的数据，由于采用pkl存储，所以是比较大的。

[pizzaonline]

谢谢回复。

我还是刚开始接触，所以可能还不是太了解。我的理解是这104G的处理之后的数据，才是模型的输入是吗？如果是的话，那您当时做实验的时候是怎么读入的文件呢？因为我的电脑性能不太强，无法读入104G的文件。您是分批次读取数据的吗？
我运行模型时也产生了和另一个人同样的问题（ValueError: not enough values to unpack (expected 6, got 0)）。所以我想是不是只有把这104G文件作为输入才能正确运行模型。

谢谢。

[rootlu]

是的，这是模型的输入数据，训练过程中是分批次读取，我的运行环境是在服务器上，使用了2块GPU (GeForce RTX) 和8块 CPU (Intel Xeon W-2133)。

ValueError: not enough values to unpack (expected 6, got 0) 这个错误应该是模型参数解析有问题，返回的参数小于解析参数数量，可以具体定位下什么位置的错误。

[pizzaonline]

好的，了解了，谢谢您