yndx-metrika/logs_api_integration

Непонятная ошибка

Delimer opened this issue · 2 comments

Delimer commented

Выгружал данные за год и выскочила ошибка. Теперь не понятно какие данные выгружены, какие нет.

2017-03-03 15:49:30 MainProcess INFO Part #6 2017-03-03 15:49:30 MainProcess INFO Starting new HTTPS connection (1): api-metrika.yandex.ru 2017-03-03 15:49:36 MainProcess CRITICAL Iteration #1 failed Traceback (most recent call last): File "metrica_logs_api.py", line 127, in <module> integrate_with_logs_api(config, user_request) File "metrica_logs_api.py", line 107, in integrate_with_logs_api raise e MemoryError

klovshot commented 
2017-08-30 15:39:17 MainProcess INFO     API Request status: processed
2017-08-30 15:39:17 MainProcess INFO     ### SAVING DATA
2017-08-30 15:39:17 MainProcess INFO     Part #0
2017-08-30 15:39:17 MainProcess INFO     Starting new HTTPS connection (1): api-metrika.yandex.ru
2017-08-30 15:40:40 MainProcess INFO     ### DATA SAMPLE
2017-08-30 15:40:40 MainProcess INFO     ym:s:clientID  ym:s:counterID  ym:s:date       ym:s:dateTime   ym:s:lastTrafficSource  ym:s:purchaseDateTime   ym:s:purchaseID ym:s:purchaseProductQuantity     ym:s:purchaseRevenue    ym:s:referer    ym:s:UTMCampaign        ym:s:UTMMedium  ym:s:UTMSource  ym:s:visitID
1496314083671492566     160530  2017-06-01      2017-06-01 13:48:03     ad      []      []      []      []      https://google.ru/                              2999893021395521423
1496335798532183970     160530  2017-06-01      2017-06-01 19:49:59     ad      []      []      []      []      https://google.ru/                              3005585671844267902
14947925161037131300    160530  2017-06-01      2017-06-01 17:13:50     direct  []      []      []      []                                      3003129642463266670
2017-08-30 15:40:42 MainProcess WARNING  1 rows were filtered out
2017-08-30 15:40:42 MainProcess CRITICAL Iteration #1 failed
Traceback (most recent call last):
  File "/home/roman/clickhouse/logs_api_integration/metrica_logs_api.py", line 127, in <module>
    integrate_with_logs_api(config, user_request)
  File "/home/roman/clickhouse/logs_api_integration/metrica_logs_api.py", line 107, in integrate_with_logs_api
    raise e
MemoryError

Столкнулся с такой же ошибкой, данные выгружал за 1ин день, в выгрузке ~ 500 тысяч строк.

sanlaitov commented

Здравствуйте!
У меня была такая же проблема, я вычитал, что это не хватает оперативной памяти интерпретатору (у меня Питон).
Я начал в коде удалять использованные переменные, чтобы освобождать память, файлы записываю построчно и ... расширил оперативную память на виртуальной машине. Сейчас с этой проблемой не сталкиваюсь.