Вся необходимая информация есть в статье Web scraping на R, часть 2. Ускорение процесса с помощью параллельных вычислений и использование пакета Rcrawler
Проверка производится на 100 страницах сайта книжного магазина Лабиринт
Скорость скрэпинга без использования параллельных вычислений
| пользователь | система | прошло |
|---|---|---|
| 13.57 | 0.40 | 112.84 |
Скорость скрэпинга с использованием параллельных вычислений
| пользователь | система | прошло |
|---|---|---|
| 0.14 | 0.05 | 21.12 |
Скорость скрэпинга функцией ContentScraper пакета Rcrawler без использования параллельных вычислений
| пользователь | система | прошло |
|---|---|---|
| 47.47 | 0.29 | 212.24 |
Скорость скрэпинга функцией ContentScraper пакета Rcrawler с использованием параллельных вычислений
| пользователь | система | прошло |
|---|---|---|
| 0.01 | 0.00 | 67.97 |