Ползание по тысячам URL? Импорт системы.

Этот пост здесь в основном для того, чтобы сделать для меня заметку на будущее! Тем не менее, вы можете найти его полезным.

Я разрабатываю бота, который просматривает CSV-файл с примерно 15 000 URL-адресов, которые добавляются в набор после успешного соскабливания.

Но когда драйвер Firefox или Chrome не может загрузить веб-сайт, мой бот требует перезапуска. Функция скрапера должна была перезапуститься снова и проверить, есть ли URL в наборе.

При этом возникало исключение, говорящее что-то вроде «превышена максимальная глубина рекурсии».

Если вы получаете эту ошибку при выполнении вашего кода на Python, попробуйте сделать следующее:

import sys
sys.setrecursionlimit(40000)

Любезно предоставлено coderjack Это увеличит емкость стека и позволит выполнить код.

Будьте осторожны с числом, которое вы установите, особенно если вы работаете на старой машине. Вращающийся круг может нанести визит.

Оцените статью
Procodings.ru
Добавить комментарий