Proxy Scraper
Основные функции:
- Сбор прокси с указанных URL, хранящихся в текстовых файлах (http.txt, socks4.txt, socks5.txt).
- Автоматическое извлечение данных через HTTP-запросы с заголовком User-Agent.
- Использование регулярных выражений для точного поиска адресов в формате IP:PORT.
- Отслеживание прогресса с отображением количества обработанных ссылок и найденных прокси.
- Сохранение уникальных прокси в выходной файл out.txt.
- Поддержка таймаута и обработка ошибок при запросах.
Преимущества:
- Простота настройки — достаточно указать список ресурсов с прокси.
- Автоматизация процесса — исключает необходимость ручного копирования.
- Удобство использования — результаты сохраняются в одном файле, готовом к использованию.
- Надежность — корректная обработка ошибок и дубликатов.
Требуемые зависимости:
Для работы скрипта необходимо установить библиотеку requests (обычно уже присутствует) и tqdm для отображения прогресс-бара. Команда для установки:: pip install requests tqdm
Команда для установки::
pip install requests tqdm