Представляю вам Мега Парсер 2.0 — ультимативный консольный инструмент для сбора данных с сайтов, прокачанный под самые жесткие задачи!
⚠️ Установка:
⚙️ Запуск:
- Красный интерфейс на Rich — стильный, удобный и максимально информативный. Консольный интерфейс, от которого глаз не оторвать!
- Асинхронный парсинг — работает молниеносно, обрабатывая сайты параллельно с прогрессбаром.
- Гибкие настройки — меняй User-Agent (в том числе свой), прокси (http/socks5), таймауты и количество попыток, чтобы обходить защиту сайтов и капчи.
- Умное логирование — всё в логах: ошибки, действия, статусы запросов. Логи сохраняются в файлы с датой и временем, чтобы не потерять ничего важного.
- Загрузка и экспорт списков сайтов — удобно добавляй, импортируй и экспортируй сайты для парсинга в JSON.
- Сохранение результатов — экспортируй данные в JSON или CSV форматы для дальнейшей работы.
- Ошибки и предупреждения отображаются в понятном виде, с подсветкой и деталями.
- Меню с подсказками и подтверждениями — ничего не потеряешь, всё под контролем.
- Очистка логов и результатов — держи порядок в своих файлах!
- Асинхронный парсинг — работает молниеносно, обрабатывая сайты параллельно с прогрессбаром.
- Гибкие настройки — меняй User-Agent (в том числе свой), прокси (http/socks5), таймауты и количество попыток, чтобы обходить защиту сайтов и капчи.
- Умное логирование — всё в логах: ошибки, действия, статусы запросов. Логи сохраняются в файлы с датой и временем, чтобы не потерять ничего важного.
- Загрузка и экспорт списков сайтов — удобно добавляй, импортируй и экспортируй сайты для парсинга в JSON.
- Сохранение результатов — экспортируй данные в JSON или CSV форматы для дальнейшей работы.
- Ошибки и предупреждения отображаются в понятном виде, с подсветкой и деталями.
- Меню с подсказками и подтверждениями — ничего не потеряешь, всё под контролем.
- Очистка логов и результатов — держи порядок в своих файлах!
- Тем, кто хочет настроить парсер под свои задачи без долгого ковыряния кода.
- Тем, кто хочет стильный и удобный инструмент в консоли, а не безликий скрипт.
- Тем, кто хочет стильный и удобный инструмент в консоли, а не безликий скрипт.
Любые сайты, которые можно "прочитать" через CSS-селекторы (XPath пока в разработке). Парсер легко собирает текст, списки, новости, цены, контакты — что угодно!
⚠️ Установка:
pip install aiohttp beautifulsoup4 rich⚙️ Запуск:
python mega_parser.py Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.