Исходники - Софт - Парсер Cian | Самописный | End Way — сообщество разработчиков и готовых решений
  • Больше материалов без ожидания и лишних условий
    Доступ к скрытым публикациям на 2 месяца, 3 месяца или навсегда. Ограничения «Команда форума» и «Личный» сохраняются.

    Сравнить варианты доступа →

    🔔 EndWay в Telegram

    Следите за новостями и релизами:
    EndWay | EndSoft

Исходники Софт Парсер Cian | Самописный

aMYP

Джун
Автор темы
13 Мар 2023
6
9
  • 📍Скрипт парсер сайта www.cian.ru

    👨‍💻ЯП: Python
    🌀Модули: Selenium, Selenium-stealth, bs4, Asyncio
    🔗База: -

    💈Скрипт парсера площадки www.cian.ru, который легко переписать под любые другие площадки.
1) Для начала скачиваем ChromeDriver, который соответствует Вашей версии Chrome и помещаем его в папку bin вашего виртуального окружения.

Screenshot 2023 12 14 at 132734

2) Устанавливаем модули:
pip install -r requiremets.txt

3) В файле main.py вставляете URL в формате 'https://www.cian.ru/cat.php?deal_ty...&offer_type=flat&p=2&region=1&room1=1&room2=1', где p - страница начала парсинга, PATH менять не нужно, как и NON_BOOST - он добавляет рейтинг продавца, но замедляет парсинг.

4) Меняете количество страниц COUNT_PAGE, которые необходимо спарсить, по дефолту 5. Больше 54 спарсить не получится, т.к нужно переписывать пагинацию, которая изменяется на 54 странице. Но обойти это можно путем использования библиотеки multiprocessing и взаимоисключающих фильтров.

5) Получаем желаемые данные в формате csv.

Парсит достаточно долго, поэтому желательно использовать multiprocessing и разбивать 54 страницы после каждой фильтрации на пару ссылок.

Ссылка для скачивания:
 
  • 9
Реакции: 8 users

XotteiKottei

Пью чаёк с печеньками
8 Янв 2023
7
6
хочу высказать свое мнение, и надеюсь автор темы палками бить не будет
Вместо использования Selenium`a на данном сайте достаточно зайти в DevTools и перейти на вкладку Сеть, если отфильтровать запросы по fetch/xhr будут видны все запросы к апишке данного сайта, дальше думаю понятно что можно с этим делать
 
Активность:
Пока что здесь никого нет