Дадова форумчане, кароче не так давно наткнулся на хороший софтец который находит ссылки по запросу Telegrap.ph.
Но в процессе использования стало очевидно что переходить по каждой ссылке чтобы увидеть содержимое - мазохизм. В результате 10 минут был написан супер-дупер софт.
Что под капотом:
1. Поиск по названию - Telegra.ph
2. Скриншотер найденных страниц (как отдельно так и в процессе поиска ссылок)
3. Менеджер Proxy (удобно добавляем socks5/socks4/http)
Возможности:
Но в процессе использования стало очевидно что переходить по каждой ссылке чтобы увидеть содержимое - мазохизм. В результате 10 минут был написан супер-дупер софт.
Что под капотом:
1. Поиск по названию - Telegra.ph
2. Скриншотер найденных страниц (как отдельно так и в процессе поиска ссылок)
3. Менеджер Proxy (удобно добавляем socks5/socks4/http)
Возможности:
- ищет статьи Telegraph (telegra.ph) по ключевому слову перебором, а не через поисковики - Telegraph сам формирует URL статьи как <slug>-MM-DD (месяц-деньпубликации, без года), а при совпадении slug+даты добавляет -2, -3 и т.д.Скрипт генерирует весь разумный набор таких вариантов (~2300+) и проверяет их напрямую запросами к telegra.ph - без зависимости от Bing/Google/DuckDuckGo иих капч/блокировок;
- позволяет задать количество потоков и ограничить количество результатов(0 - проверить вообще все варианты, без ограничения);
- умеет принять готовый список ссылок (вставить вручную) и сделать скриншоты по нему;
- сохраняет найденные ссылки в result-<запрос>-<дата>.txt;
- сохраняет скриншоты в папку screen-<запрос>-<дата>/;
- файлы и папки создаются автоматически в той же директории, где запущен скрипт;
- поддерживает SOCKS5 / SOCKS4 / HTTP прокси (один вручную или список из файла),а также работу вовсе без прокси;
- прокси из списка проверяются перед стартом, неудачные запросы и скриншоты автоматически повторяются с другим прокси.
Зависимость: (в cmd)
pip install requests
pip install playwright
playwright install chromium
Установка:
1. Распаковать архив в удобном месте.
2. Запустить cmd и перейти в директорию через cd.
3. Установить зависимости.
4. Запустить Loader-fast либо Loader-slow.
Вопросы:
1) В чем разница между Loader-fast и Loader-slow:
1. Фастовый проверяет быстро, при создании скриншотов иногда может выдавать ошибку из за состояния страницы.
2. Медленный лоадер проверяет ссылки дольше, соответственно ошибок меньше, скриншотов и ссылок больше.
2. Почему сгенерированных вариантов ссылок именно 2366?
Это общее число вариантов ссылок, которые алгоритм сгенерировал для вашего слова (все комбинации слово-ММ-ДД, дубли -2…-5, слово-1…199 и т.д.) оно зависит только от самого слова
pip install requests
pip install playwright
playwright install chromium
Установка:
1. Распаковать архив в удобном месте.
2. Запустить cmd и перейти в директорию через cd.
3. Установить зависимости.
4. Запустить Loader-fast либо Loader-slow.
Вопросы:
1) В чем разница между Loader-fast и Loader-slow:
1. Фастовый проверяет быстро, при создании скриншотов иногда может выдавать ошибку из за состояния страницы.
2. Медленный лоадер проверяет ссылки дольше, соответственно ошибок меньше, скриншотов и ссылок больше.
2. Почему сгенерированных вариантов ссылок именно 2366?
Это общее число вариантов ссылок, которые алгоритм сгенерировал для вашего слова (все комбинации слово-ММ-ДД, дубли -2…-5, слово-1…199 и т.д.) оно зависит только от самого слова
Скрытое содержимое доступно для зарегистрированных пользователей!
Последнее редактирование:
