![\"Схема:](\"данные/картинки/habr-04-oborot-vitriny.jpg\")
Третий материал для Habr, написан взамен отложенного habr-03 про счётчик по логам: руководителю нужна тема ближе к нашей и с ключом ядра. Здесь и то, и другое: метод технический, а предмет - каталог франшиз, ключ А1 «каталог франшиз». Отказов на Habr у нас не было ни разу: первая статья прошла песочницу за два дня, вторая вышла сразу в ленту. Четыре отказа, которые лежат в карточке площадки, - это чужой опыт PR-завода Adonis, не наш. Чего нет намеренно: названия портала и любых ссылок. Правила площадки запрещают самопиар прямо. Название каталога-источника тоже не звучит: статья про метод, а не про конкретный сайт, и претензий к нему у нас нет.\n
Задача звучала просто. Есть большой каталог франшиз - витрина, где сотни карточек с ценами входа. Надо понять, насколько быстро эта витрина обновляется: сколько предложений, которые человек видел два года назад, дожили до сегодня.
\nВопрос не праздный. Каталог франшиз читают как справочник, и возраст предложения в нём воспринимается как возраст бизнеса за ним. Проверить это можно только одним способом - сравнить два состояния каталога в разные годы.
\nНиже история про то, как я это сделал, и почему повторить уже не смогу: источник закрылся не только от меня, но и от веб-архива.
\nПервая мысль была очевидной: обойти каталог сейчас, а прошлое достать из архива. Не вышло сразу.
\nНа любом адресе, вплоть до корня сайта, мой сервер получает 421. Не 403, не капчу, а именно 421 - Misdirected Request. Этот код обычно означает, что запрос пришёл на сервер, который не обслуживает этот домен; на практике его часто отдаёт защитный слой перед сайтом, когда решает, что соединение ему не нравится.
\nПроверил через обычный браузер Playwright с честным user-agent - тот же 421. Попробовал с другой машины - страница открывается нормально. То есть дело в адресе сервера, а не в способе запроса.
\nЗдесь важно назвать вещи своими именами, а не заявить «сайт лежит». Доступность с сервера и доступность для читателя - разные вещи. У меня сервер за границей, и половина рунета встречает его совсем не так, как встречает домашний интернет. Я на этом уже обжигался: пара площадок, которые «не работали», прекрасно открывались у человека из дома.
\nРаз живой сайт закрыт, остаётся архив.
\nВеб-архив оказался не запасным вариантом, а лучшим.
\nЕсли брать данные из архива с обеих сторон, оба среза сняты одним способом. Это важнее, чем свежесть: когда один срез собран обходом живого сайта, а другой из архива, любое расхождение можно списать на разницу методов. А так метод один, различаются только даты.
\nВзял два состояния: январь 2024 года и август 2026-го. Двенадцать категорий каталога, одни и те же в обоих срезах - если категории поедут, поедет и выборка.
\nДальше разбор страниц и сопоставление. Считается ровно одно: совпадают ли адреса карточек. Не названия - названия переписывают, - а именно адреса.
\n```python было = {з[\"путь\"]: з for з in старое[\"записи\"]} стало = set(новое[\"пути\"])
\nосталось = sorted(п for п in было if п in стало) ушло = sorted(п for п in было if п not in стало) пришло = sorted(п for п in стало if п not in было) ```
\nТри множества, ничего сложного. Сложное начинается там, где надо решить, что эти множества означают.
\nПолучилось так:
\nИ вот тут главный соблазн, которому нельзя поддаваться. Число 22 процента просится в заголовок «три четверти франшиз закрываются за два года». Так писать нельзя, потому что измерено не это.
\nИсчезнувшая карточка означает ровно одно: этого адреса во втором снимке нет. За таким исчезновением стоит что угодно: франчайзер закрылся, перестал продавать франшизу, ушёл в другой каталог, поссорился с площадкой или просто перестал платить за размещение. Данные не позволяют выбрать между этими версиями, и значит выбирать нельзя.
\nЭто общее правило работы с чужими витринами: вы меряете витрину, а не рынок за ней. Я держу эту формулировку прямо в скрипте, в строке документации, чтобы она попадала в глаза раньше, чем результат.
\nОтдельный срез - что стало с ценой входа у тех, кто дожил.
\nПереживших 62. Казалось бы, вот и выборка. Но цена нашлась в обоих снимках только у 24 из них: где-то строка стартовых инвестиций в старом снимке не сохранилась, где-то формат записи изменился так, что сравнивать нечего.
\nИз этих 24 подорожали 8, подешевели 3, а 13 остались при своей цифре. Медианный рост - ноль процентов.
\nСоблазн здесь обратный: хочется вытянуть выборку до 62, дописав пропуски «примерно». Нельзя. Двадцать четыре - это и есть честный размер, и его надо назвать вслух рядом с результатом, иначе читатель решит, что речь про все шестьдесят два.
\nК сентябрю захотелось третьей точки. Тут выяснилось, что архив обходил каталог последний раз 15 августа, и сам по себе новых снимков не сделает.
\nУ веб-архива есть механизм заказа снимка - Save Page Now. Нужны ключи, дальше это обычный запрос: просишь сохранить адрес, получаешь номер задания, потом проверяешь статус. Написал скрипт на все двенадцать категорий.
\nПервая же ловушка - предел одновременных заданий:
\n`` You have already reached the limit of active Save Page Now ``
Это не ошибка запроса, а очередь. Правильная реакция - подождать и повторить, а не считать категорию несобранной. Первый прогон у меня взял ровно половину категорий именно потому, что на эту строку скрипт реагировал как на отказ.
\nПочинил, запустил заново - и получил на каждом задании одно и то же:
\n`` The target server blocks access to https://... (HTTP status=403) ``
Архив принял задания, честно сходил за страницами и получил отказ. То есть каталог блокирует не только мой сервер, но и обходчик веб-архива.
\nТретьего среза не будет. Не потому, что я неправильно попросил, а потому, что источник закрыт для сохранения в принципе - пока сайт не изменит правила.
\nИсточник может исчезнуть, и данные надо считать скоропортящимися. Два снятых среза остались в силе, потому что они сняты. Ряд оборвался не на моей стороне.
\nСнимать обе точки одним способом важнее, чем снять свежую. Если бы я в 2024-м обошёл сайт напрямую, а в 2026-м взял архив, любое расхождение пришлось бы объяснять разницей методов, и результат никого бы не убедил.
\nОшибка очереди и ошибка отказа - разные вещи. «Достигнут предел активных заданий» означает «подожди», а «target server blocks access» означает «никогда». Скрипт, который не различает эти два случая, врёт дважды: сначала теряет половину данных, потом не замечает, что источник умер.
\nФормулировку результата надо держать рядом с кодом. Строка «считаются адреса карточек, а не судьбы компаний» живёт у меня прямо в документации скрипта. Через месяц, когда цифра попадёт в чужой текст, никто не вспомнит оговорку - а так она едет вместе с числом.
\nИ последнее, уже не техническое. Когда витрина за два года обновляется на две трети, каталог франшиз перестаёт быть справочником и становится лентой. Читать его как каталог с историей - значит приписывать предложениям возраст, которого у них нет.
\nДанные разбора: 12 категорий, снимки 23 января 2024 года и 15 августа 2026 года, оба из веб-архива. Скрипты сбора, сравнения и заказа снимков лежат вместе с результатом - без них числа выше пришлось бы принимать на слово.
", "есть_текст": true }