Контроль изменений — пятница 28 августа

Изменение было хорошее: вводишь номер запчасти в поиск и попадаешь на саму запчасть, а не на страницу результатов с одной карточкой. На тестовом сайте на запчасть оно не попадает. Оно отвечает Service Unavailable — страницей, которую покупатель видит, когда что-то сломано.

До — живой магазин сегодня/parts?q=CT-NHL-100016 отвечает 200 сеткой результатов, и запчасть есть среди карточек. q=CT-NHL-100038, q=100412 — то же самое. Поиск словом, q=bearing, — то же самое.

После — кандидат сегодня/parts?q=CT-NHL-100016 отвечает 503, и результатов на странице нет. Так же отвечают q=100016, q=CT-NHL-100038 и q=100412. q=bearing по-прежнему отвечает 200 — значит, поиск не лежит; ложатся именно запросы по номеру запчасти, то есть те, которыми покупатели реально пользуются.

Перемерено в пятницу утромБез изменений на готовом кандидате — именно на том дереве, которое несёт выкатка, а не на более раннем. Все четыре поиска по номеру по-прежнему отвечают 503; q=bearing по-прежнему 200; живой магазин по-прежнему отвечает 200 на все пять. Четверговая правка поиска (front#3904) — про другой путь: она починила нажатие Enter в поле поиска наверху страницы, которое теперь ведёт на запчасть, а не на постороннюю схему. Открытие адреса результатов напрямую по-прежнему сломано.

Почему такСайт понимает, что один результат совпал точно, и пытается отправить покупателя сразу на страницу этой запчасти. К моменту, когда он это решает, он уже начал отдавать страницу результатов, и переадресация, пришедшая слишком поздно, превращается в ошибку. Комментарии в самом коде описывают ровно такое поведение, наблюдавшееся на тестовом сайте, — то есть это известная форма, а не новая загадка.

Одного установить не удалось, и именно оно решает, насколько это серьёзно. Все ответы с обеих сторон приходили помеченными как отданные из кэша, и добавление уникального параметра не заставило отдать свежий, поэтому отличить «тестовый сайт выдаёт 503 сейчас» от «тестовый сайт выдал его раньше и повторяет до сих пор» это не позволяет. Первое — причина придержать релиз; второе — просто устаревшая страница. Кто-то должен до пятницы принудительно получить некэшированный ответ и сказать, что из двух. Числа, чтобы закрыть этот пробел, не выдумано.

Что сомнению не подлежитЗадачи, которая бы это вела, нет. front#3817 закрыт как сделанный на основании front#3818 — то есть того изменения, которое измерено выше. Каким бы ни был ответ, эта задача закрыта под работу, результат которой на реальном запросе не подтверждён.

Прод сегодняКандидат

Прод сегодняКандидат

Вся программа по индексации стоит за четырьмя настройками, и релиз — это их включение, а не слияние. Каждая — одна настройка, применяется без пересборки, и откатывается тем же способом. Перечислены они в осмысленном порядке, потому что две из них без первой лишены смысла.

1. Страница, которую Google читать не приглашён, отвечает «не найдено» Сегодня страница запчасти, на которой ничего нет, всё равно грузится как настоящая и лишь просит Google её не листать. Google такую страницу читает, считает её пустой и ставит это в счёт всему остальному сайту. С включённым переключателем тот же адрес прямо отвечает «не найдено». Измерено: запчасть Ferris сегодня отвечает 200 полной страницей, а на тестовом сайте — 404; при этом приглашённая запчасть New Holland отвечает 200 с обеих сторон. То есть работает выборочно, и это то, что стоит проверить.

2. Инструкции для обхода перечисляют каждую приглашённую запчастьСегодня инструкции о запчастях не говорят вообще ничего: 13 строк, ни одной про /parts/. С включённым переключателем в них 4 783 строки — сплошное «запчасти не читать», а затем 2 384 приглашённые запчасти поимённо, в обеих формах адреса. Именно у этого переключателя последствия реальны, если он неверен, потому что он говорит Google перестать читать всё, чего нет в списке.

3. Страницы схем и то, что предлагает карта сайтаСегодня карта сайта предлагает 2 415 адресов. С включённым переключателем — 18 663. Это то самое число, которое план этой недели привёл как 18 657: план считал его с тестового сайта. Живой магазин сегодня предлагает 2 415.

4. Главный переключатель индексацииНа живом магазине тоже не выставлен. Ничего из нижестоящего нельзя включить раньше него.

Это решение, а не задача, и оно Джона: включение переключателя 2 — момент, когда мы говорим Google перестать читать примерно девяносто девять процентов страниц запчастей, которые он сейчас видит. Это и есть задуманный итог, и это по-прежнему самая крупная единичная инструкция, которую мы ему когда-либо давали. Включать её в тот же час, что и релиз, не стоит.

Страница бренда Kuhn отвечает сегодня и будет отвечать в субботу; то, что она говорит о себе, не меняется. Измерено: /parts/brand/kuhn отвечает 200 с обеих сторон и с обеих несёт «эту страницу не листать». На тестовом сайте меняется другое: она перестаёт передавать Google дальше, на отдельные запчасти Kuhn, которые перечисляет.

Причина закрытости не изменилась, и это не решение, принятое кем-то на этой неделе: данные Kuhn отвечают от двенадцати до шестидесяти девяти секунд, что замедляет чтение Google всего сайта. Это описано как front#3666, и у него нет владельца. План этой недели говорит то же самое теми же словами. Назначить владельца — решение в одну строку, и оно висит уже через два релиза.

Прод сегодняКандидат

До — прод сегодня/parts/CT-FER-1650347SM: 200, страница на 277 856 байт, с noindex, follow и каноническим адресом, указывающим на саму себя, с полным описанием товара, которое Google читает у настоящего товара. Иначе говоря: страница, которая говорит «меня не листать», выглядя при этом ровно как страница, которую стоит листать.

После — кандидат сегодняТот же адрес: 404, 101 782 байта, noindex, nofollow, канонического адреса нет, описания товара нет вовсе. Не страница, притворяющаяся отсутствующей, — отсутствующая страница.

Контроль/parts/CT-NHL-100016 отвечает 200 с index, follow и полным описанием товара с обеих сторон. Это строка, доказывающая, что изменение выборочное, а не сплошное, и её стоит проверять первой, если после включения переключателя что-то выглядит не так.

Прод сегодняКандидат

Прод сегодняКандидат

Прод сегодняКандидат

Если страница запчасти отвечает «не найдено», отделу запчастей всё равно нужно уметь на неё посмотреть. Для этого и есть /lookup/: та же запчасть по адресу, который существует для людей, а не для Google.

До — прод сегодня/lookup/CT-FER-1650347SM отвечает 404. Адреса не существует.

После — кандидат сегодняТот же адрес отвечает 200 с запчастью на нём, помечен noindex, nofollow и не несёт описания товара, которое Google мог бы прочитать.

То, что заняло четыре попыткиСделать это правильно означало пройти по узкой грани: двойник должен быть достаточно читаемым, чтобы Google увидел инструкцию «меня не листать», и при этом на него ничто на сайте не должно ссылаться. Закрыть его наглухо было бы хуже, чем оставить открытым: адрес, который Google запрещено запрашивать, — это адрес, где он никогда не сможет прочитать инструкцию его не листать. Эта ошибка была сделана и отменена внутри одного релиза, и поэтому несколько строк внизу этой страницы противоречат друг другу по порядку.

Прод сегодняКандидат

До — прод сегодня13 строк. Один Allow: /, десять строк Disallow, закрывающих админку, личный кабинет, оформление заказа, вход и адреса с ?highlight=, и одна строка карты сайта. Про запчасти — ничего.

После — кандидат сегодня4 783 строки. Те же десять строк Disallow, плюс Disallow: /parts/, плюс Allow: /parts/brand/, чтобы страницы брендов остались читаемыми, плюс 4 768 строк, перечисляющих 2 384 запчасти поимённо — каждую в полной форме и в форме голого номера, потому что страницы техники ссылаются на одну, а результаты поиска — на другую.

Проверка, которая делает это безопасным2 384 запчасти, названные в инструкциях для обхода, — те же самые 2 384, что и в карте сайта. Согласие этих двух списков и есть всё свойство безопасности: запчасть, предложенная Google в одном и запрещённая в другом, — это страница, которую он запросит и на которой споткнётся. Новая автоматическая проверка сравнивает их при каждом изменении и теперь входит в набор проверок, которые релиз обязан пройти.

Фид, который мы отдаём в Google Shopping, содержал товары, чьи страницы после включения переключателя будут отвечать «не найдено». Товар в фиде, ведущий на отсутствующую страницу, — это ровно та форма, за которую фид приостанавливают, поэтому теперь фид такие строки выбрасывает.

Поправка внутри релизаПервая версия выбрасывала строки из всего фида, а не из брендового раздела. Это было замечено и исправлено внутри того же релиза — обе строки стоят внизу этой страницы по порядку, а не так, что вторая молча заменила первую.

Сегодня фид никто не читает. Merchant Center так и не создан — это стоит в плане этой недели как решение, ожидающее Джона, — поэтому это изменение защищает то, что ещё не включено. Сделать стоило, знать стоит.

Фотографии запчастей грузились с двух разных адресов в зависимости от того, откуда пришли. Один был наш, другой — отдельный хост. Из-за этого одна и та же фотография могла иметь два адреса, скачиваться дважды и считаться у Google двумя картинками.

До — прод сегодняНа /parts/CT-NHL-100016: 112 фотографий через наш собственный сервис изменения размера, 14 со второго хоста, 2 из нашей папки изображений и 6 превью видео с YouTube.

После — кандидат сегодняТа же страница: 112 через наш собственный сервис изменения размера, со второго хоста — ни одной, 5 переехали на наш собственный адрес, 2 из папки изображений, 5 превью YouTube. Второго хоста на странице больше нет.

Ещё в этой группеСайт теперь отдаёт один формат изображения вместо двух, что вдвое сокращает то, что нужно готовить и хранить для каждой фотографии. Логотипы брендов, заменённые вручную, всё ещё отдавались со старого адреса — они тоже переехали. И размеры картинок в галерее теперь объявлены заранее, так что браузеру не приходится гадать.

Это единственная группа на странице без переключателя перед ней, если не считать проблемы с поиском выше. Она вступает в силу в пятницу.

Конечная цель, к которой все идут, — crop.clintontractor.net заменяет старый сайт www. Прежде чем это произойдёт, у каждой страницы старого сайта должен быть дом здесь, решённая переадресация или решённый отказ. Схема структуры сайта от Андрея — это и есть список таких страниц. Перед вами первый её блок и единственный, которому не нужно было ничего ни от кого вне команды.

До — продакшен сегодняСервис, сервисный отдел, запись на сервис, заявка на кредит, оценка техники в зачёт, запись на демонстрацию, вакансии, почтовый клуб, шоурум, часы работы и адрес, коллектив, отзывы: все двенадцать отвечают «не найдено» на нашем сайте и все двенадцать нормально отвечают на старом. Любой, кто шёл по ссылке, закладке или результату Google, попадал в пустоту.

После — кандидат сегодняДесять из двенадцати — настоящие страницы, они отвечают нормально, и Google приглашён их читать. Две оставшиеся одним переходом ведут туда, где это уже есть: сервисный отдел — на сервис, шоурум — на страницу брендов. Карта сайта для Google вырастает с 31 адреса до 41 — эти десять новых страниц и есть вся разница.

Стоит сказать прямоЭто наши собственные тексты на наших страницах, а не копия старого сайта. Ничто в них не зависит от переключателя, поэтому они живые с утра пятницы.

/equipment и /attachments теперь показывают машины и навесное оборудование, которые у нас в продаже, в той же вёрстке, что и каталог запчастей: те же карточки, те же фильтры, тот же поиск. Данные за ними — это по-прежнему снимок со старого сайта, а не живой поток, и именно поэтому страницы несут пометку «не индексировать» и не попадают в карту для Google.

До — продакшен сегодня/attachments: не найдено. /equipment: хаб схем запчастей, то есть совсем другое.

После — кандидат сегодняОбе отвечают нормально и несут noindex. Покупатель, которому дали адрес, страницы видит; Google к ним не приглашают, пока данные за ними не станут живыми вместо снимка.

Что нужно от созвонаВ пятницу — ничего. Решение позже: когда объявления начнут приходить из живого источника, и только тогда их предлагают Google.

Витрине выше нужно слово equipment в адресе, а его занимали схемы запчастей. Поэтому всё дерево схем — хаб, индекс моделей и страницы моделей и узлов под ними, около полумиллиона адресов по подсчёту в самом плане переезда — теперь живёт под /parts-diagrams. Каждый старый адрес доходит до нового за один переход, сохраняя всё, что за этим адресом шло.

До — продакшен сегодня/equipment/new-holland-speedrower-130-windrower-tier-3-non-flex-can отвечает 200 и несёт noindex, follow. Живая карта сайта не перечисляет ни одного адреса модели — только две индексные страницы над ними.

После — кандидат сегодняТот же адрес отвечает 308, один переход, на /parts-diagrams/model/ с тем же именем, строка запроса сохраняется. Две индексные страницы переезжают вместе с ним и остаются в карте под новым именем.

Что на самом деле меняется для GoogleАдреса, и больше ничего. Настройка, которая держит это дерево закрытым от Google, на живом магазине сегодня выставлена — именно поэтому живая карта не содержит адресов моделей, а каждая страница модели говорит «не индексировать». Пятница их переносит, а не открывает. На тестовом сайте эта настройка открыта, поэтому там в карте 16 250 адресов схем, а на живом — ни одного. Эта разница — переключатель, а не релиз.

До страницы запчасти можно было дойти по двум адресам, отличающимся только регистром, и сайт считал настоящим адресом вариант с заглавными. С пятницы настоящий — вариант в нижнем регистре, а вариант с заглавными ведёт к нему одним переходом.

До — продакшен сегодня/parts/CT-NHL-100016: 200, и страница называет настоящим адресом сама себя. /parts/ct-nhl-100016: один переход вверх, к заглавным. В карте для Google 2 389 адресов запчастей, и все 2 389 — с заглавными.

После — кандидат сегодняРовно наоборот, при тех же 2 389 адресах и ни одного с заглавными. Один переход, никогда не два.

Почему это важно и почему безопасноДва адреса у одной страницы — самый старый способ разделить её вес в Google между двумя записями. Здесь это закрыто единственным способом, при котором все существующие ссылки продолжают работать: старая форма по-прежнему разрешается, за один переход, навсегда.

/catalog, /tires и /favorites переадресовывали внутрь магазина. Собственные данные Google по нашему сайту показывают ноль показов и ноль кликов по каждому из них за всё шестнадцатимесячное окно — при том что контрольные адреса в том же замере вернули сотни. С пятницы они отвечают «не найдено».

Если окажется, что это неверноВернуть любой из них — правка в три строки и выкатка. Замер говорит, что этим путём никто не приходит; если после пятницы в журнале ошибок сайта появится один из них, он вернётся.

На странице бренда вкладка «Схемы» работала, когда выбрана первая категория, и ничего не делала на остальных. Теперь она открывается на всех.

Измерено/parts/brand/new-holland/diagrams отвечает 200 с обеих сторон. Страница весит 5,35 МБ на живом магазине сегодня и 4,17 МБ на кандидате — на 1,18 МБ меньше скачивать при том же содержимом.

Стоит сказать прямоЭто изменение пролежало черновиком 27 дней. Оно стоит в плане этой недели в разделе «забытые запросы» и оно единственное из того списка, что реально сдвинулось. Правка мелкая; дело в 27 днях, а не в правке.

Прод сегодняКандидат

До сих пор решение о том, какие бренды Google может читать, жило только в витрине, а поиск о нём не знал — поэтому результаты поиска, списки популярных запчастей и списки запчастей на схемах могли предлагать запчасть, которую витрина закрывает. Теперь поиск читает то же решение из того же места, и они согласуются.

Это вторая половина изменения из двух частей, и половины выкатываются разными путями: витрина — в пятницу утром, поиск — отдельной подменой. Если выйдет только одна половина, они снова разойдутся — а это ровно то состояние, ради прекращения которого изменение и существует. Обе половины должны выйти вместе, и поиск идёт первым.

Старая база была выключена в среду утром (v2.3.1). Этот релиз убирает то, что на неё ещё указывало: сам драйвер, 31 тестовую настройку, которые больше ничего не настраивают, ночную задачу резервного копирования, нацеленную на кластер, которого больше нет, и россыпь комментариев, которые всё ещё описывали старое устройство тому, кто прочитает код следующим. Снаружи кода ничего из этого не видно.

Почему это вообще на этой страницеКомментарий, описывающий систему, которой больше нет, — это то, как следующий человек уверенно принимает неверное решение. На этой неделе это не гипотеза: сам план выключения старой базы сверялся с описанием, которое успело устареть, и это и есть тот «чуть не» на странице v2.3.1.

Когда страница каталога не может быть собрана, потому что что-то выше по цепочке отказывает, сайт теперь отвечает честным «попробуйте ещё раз», явно помеченным как не подлежащее хранению, — вместо страницы, которая выглядит нормально и пуста. Пустая страница, которая выглядит нормально, — худший из трёх исходов, потому что Google её сохраняет.

Измерено лишь частично. Наличие пометки на кандидате подтверждено: отказные ответы несут no-store и для браузера, и для сетевого кэша. Подтвердить не удалось то, что она работает: ответы всё равно приходили помеченными как отданные из кэша. Это то же самое неразрешённое наблюдение, что и в пункте про поиск в начале страницы, и, скорее всего, разбор одного закроет оба.

Прод сегодняКандидат

Строки владения, названия тестов, комментарии в коде и реальный рабочий адрес почты, использованный как тестовые данные, — всё ещё называющие человека, ушедшего 20 августа. Убрано, а там, где строка указывала владельца, заменено честным ответом — который в двух случаях состоит в том, что у направления владельца нет.

Стоит запомнитьЭто вышло не из процесса увольнения, а из чтения кода по другому поводу. Учётные записи были закрыты как положено. Тринадцать упоминаний их пережили, и два из них были единственной записью о том, кто владел куском работы.