Почему Ваши страницы не индексируются Google – Подтвержденные проблемы с индексацией

Why Your Pages Aren’t Indexed by Google – Confirmed Indexing Issues.
Author: Cornelia Cozmiuc.
URL: https://cognitiveseo.com/blog/24578/google-indexing-problem/

В наши дни Google сталкивается с серьезными проблемами индексации, затрагивающими бесчисленное множество компаний по всему миру. Несмотря на официальные объявления о том, что проблемы с индексацией были устранены, проблемы, похоже, сохраняются.

С великой силой приходит великая ответственность. Поэтому мы можем только надеяться, что эти проблемы будут решены как можно быстрее для всех веб-мастеров и владельцев компаний, которые уже переживают трудный год для своего бизнеса.

Google, несомненно, является одной из крупнейших и наиболее явных монополий в мире. Bing, его ближайший конкурент в области поиска, занимает всего 2 процента рынка — вряд ли это серьезная угроза для 90 процентов Google. Итак, что происходит, когда поисковая выдача Google не работает соответствующим образом?

Давайте посмотрим!

Проблема с индексацией Google – Подтверждена 1 октября 2020 года.

Все началось в конце сентября, когда появился ряд жалоб, связанных с удалением страниц из поискового индекса Google. Многие люди начали сообщать о проблемах с охватом индексов и ошибках сканирования на форумах, в группах Facebook и т. д..

Твиттер, как обычно, был самым популярным каналом для такого рода проблем, поскольку это единственное место, где есть шанс, что представитель Google действительно сможет ответить на проблему.

То же самое произошло и в этом случае, с упоминанием о том, что на этот раз представитель Google Джон Мюллер не знал об этой проблеме, как указано на скриншоте ниже.

Конечно, это оставляет много места для размышлений по этому поводу, но мы предпочитаем оставить эти мысли на вас и пока представить вам только факты.

Множество других дискуссий было сгенерировано по этому вопросу во всех местах, Справка консоли поиска и Мир Черной шляпы, чтобы упомянуть лишь некоторые из них. Ниже вы можете получить представление о том, какая атмосфера царила в Твиттере по этому поводу.

1 октября, 24 часа спустя, Google официально объявила, что некоторые проблемы с индексацией действительно существуют, и они работают над их решением.

В настоящее время мы работаем над устранением двух отдельных проблем с индексацией, которые повлияли на некоторые URL-адреса. Один из них связан с индексацией мобильных устройств. Другой связан с канонизацией, с тем, как мы обнаруживаем дублирующийся контент и обрабатываем его. В любом случае страницы могут не индексироваться....

В течение следующих трех недель они продолжали сообщать обновленную информацию о проблемах и о том, как они их устраняли. Самыми последними и важными обновлениями по этому вопросу являются следующие:

9 октября: вчера была эффективно решена проблема мобильной индексации, восстановлено около 99% URL-адресов.

20 октября: каноническая проблема была эффективно решена в прошлую среду (14 октября), при этом около 99% URL-адресов были восстановлены. Мы ожидаем, что оставшиеся крайние случаи будут восстановлены в течение недели или двух.

Между тем, общение в Google вращалось вокруг такого типа сообщений:

• Владельцы сайтов не предпринимают никаких действий по решению этих проблем.

• Мы приносим извинения за возникшие здесь проблемы и быстро работаем над их решением.

• Мы будем обновлять эту тему по мере исправления каждой из них.

• Для полного решения обеих этих проблем могут потребоваться дни, но мы уже восстановили много URL-адресов и работаем быстро, чтобы обработать больше.

Все хорошо в капюшоне, возможно, у вас возникнет соблазн сказать. У Google была ошибка, они исправили ее через три недели.

Просто все обстоит не совсем так. Помимо того факта, что три недели отсутствия индексации нового контента или деиндексации старого - это очень большой промежуток времени по меркам интернет-дней, проблема все еще существует, как сообщили несколько веб-мастеров.

У нас есть два собственных примера, которые подтверждают, что проблема все еще существует. Не уверен, знаете ли вы, но та же самая трудолюбивая команда, которая разработала cognitiveSEO, создала инструмент мониторинга бренда BrandMentions.com так же хорошо. Оба примера будут взяты с этого веб-сайта.

Первое - действительно классное исследование о лучшем времени для публикации в Instagram (возможно, я здесь субъективен, но вы можете проверить его, чтобы убедиться сами).

Похоже, что у URL-адреса нет проблем с сканированием, но он не индексируется Google. Это уникальный контент, без каких-либо специальных указаний (у него нет директивы noindex).

Статья была опубликована в блоге BrandMentions 13 октября. Я не верю, что это было несчастье “Вторник, 13-е”. Скорее всего, Google не удалось устранить проблемы для 99% URL-адресов, как они утверждали. И да, может быть вероятность того, что статья находится в пределах этого 1% нефиксированных URL-адресов. Но это не единственный пример.

Второй пример - страница, на которой представлена информация об отслеживании бренда, также принадлежащая brandmentions.com . На этот раз страница, похоже, просматривается (в тот же неудачный вторник, 13), но сегодня, 20 октября, ее нигде не найти в поисковой выдаче.

Конечно, мы надеемся, что это изменится, и к тому времени, когда вы будете читать эту статью, страница будет проиндексирована и довольно хорошо ранжирована. Тем не менее, на данный момент проблема с индексацией Google, похоже, сохраняется.

В чем проблема канонизации Google

Google заявил в Твите от 2 октября, что “ [...] Если проблема связана с каноническим, инспектор URL может отобразить URL-адрес как дубликат, и выбранный Google канонический будет отличаться от него. Проблема с каноническими изданиями повлияла примерно на 0,02% нашего индекса, начиная примерно с сентября. 20 до позднего вечера вчера, около 4:30 вечера по североамериканскому времени. С тех пор мы восстановили около 10% этих URL-адресов и продолжаем обрабатывать больше”.

Что именно это значит?

Это каким-то образом проблема с дублированием контента. Допустим, вы публикуете свежую статью, и вскоре после этого скребок копирует всю вашу статью и публикует ее точно так же.

Канонический тег, добавленный на ваш сайт, сообщит Google, что ваша статья является оригинальной и что именно она должна занять первое место. В принципе, вы можете сказать Google: “Вместо этой страницы покажите эту страницу”. Итак, если у вас есть рейтинг страницы B по какому-то ключевому слову, вы можете в принципе сказать Google, чтобы он показывал страницу A вместо этого.

Тем не менее, как только возникла проблема с канонизацией, Google показывал не оригинальный контент, а синдицированный (тот, который является копией оригинального).

Канонические теги являются рекомендацией Google для нескольких ситуаций, как вы можете видеть на их странице или на изображении ниже.

Существуют миллиарды веб-страниц, и Google выполняет их ранжирование. В идеале все веб-сайты должны иметь уникальные страницы. Каждая страница должна содержать оригинальный контент. Однако на самом деле дубликаты страниц встречаются чаще, чем вы думаете.

Итак, Google сканирует ваш сайт и находит 3 страницы, пытающиеся получить рейтинг по одному и тому же ключевому слову. Мало того, что Google приходится выбирать между миллиардами различных веб-сайтов, теперь ему также приходится выбирать между дублирующимися страницами на одном и том же веб-сайте. Это действительно кажется трудным, поэтому существует канонический тег, чтобы сообщить Google, какой оригинальный фрагмент следует ранжировать.

И когда возникает проблема такого масштаба, вы вспоминаете, как важно для поисковой системы правильно выполнять свою работу, а также для веб-мастеров, чтобы все было настроено правильно.

Да, похоже, что даже если с вашей стороны все в порядке, проблемы все равно могут возникнуть.

В то время, когда вы читаете этот пост, такого рода проблемы больше не должны появляться, поскольку Google заявил, что они были исправлены. Тем не менее, учитывая текущую ситуацию и тот факт, что веб-мастера все еще жалуются на это, давайте надеяться на лучшее и ожидать худшего.

В чем проблема мобильной индексации Google

Проблема с мобильной индексацией привела к тому, что новым веб-страницам потребовалось очень много времени, чтобы проиндексироваться и появиться в индексе Google. Часть нового опубликованного контента все еще не проиндексирована.

Даже крупные сайты, где затронуты эти проблемы. Ниже вы можете увидеть несколько скриншотов, сделанных тогда Эвдисоном. Он сообщил об этой проблеме 29 сентября, так как ему показалось действительно странным, что все эти сайты, публикующие новости каждые пару минут, ничего не проиндексировали за последний час.

Проблемы с индексацией больших сайтов

Google заявил, что “если ранее проиндексированная страница исчезла, это может быть проблема с индексацией мобильных устройств, когда мы вообще не можем выбрать какую-либо страницу для индексации”.

Как вы могли видеть на скриншотах выше, многие веб-мастера жаловались, что они просто исчезли из индекса. Как вы можете видеть на скриншоте ниже, Google заявил, что проблема затронула всего несколько веб-сайтов (примерно 0,2%).

Это может показаться небольшим числом, но помните, что индекс Google огромен, и 0,2% от него по-прежнему является большим числом. Поисковый индекс Google содержит сотни миллиардов веб-страниц и имеет размер более 100 000 000 гигабайт. Таким образом, 0,2% от всего этого огромного объема данных больше не кажутся таким уж маленьким процентом.

Проблема с мобильной индексацией

По данным Google, проблема с индексацией мобильных устройств была устранена первой, почти за две недели до канонизации. Тем не менее, мы надеемся, что эта проблема больше не возникнет в будущем, поскольку это сильно влияет на поиск и бизнес людей.

Google также сталкивался с проблемой индексации в прошлом. В прошлом году, например, возникла аналогичная проблема, когда люди столкнулись с проблемами индексации из всех доменов и стран. Будем надеяться, что на этот раз исправление будет исправлено навсегда и подобные проблемы больше не возникнут.

Нам известно о проблемах с индексацией, которые повлияли на некоторые сайты, начиная с пятницы. Мы считаем, что эти проблемы в основном решены и не требуют каких-либо особых усилий со стороны владельцев сайтов. Мы предоставим еще одно обновление, когда проблемы будут сочтены полностью решенными.

Как Проблема С Индексацией Google Влияет На Ваш Бизнес

Короткий ответ на это был бы таков: ПОТЕРЯ ВРЕМЕНИ.

Домашние страницы, статьи, страницы продуктов внезапно были деиндексированы. Представьте, что сайт вашей компании вообще больше не появляется в результатах поиска.

Ошибки в поиске Google приведут к массовому падению органического трафика, ваша стратегия контент-маркетинга больше не будет полезной.

Это и так трудный год, и из-за проблемы с индексацией бизнес теряет еще больше.

Легко забыть, что, в конце концов, Google - это всего лишь частный бизнес, как и любой другой. Тот, который обладает всемирной монополией на поисковые системы, с ошеломляющей долей рынка 92,27%, от которой мы все зависим, и которому удалось вставить свое имя в качестве распространенного слова в словарь. Но, тем не менее, частная компания. Итак, хотя мы все хотели бы понять, что произошло и происходит, и двигаться дальше в нашей виртуальной жизни, это может быть не так просто.

Тем не менее, с большой силой приходит большая ответственность. Или, по крайней мере, так должно быть.

Кого должны винить предприятия, теряющие свой доход более чем на две недели? Да, ошибки случаются постоянно, и они есть во всех приложениях, будь то большие или маленькие. И да, мы склонны злоупотреблять движком Google как “интерфейсом реальности”. Но у Google тоже есть свои преимущества.

Например, Google влияет на экономику тем, как сейчас ранжируются объявления: чем больше компания платит, тем чаще будет видно добавление. Ответы Google, полученные в результате запросов, также уже ранжируются при проведении поиска. И Google несет ответственность (в определенном проценте, конечно) за стоимость компании. Google, конечно, уже делает это для рекламы, но он уже делает это для всей поисковой выдачи.

Внезапное исчезновение или, в более общем плане, драматическое и внезапное событие - это часто используемый повествовательный прием в большей части литературы и кино. Иногда это остается необъяснимым, но всегда вызывает сильные эмоции. Таково массовое исчезновение 2% населения земного шара в телесериале “Остатки” или внезапная остановка любой смерти для целой страны в романе Хосе Сарамаго “Смерть с перерывами”.

В реальной жизни такие события обычно гораздо меньше и менее драматичны по масштабу, но они не остаются без последствий.

Вероятно, мы никогда не узнаем реальное количество пострадавших предприятий.

Что мы точно знаем, так это то, что проблема такого масштаба приводит к очень стрессовым ситуациям для владельцев бизнеса и их сотрудников, для общего благополучия и прибыли компаний в год, который и так достаточно сложен для многих.

Можете Ли Вы Что-Нибудь Сделать в Этой Ситуации?

Короткий ответ - нет. Нам просто нужно ждать и надеяться, что все вернется в нормальное русло, фразу, которую, мы уверены, вы слышали слишком много раз в последнее время.

30 сентября Google объявила, что временно приостановила функцию индексации запросов в своем инструменте для веб-мастеров.

Подробных объяснений причин не было, лишь смутное упоминание об изменениях в инфраструктуре.

Шли дни, официальные лица компании настаивали на том, что все в порядке, в то время как жалобы на проблемы с индексацией Google сохранялись, поскольку, похоже, пострадало все больше и больше предприятий.

В наши дни Google настолько распространен, что большую часть времени мы даже не думаем о нем как о частной компании. И Оксфордский словарь английского языка, и словарь Merriam-Webster добавили “в Google” в качестве переходного глагола еще в 2006 году. Это настолько распространено, что оно просто... есть. И при доле рынка более 90% такой образ мышления неудивителен.

Проблема со всем этим заключается в том, что по какой-то причине мы склонны считать нарицательные существительные более надежными. Как будто Google больше не была компанией, а какой-то коммунальной службой, единственное намерение которой - помогать своим пользователям, а не пытаться сбалансировать это и получать прибыль как ведущая частная компания на рынке.

И компании иногда будут больше заинтересованы в прибыли, чем в других вещах, таких как справедливость или истина. Это не значит, что Google целенаправленно лгал в прошлом или не прилагал достаточных усилий для исправления своих ошибок. Но иногда это было выгодно: не рассказывать всю правду о влиянии ссылок из пресс-релизов, ничего не раскрывать об обновлении алгоритма Колибри, кроме как спустя долгое время после того, как его последствия уже произошли, или не упоминать текущие URL-адреса отправки и ошибки индексации с самого начала.

Даже если все это правда, тем не менее, это то, что обычно делают компании. Они немного придерживают при себе, перепродают или недооценивают, в зависимости от того, соответствует ли это их целям. Но из-за квазимонополии Google они также способны изменить игровое поле, а не только точность или правдивость. Конечно, гигант поисковых систем не обязан вести себя прилично. Как частная компания, им не нужно никому рассказывать, как они обновляют свои алгоритмы, когда у них возникают ошибки, каково предполагаемое влияние их действий или какова их стратегия. И все же существует целая индустрия, которая пытается разобраться в этих точных вещах.

Сбой в индексации Google

11.02.2022

Уже в течение двух лет в Google наблюдается проблема с индексацией страниц. Новые страницы в некоторых случаях очень сложно попадают в индекс. Первый сбой в индексации зарегистрирован 5 апреля 2019 года во время планового обновления дата-центров.

Что случилось в апреле 2019 года

Индекс Google содержит сотни миллионов страниц. Чтобы показать ответ пользователю за доли секунды, система обращается в ближайший дата-центр. Вот такие центры Google расположены по всему миру:

Чтобы показывать корректный ответ пользователю из любой точки мира, данные во всех центрах должны быть идентичны. Во время очередного обновления данных 5 апреля 2019 года часть индекса была утеряна. Google оперативно отреагировал, принял меры по восстановлению индекса и разработал стратегию предотвращения подобных случаев. 

Следующий сбой в индексации Google произошел 22 мая 2019 года, когда системам не хватило памяти для обработки новых URL. Это привело к тому, что часть новых URL система не обработала.

Аналогичный сбой случился и в августе 2019 года. 

С тех пор вебмастера и оптимизаторы наблюдают постоянные сложности в индексации как страниц своих проектов, так и страниц со статьями для продвижения. 

В индекс сложно входят страницы вне зависимости от таких факторов:

• возраст и авторитетность сайта;
• масштаб — плохо индексируются страницы как больших интернет-магазинов, так и небольших информационных сайтов;
• качество контента — проблемы испытывают и сайты, которые пишут оригинальный, полезный и качественный контент;
• краулинговый бюджет;
• дублированный контент.

Это “боль” оптимизаторов и вебмастеров, для решения которой нет единого на 100% эффективного метода.

Источник: https://blog.miralinks.ru/2022/02/11/getting-pages-into-google-index/

Цитирую коммент bobyfromuk , мимо которого не смог пройти:
«Дело не сбоях. Была официальная инфа на эту тему от Гугла, вот суть:
Google сокращает частоту сканирования сайтов в целях экономии вычислительных ресурсов. Компания называет это повышением экологичности сканирования и индексирования в рамках ныне модной тенденции сокращения углеродного следа.»
Гугл уже давно тупо «не тянет». А свою несостоятельность объясняет заботой о вымирающих пингвинах и кашалотах. И чем дальше, тем больше его алгоритмы становятся рандомнее, причем это касается не только индексации, но и самого ранжирования страниц. К сожалению, мы оказались по роду деятельности очень зависимы от этого тупеющего электронного монстра, захватившего монопольку над интернетом методами, весьма далекими от рыночных.