Закрытие мусорных страниц от роботов

Сегодня поговорим про закрытие от поисковых систем мусорных страниц вашего сайта.

Один из наших пользователей спрашивает: Я заметил что в индексе у меня очень много мусорных страниц - как убрать из индекса, в ручном режиме проверить, всё что есть - закрыть от индексации, на уровне robots или какой-то другой способ.

Во-первых нужно определиться какого уровня эта мусорная страница. Если это действительно какие-то страницы с ненужным не пользователям, не поисковикам контентом, то их лучше вообще удалить. Если мы говорим о каких-то технических страницах, например - о компании, контакты политика конфиденциальности и прочие нужные пользователям, но они никогда не будут продвигаться, на них никакие запросы не будут идти, мы  их никогда не будем продвигать, то такие страницы закрывать не нужно. Мы их продвигать не будем, но они не являются мусорными. Они нужны для того, чтобы поисковая система понимала, что это нормальный, честный сайт который информацию важную для пользователя всё-таки предоставляет, поэтому такие страницы закрывать от поисковиков ни в коем случае не нужно.

Ещё один вид страниц, которые обычно не продвигаются, но они всё-таки нам нужны - это страницы пагинации, их еще называют порядковой нумерацией страниц. Когда вы заходите в какую-то рубрику, а все товары или все статьи у вас не влазят на первую рубрику, и там у вас есть цифры 1 2 3 4 5 и вы переходите на следующие страницы по списку например товаров и эти страницы тоже, практически не продвигаются,   даже если они открыты для индексации, но при этом они тоже не являются мусорными, потому что с них идут ссылки на товары и если вы их закроете например в robots от индексации совсем, то ссылки на товары либо вообще не будут получать ссылок, либо будут получать их слишком мало. Поэтому если их и закрывать от индексации, то нужно понимать чем вы их замените. Т.е. тогда нужно делать хабовые страницы, таким образом, что бы хоть на одном хабе была ссылка на любую конечную страничку, либо конечный товар.  

Теперь разберем действительно мусорные страницы. То есть, вы точно определить что они нужны пользователям, но по какой-то причине не хотите их отдавать поисковым системам, в этом случае есть три базовых способа.

Первое, это закрыть их robots.txt через директиву disallow.
Второе, это директива robots noindex, то есть в начале вашей страницы в Head прописываете (meta name="robots" content="noindex" /) круглые скобки заменяете на треугольные. Этот способ является на данный момент и для Яндекса и для Google на данный момент является более весомым, более влиятельным чем упоминанием в robot.txt 
И то и то, это рекомендация для поисковика, но robot такая совсем рекомендация, которую он может проигнорировать в лёгкую, то когда это в мета-теге - это уже более жесткое требование к поисковику - что пожалуйста поисковик не индексирует эту страницу.

И третий способ. Это заголовок x-robots-tag. По влиянию и по строгости он примерно такой же как и robots, по ряду наблюдений даже стороже чем robots.

Более подробную информацию можно найти на странице Яндекс Помощь.

А так же рекомендуем провести бесплатный анализ сайта онлайн - попробуй сейчас, это бесплатно.

23.08.2019 | Вернуться назад

Продвижение сайтов в Беларуси от веб-студии Dual.by

Продвижение сайтов в Беларуси от веб-студии Dual.by

С каждым днем поисковые системы становятся все более умными, постоянно обновляя алгоритмы ранжирования сайтов. Попасть обычному человеку в ТОП-10 становится все сложнее, но не невозможно. Но зачастую временные и финансовые затраты на эксперименты стоят дороже , чем довериться специалисту, постоянно анализирующему выдачу и рынок в целом.

Читать подробнее →

Другие новости

Недооцененные звездочки

Нанимаете сотрудников? Иногда попадаются интересные. Сегодня мы как раз поговорим о таких.

“Недооцененные звездочки” - это потенциальные сотрудники с высоким уровнем навыков и мотивации, которые еще не доказали миру, что многое могут. Их способности больше потенциальные, чем реализовавшиеся. Такие сотрудники показывают высокие результаты работы, а их зарплатные ожидания средние по рынку.

Долгосрочная жизнеспособность бизнеса.

Вот такой интересный термин встретила в одной из книг по развитию бизнеса. При этом, работая плечо к плечу с руководителями разных уровней в компаниях разных масштабов, я ни разу не слышала такого термина от них. И даже чего-то подобного.

Знаете ли Вы, что это не просто любопытная мысль в направлении, а есть вполне конкретные фактические показатели в цифрах, определенное сочетание которых и дает понимание, насколько ваш бизнес жизнеспособен.

Стоит ли убегать от льва?

Для начала хочу рассказать анекдот. На мой взгляд, через его призму интересно посмотреть на бизнес и конкуренцию в нем.

Два путника в пустыне увидели льва. Он был еще далеко, но уже было видно, как грациозно он двигался, неумолимо приближаясь к нашим друзьям.

Один из них поспешно присел на камень и начал быстро надевать кроссовки. Второй, глядя на его действия, спросил: «Ты что, действительно считаешь, что сможешь бежать быстрее льва?» На что получил ответ: «Мне не нужно бежать быстрее льва, мне достаточно бежать быстрее тебя!»

Зомби в офисе

Зомби могут находиться прямо у вас в офисе. Что, страшно? Да-да, они прямо рядом с вами. Конечно, речь идет не о страшных мумиях из мертвецов, захватывающих город. Речь идет о людях. Таких же, казалось бы, живых людях, как мы с вами. Таких же, но не таких.

Они вялые, скучные, унылые, и уже ни во что не верят. Они потеряли вкус к жизни. Они потеряли смысл своих действий, и их уже ничто не греет. Спросите такого человека, верит ли он в свой успех? Верит ли он, что может больше? Скорее всего, он посмотрит на вас как на ненормального. Такие состояния, как энтузиазм, вдохновение, творчество, любовь очень далеки от этих людей.
 

Спасти нельзя закрыть. Что делать с бизнесом?

Несмотря на такое, казалось бы шутливое, название, наша сегодняшняя тема крайне серьезна и важна. Сегодня многие компании из числа тех, кто не остановил свою деятельность во время самоизоляции полностью, потеряли от 30 до 90% своей ежемесячной выручки. Это произошло несмотря на то, что ими были разработаны и внедрены некоторые антикризисные меры.

Вы скажете: есть компании, выручка которых за апрель и май не уменьшилась или даже выросла. Да, есть, но таких крайне мало. Заслуга в этом больше не руководителей, а сферы бизнеса. Не слишком сильно пострадали бизнесы, у которых это время – традиционно высокий сезон, и они не относятся к сфере HORECA. Медицина (сфера медицинского газоснабжения), айти-индустрия, сервисы для проведения онлайн-трансляций от сложившейся ситуации только выиграли. Но мы сейчас не о них.

Биржа сайтов РБ

DUAL.by - SEO-портал Байнета

Мы в социальных сетях

  • vk.com/dualby ↓ ↓ ↓
Сайт работает на CMSDual_BY