Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей. Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска , которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.
В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для .
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для . Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Чтобы добиться поставленных целей в работе с сайтом нужно учесть массу различных тонкостей. Во время оптимизации по невнимательности случается, что в индексе оказывается информация не для глаз серферов просторов интернета. Логично, что от контента подобного рода нужно избавляться. В этой статье мы разберем рядовые случаи возникновения такой необходимости и, конечно же, узнаем как удалить страницу из поиска Яндекса.
Причины удаления веб страниц из поиска
Мы не станем разбирать проблемы гигантов, как, например, история с известным мобильным оператором, название которого я афишировать не стану, лишь скажу, что он начинается на «мега» и заканчивается на «фон». Когда у последнего проиндексировались и попали в поиск страницы со смс-сообщениями пользователей. Также не станем заострять внимание на проблемах интернет-магазинов, у которых периодически можно найти личные данные пользователей и подробности их заказов в открытом доступе. Ну и так далее.
Мы разберем наболевшие проблемы обычных предпринимателей, которые хотят решить свои задачи:
- Дубли. Дублированный контент мешает продвижению сайтов, это ни для кого не секрет. Причины возникновения могут быть разными. Подробнее можете посмотреть в нашей .
- Информация утратила свою актуальность. К примеру, была какая-то разовая акция, да прошла. Страницу нужно удалить.
- «Секретики». Данные, которые не для всех. Вспоминаем ситуацию с оператором связи. Такие странички необходимо скрывать от зевак.
- Смена URL адресов. Будь то переезд сайта или настройка ЧПУ, в любом случае придется избавляться от старых страниц и предоставлять поисковику новые.
- При переезде на новое доменное имя вы решили вообще удалить сайт из поисковика Яндекса, чтобы не пострадала уникальность контента.
На самом деле причин удалить сохраненные страницы из поисковых систем может быть кратно больше. Список нужен лишь для иллюстрирования типовых проблем.
Как удалить страницу из поисковика Яндекса
Есть два пути развития событий. Долгий (но ленивый) и ускоренный (придется чуть-чуть пошевелиться).
- Долгий способ
Если время не торопит и есть дела поважнее, то можно просто удалить страничку через систему управления контентом (она же админка или CMS). В таком случае, переходя по уже несуществующему URL адресу, поисковой робот обнаружит, что сервер отвечает ему кодом 404 - страница не существует, а значит ее нужно выкинуть из поиска, что со временем случиться без вашего вмешательства.
- Ускоренный способ
Своеобразное продолжение первого. После удаления из CMS, нужно воспользоваться сервисом Яндекса далить URL . Это приведет к оперативной реакции со стороны ПС и в ближайшее время ненужная информация пропадет из индекса.
Но что, если нужно удалить страницу из поисковика, оставив её при этом на самом сайте?
Как удалить страницу в поисковике Яндекса не удаляя ее с сайта
Во-первых, закрыть страницу от индексации с помощью файла robots. txt, уверен, с ним вы уже сталкивались. Внутри файла необходимо прописать следующее:
User-agent: Yandex
Disallow: /i-hate-my-page
Это закроет от индексации контент, URL адрес которого www.домен.ru/i-hate-my-page
Во-вторых, так как robots. txt содержит не жесткий набор правил для робота, а скорей носит рекомендательный характер, то обычного Disallow может быть недостаточно. Поэтому для пущей уверенности пропишите в html коде страницы следующее:
Обратите внимание, что теги head тут не для красоты. Мета-тег роботос должен располагаться между тегами
.Кульминацией станет добавление адреса в уже знакомый сервис Яндекса Удалить URL, которым мы уже умеем пользоваться.
Как удалить сайт из поисковика Яндекса
Для того чтобы полностью удалить сайт из поисковой базы нужно пройти те же пункты, что и для удаления страницы, но с некоторыми нюансами.
- Закройте весь сайт от индексации добавив в файл robots. txt строчки
User-agent: Yandex
Disallow: / - Удалите страницы с помощью, уже родного сервиса Удалить URL.
- Избавьтесь от всех ссылок ведущих на ваш сайт.
- Ждите переиндексации.
Если же сайт вам больше совсем ненужен, удалите все файлы, которые находятся на хостинге и забудьте об этом. В крайнем случае, обратить в службу поддержки ПС.
Итог
Хочется сказать, что процедура удаления сохраненных страниц из поиска не очень трудная и порой бывает просто необходимой. Надеюсь, владельцы сайтов, которые не желают сильно погружаться в подробности, сумеют найти в этой статье ответ на вопрос как удалить ненужные веб-страницы из поиска Яндекс.
Надеюсь, что было полезно!
Если вы хотите затруднить поиск своих аккаунтов (страничек) в социальных сетях , то тогда эта статья для вас! Не буду долго рассуждать на тему, зачем и кому это нужно, а сразу перейду к делу.
Замечу только, что стопроцентных способов, позволяющих «спрятать» свою страничку от нежелательных глаз не существует. Даже хакеров ловят, т.ч. помните об этом. Ну а теперь начнем.
Способы затруднить поиск своей странички (аккаунта)
- Регистрация под чужим именем и фамилией. Самый простой, вполне эффективный, но не всегда полезный способ. Лучше всего его использовать в тех случаях, когда вы не собираетесь общаться с теми, кто вас знает в реальной жизни, т.к. со стороны тех, с кем вы все же хотите пообщаться, могут возникнуть нежелательные вопросы.
- Включение в фамилию и имя букв на английском, а также спецсимволов. Например, вас зовут Светлана. Можно записать себя либо так Светл@ н@ , либо так C ветлa нa . Второй вариант выглядит более правдоподобным, однако, если кто-нибудь в поиске наберет Cветлана, то он вас никогда не найдет, т.к заглавная буква «С », а также строчные буквы «a » написаны на английском языке. Простой человек разницы не замечает, а вот компьютер на этом будет «ломаться» и не покажет вас в поиске.
- В анкете при регистрации заполнить поля фамилия и имя наоборот. Т.е в поле «фамилия » вы пишите свое имя, а в поле «имя » вы пишите фамилию. Этот метод менее эффективный. Ряд социальных сетей все равно покажут вас в общей выдаче.
- Заполнение ненастоящего места жительства и даты рождения, места учебы и т.п. Этот метод лучше использовать в качестве дополнения к предыдущим четырех.
И еще! При использовании всех этих методов я настоятельно рекомендую вам регистрировать свой аккаунт на НОВЫЙ, никому не известный почтовый ящик. Т.к. если в качестве контактных данных будут указаны «паленые» e-mail, ICQ, Skype, о которых знают те, от кого вы хотите скрыться, то они легко смогут отыскать вас ВКонтакте, Одноклассниках и Фейсбуке, ибо эти социальные сете предоставляют возможность искать людей по электронному адресу и прочим контактным данным.
Практически у каждого владельца сайта возникают ситуации, когда нужно убрать страницы из поиска – например, если в него попали разделы с ничего не значащей для поисковой аудитории информацией, или если ресурс полностью обновили и сменили его тематику. Рассмотрим несколько способов удаления страниц из индекса Яндекса и Google.
Удаление в интерфейсах для вебмастеров
Google и Яндекс дают такую возможность через кабинеты для вебмастеров. Так, в Google достаточно зайти в раздел «Индекс» и после указать ссылки на страницы, которые хочется убрать.
Шаги очень простые и описывать их детально нет смысла. Указанные ссылки попадают в список на удаление и переходят в режим ожидания. Это очень быстрый процесс – он занимает обычно несколько часов, невзирая на количество добавленных в список URL – даже если их несколько тысяч. В Яндексе нужно перейти по ссылке: https://webmaster.yandex.ru/tools/del-url/ и добавить в форму адрес страницы, предназначенной для удаления.
Иногда система может ответить следующим образом:
Значит, необходимо выполнить следующие действия, о которых я расскажу ниже.
Использование Robots.txt
Актуальность этого файла возрастает в ситуациях, когда нужно запретить к индексации определенные страницы или разделы сайта. Чтобы удалить их из поиска, нужно прописать в файле следующее:
Disallow: - функция, запрещающая индексацию или указывающая на необходимость исключения разделов и страниц из выдачи. Это требование учитывают обе поисковые системы.
Старый добрый ответ 404
Можно настроить ответ сервера 404 и создать соответствующую страницу. Проводя очередную индексацию и наткнувшись на такие ответы сервера, поисковые роботы со временем выкинут странички из поиска.
Это удобный, но достаточно медленный способ: чтобы добиться ожидаемого удаления, нужно будет ждать нескольких визитов на сайт от поискового робота. Несколько – потому что поисковый робот считает, что подобные страницы на сайте могут возникать непреднамеренно и «даёт» вебмастеру время, для того, чтобы он нашёл такую страницу и исправил ситуацию, если появление страницы ошибочно.
Как закрыть страницу от индексации, не удаляя ее
Для закрытия страницы от индекса чаще всего применяют один из двух методов: вносят данные в файл Robots.txt или пользуются Мета robots noindex. В первом случае в файл достаточно добавить следующее:
User-agent:* Disallow: http://имясайта.com/page
После этого индексация этой страницы не будет проводиться – в этом можно быть практически уверенным (хотя исключения бывают). Но методика больше подходит для скрытия больших объемов данных. А вот чтобы закрыть одну страницу, лучше использовать тег:
META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»
Его добавляют между
Заключение
Процесс удаления из поиска или скрытия от индексации информации на сайте достаточно простой. Но во избежание проблем лучше обращаться к специалисту: владелец ресурса не будет рисковать потерей данных, а результат будет быстрым и эффективным.
Если вы не хотите, чтобы ваш профиль находился в поисковых системах, вы можете убрать его из открытого доступа. В большинстве социальных сетей доступна настройка уровня доступа к профилю - или профиль доступен для всех без ограничений, или только для ограниченного круга лиц. Иногда есть возможность ограничить именно доступ поисковых роботов к странице.
Если вы установите в настройках уровень доступа только для ограниченного круга лиц, то поисковый робот не будет индексировать ваш профиль.
Ниже приведены способы убрать свой профиль из открытого доступа в разных социальных сетях. Если у вас возникнут проблемы, пожалуйста, обращайтесь в службу поддержки соответствующей социальной сети. К сожалению, мы не храним исчерпывающую информацию о способах закрытия профилей всех социальных сетей.
- ВКонтакте
- Одноклассники
- Мой Круг
- Живой Журнал
- Твиттер
- GooglePlus
ВКонтакте
Одноклассники
Чтобы закрыть профиль на Одноклассниках, зайдите в настройки публичности (http://www.odnoklassniki.ru/publicitySettings) и в графе Конфиденциальность напротив надписи Открыть страницу для поисковых систем выберите нет. Сохраните настройки.
Мой Круг
Чтобы закрыть профиль в сети Мой Круг, зайдите в настройки (http://moikrug.ru/settings/privacy) и разрешите показывать ваш профиль только пользователям Моего Круга.
Живой Журнал
Чтобы закрыть профиль в Живом Журнале, зайдите в настройки (http://www.livejournal.com/manage/settings/?cat=privacy) и установите флажок Минимизировать попадание моего журнала в поисковые системы .
Настройки приватности можно изменить на соответствующей странице https://www.linkedin.com/settings . Чтобы закрыть профиль, необходимо перейти по ссылке Edit your public profile , а дальше выбрать Make my public profile visible to *no one* .