Как найти скрытые ссылки

Как найти битые ссылки на сайте онлайн бесплатно?

Самый доступный способ, это заходить на каждую страницу и проверять. Хорошо если у вас всего несколько страниц, а если сотни и тысячи. Такой вариант отпадает сразу. Тогда, лучше использовать онлайн сервисы для поиска неработающих ссылок. Ниже покажу как:

С помощью Яндекс вебмастера

Заходим в панель управления – ссылки – внутренние ссылки.

Пролистываем страницу вниз и под графиком видим все не работающие ссылки.

Откуда: это адрес вашей страницы, под адресом серым цветом выделен анкор(слова в которые вставлена ссылка).

Куда (красная ссылка): куда ведет – рубрика, другой сайт, статья.

На моем примере вебмастер показывает, даже измененные рубрики. Я изменил название рубрики, соответственно и изменился ее адрес.

С помощью консоли Гугл

Заходим в Google Search console, выбираем обзор. Смотрим окно «покрытие».

Как вы видите, гугл не видит ошибок на страницах.

Онлайн сервис brokenlinkcheck

Я знаю, какие линки у меня не рабочие и поэтому решил проверить несколько сервисов сразу. Из штук 7-ми — 10-ти только один нашел действительно неработающие – это brokenlinkcheck.com. Остальные не понятно что ищут. Вернее они ищут, но не видят битые исходящие ссылки, как в моем случае.

1. В поле «Enter your URL below» вводим ваш адрес сайта и жмем «Find broken links«.

1. На следующей странице, вводим капчу и снова жмем «Find broken links now!«

1. Ждем, пока закончится процесс поиска.
2. В таблице, во второй колонке кликаем на url и вас перебросит на ту страницу, где находиться нерабочая ссылка. Находим и исправляем ее.

Подводя итог по онлайн сервисам хочется отметить, что лучше всего проверить сайт в нескольких сервисах – это увеличит вероятность обнаружения. Еще лучше будет, если вы будете знать хотя бы об одной битой ссылке на своем блоге. Так вы сразу сможете определить достоин сервис внимания или нет.

Шаг 2. Загрузите список в Search Console

• Вы можете отправить один список для каждого принадлежащего вам ресурса. Загрузка нового списка отменит все существующие списки этого ресурса.
• Загрузить список может только владелец ресурса.
• Отклоненные адреса по-прежнему будут показываться в отчете о ссылках.

Теперь загрузите список страниц и доменов, которые вы хотите отклонить.

1. Откройте страницу Отклонение ссылок.
2. Выберите нужный ресурс в раскрывающемся меню. Список будет применен только к этому ресурсу. Если у этого ресурса уже есть список, появится сводка отклоненных страниц и доменов. Список, который вы загрузите, будет использоваться вместо предыдущего.
3. Нажмите кнопку, чтобы загрузить список.
4. Выберите файл на своем компьютере.
   1. Если в файле есть ошибки, появится их список. В этом случае продолжит использоваться прежний список. Вы можете исправить ошибки в новом списке и попробовать загрузить его ещё раз.
   2. Если загрузка пройдет успешно, ссылки с перечисленных в списке страниц перестанут учитываться не ранее чем через несколько недель – после того как наши роботы повторно работают эти URL.

Зачем удалять информацию из Google?

Причина состоит в том, что любые данные в сети стремительно устаревают, причем на совершенно разных сайтах.

Список товаров может постоянно меняться. Огромное количество продуктов, техники и мебели исчезает с прилавков, и информацию об этом нужно донести до покупателей. Зачастую магазины просто оставляют на сайте заглушку с надписью «Товар закончился», но иногда нужно полностью удалить страницу товара. 

Новостные сайты

Любая статья на новостном ресурсе быстро стареет. Поэтому иногда их полезно подчищать, убирая старье, которое только мешает, а не генерирует новых посетителей. 

Крупный бизнес

Некоторые ресурсы находятся под постоянным контролем надзорных органов. Чтобы у них не возникло проблем с госструктурами, администраторам ресурса приходится держать на сайте исключительно актуальную и точную информацию. 

И таких вариантов много. Существуют десятки типов контента, которые необходимо вовремя удалять из поисковой выдачи, так как их нахождение там может негативно сказаться на бизнесе или SEO-показателях ресурса. Например, попадание в поисковики страниц с чьей-то персональной информацией, паспортными данными или другими личными файлами, а также появление в выдаче «несуществующих» адресов, которые очень не нравятся пользователям и поисковым ботам Google и Яндекса. 

Как найти битые ссылки на сайте WordPress?

В поиске и устранении битых ссылок на WordPress нуждается любой ресурс, продолжительность жизни которого больше двух-трех месяцев

Важно понимать, что линки способны получать повреждения по разным на то причинам, но если мы говорим о комплексном продвижении бизнеса в интернете, то полностью абстрагироваться от ссылок — невообразимое и глупое решение. Их правильное создание и разработку лучше доверить профессионалам.

С увеличением продолжительности существования ресурса, к сожалению, растет и количество несуществующих источников дополнительной информации. Администратор ресурсов WordPress должен с постоянной периодичностью осуществлять поиск битых ссылок и предпринимать меры по их устранению или преобразованию в надлежащий вид.

Для поиска битых ссылок существует ряд программ-помощников, которые справятся с такой непростой задачей. Одной из таких программ является Xenu’s Link Sleuth, а также ее аналоги, которых существует около 8 и которые предполагают, как платное, так и бесплатное пользование.

Стоит упомянуть и о плагинах, которые также отлично справляются с поиском битых ссылок WordPress, но в процессе работы некоторые из них излишне перегружают систему.

Link Checker — один из основных плагинов, связанных с поиском несуществующих ссылок на WordPress. Его задача- находить на интернет-площадке такие ссылки, а также недоступные изображения.

Отличительной чертой этого плагина является то, что его работа предполагает обнаружение двух основных типов ссылок: внешних и внутренних. Внутренние предоставляют аудитории доступ к страницам в пределах одного и того же ресурса, а внешние ведут на контент сторонних сайтов

Важно отметить, что статейное продвижение сайта или продвижение с помощью ссылочной системы является самым выигрышным вариантом для монетизирования трафика, а, следовательно, прироста прибыли и увеличения рейтинга сайта, поэтому ссылочная масса должна существовать на любом ресурсе.

Еще один плагин по поиску битых ссылок – Broken Link Checker. Он сканирует весь ресурс и все его элементы, после чего, при желании, отправляет отчет на электронную почту. Плагин отличается удобством и простотой быстрого редактирования неработающих линков, которые всплыли в отчете.

Следующий функционирующий плагин – WP Broken Link Status Checker. Его преимуществом можно считать минимальную нагрузку на систему в процессе работы, а также возможность проверки выборочных элементов и плюс осуществление запланированного сканирования. Также редактировать несуществующие ссылки возможно прямо в открытом окне отчетов, с помощью клика на окно «Показать результаты» в описании результатов проверки.

Это, пожалуй, самые популярные системы для нахождения ошибочных ссылок WordPress, пользование которыми станет еще один правильным шагом к успеху и прибыли.

Как снять спамные ссылки

Вначале стоит попробовать договориться с вебмастерами — написать им письмо с просьбой снять линк. Если ссылки покупались на бирже — удалить в установленном на данной бирже порядке. И только потом, если владельцы сайтов не отвечают, обращайтесь к Google Disavow Tool.

Для отклонения ссылок достаточно правильно сформировать и загрузить файл с линками.

Файл со списком ссылок должен быть сформирован по определенным правилам.

1. Расширение файла — .txt. Создавайте файл в стандартном блокнот или Notepad++.
2. Файл должен быть в кодировке UTF-8 или 7-bit ASCII.
3. Каждая ссылка начинается с новой строки. Какие-либо разделительные знаки не используются.
4. Для отклонения целого домена (например, site.com) достаточно прописать строку domain:site.com.
5. 5. В файле можно прописывать комментарии. Для этого в новой строке необходимо установить значок # и далее вводить сам текст.

Для загрузки необходимо перейти на страницу Disavow Tool и выбрать «Отклонение ссылок». Появится диалоговое окно с предупреждением о возможных негативных последствиях отклонения и предложением выбрать файл:Если в какой-то момент вы осознали, что внесли в список не все ссылки или появились новые домены для отклонения, можно загрузить новый файл (старый не будет учитываться), либо просто внести правки в текущий документ, предварительно его выгрузив.

После загрузки файла вы можете отправить письмо представителям Google с просьбой рассмотреть запрос. Это необязательный, но желательный шаг. Для отправки письма перейдите по пути «Поисковый трафик» — «Меры, принятые вручную»:

Пример письма:

Здравствуйте!Мы получили уведомление, что к нашему сайту были применены ручные санкции. После получения оповещения мы провели сбор и анализ всех внешних ссылок. Были выявлены некачественные и искусственные по нашему мнению ссылки. Часть ссылок мы удалили вручную.Примеры ссылок:http://domain.com.ua/qwe1http://site.com/poi7Те ссылки, которые не получилось удалить, мы отправили в инструмент Google Disavow Tool.Просим рассмотреть наш запрос. Надеемся на ваше понимание и ждем ответа.

Готово! Остается подождать, пока изменения вступят в силу. Не стоит надеяться, что Google перестанет учитывать спамные ссылки моментально: до 48 часов необходимо ботам для обнаружения нового файла и еще от нескольких недель до нескольких месяцев на их сканирование и отклонение.

Удаление сайта из поиска Google

Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.

Google предоставляет 3 варианта удаления:

• временный;
• удаление сайта навсегда;
• удаление сайта из-за нежелательного контента.

Рассмотрим каждый по отдельности.

Временное удаление сайта

Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.

Для этого в Search Console переходим в раздел «Индекс» =>»Удаления» и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.

После клика по этой кнопке необходимо указать адрес страницы, который хотим удалить. Но если требуется ликвидировать весь сайт, то вводим его доменное имя.

Google даст на выбор два варианта удаления:

1. Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
2. Скрыть весь каталог и страницы, которые с ним связаны

Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.

Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче

Временное удаление можно включить повторно в этом же разделе.

Удаление страниц или сайта навсегда

Для удаления сайта навсегда из поиска Google нет волшебной кнопки, как для временного удаления, но Google рекомендует дополнительные меры:

• Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
• Установить пароль, чтобы заблокировать доступ к контенту
• С помощью метатега noindex запретить сканирование страницы: <meta name=»googlebot» content=»noindex«>
• Документы в формате PDF рекомендуется удалять с сервера полностью

Удаление сайта из-за нежелательного контента

Если кого-то лично задел контент сайта (неприемлемое содержание, например), то можно наябедничать.

Далее Google поблагодарит вас за содействие. В этом варианте нет какой-то формы отслеживания заявки. Придется вручную проверять доступность ресурса.

Мы привели способы удалить сайт из поиска Google штатными средствами самих Google, теперь пора разобраться с Яндексом.

Неработающие внутренние ссылки негативно влияют на SEO

Неработающие (битые) ссылки вредны для вашего проекта по нескольким причинам:

Для начала это влияет на общее впечатление пользователей вашего сайта. Если кто-то нажимает на конкретную ссылку, то он делает это, потому, что он заинтересован в контенте, на который, как ему пообещали, данная ссылка приведет его. Логично, не правда ли?

Таким образом, когда вы отправляете пользователей по «мертвой» ссылке, то вместо обещанного им контента, вы просто создаете разочарование для посетителей. Поэтому такая ситуация сама по себе является хорошим стимулом для поиска и исправления неработающих внутренних ссылок на вашем сайте.

Неработающие внутренние ссылки не только неудачно влияют на человеческий фактор, но и на роботов. В частности, роботы-пауки используют поисковые системы, такие как Google.

Во-первых, неработающие ссылки бесполезны для Google. Каждая страница 404, с которой сталкивается робот Google, в результате неработающих ссылок ― это живая страница и поисковой робот мог бы ее сканировать.

Кроме того, «мертвые» ссылки также являются пустой тратой вашего «ссылочного капитала». Например, у вас есть неработающая внутренняя ссылка, которая приводит пользователя из одного поста блога в другой. Но вы не получите выгоду от SEO этой внутренней ссылки, пока не сделаете ее активной для пользователя.

Как пользоваться программой?

Для начла скачиваем это чудо с оф. сайта, вот ссылка home.snafu.de (так же тут всегда свежая версия) программа абсолютно бесплатная! Я удивляюсь почему мне никто из моих друзей блогеров не рассказал о ней Некоторые скриншоты большого размера, поэтому нажимаем на картинку и увеличиваем.

Скачали, устанавливаем, просто жмем везде next, никаких настрое программа не требует, естественно кроме места установки.

После установки запускаем и видим вот такое пустое окно:

Нажимаем в углу > File > Check URL  и видим окно:

В водим в первое поле ваш домен, скопировали из адресной строки и просто вставили, никаких галочек и настроек менять не нужно, жмем ОК и все, процесс пошел!

После завершения, в правой нижней части видно % прогресса. Нам будет предложено отправить отчет report, ничего не отправляем, жмем НЕТ и начинаем анализировать полученные результаты, внешние ссылки сразу видно в списке, естественно ссылки могут быть которые вы сами ставили в своих статьях, их пропускаем, а вот паразитов и нежеланных гостей будем убирать.

Вот одна из внешних ссылок с моего блога, но возникает вопрос, ведь я же рыскал в коде, тщательно проверял весь движок и абсолютно все файлы на наличие сторонних URL? Откуда эти чертовы ссылки? Вуаля, эта чудо программа умеет показывать с какой страницы ссылка!

Инструменты удаления страниц из индекса

Это актуально как для Google, так и для Яндекса.

При помощи опций Google Search Console устраняются страницы из списка поисковой выдачи. Для этого вводится URL раздела в специальную форму сервиса, а также указывается причина, по которой его нужно удалить. Найти эту функцию можно в разделе «Индекс». Стоит понимать, что процесс обработки запроса займёт определённое время.

также предлагает исключения страниц: по URL и по префиксу. Найти эти способы можно в разделе «Инструменты».

Применение методики «удаление по URL» подразумевает под собой указание в специальном окне Вебмастера списка страничек, помеченных на удаление. Если же выбран формат удаления «по префиксу», появляется возможность для закрытия всех страниц, относящихся к определённому подразделу сайта. Метод актуален для страниц, содержащих выбранный параметр.

Разберём пример: для оптимизации ресурса удалению должны подвергнуться все странички, относящиеся к разделу catalogue. Чтобы это обеспечить, в открывается вкладка по префиксу и указывается УРЛ Всё: каждая из страниц, относящихся к подразделу, будет удалена из индекса.

Как скрыть внешние ссылки

В этом случае приходят на помощь теги <noindex> и rel=»nofollow». Эти теги закрывают от индексации некую часть Вашего сайта. А так как ссылка — это тоже часть Вашего сайта, то ее мы и будем закрывать.

Итак, давайте рассмотрим данные теги получше.  Или, хотя бы, вкратце опишем их, чтоб знать как скрыть внешние ссылки.

• <noindex> — данный тег используется с закрывающим тегом </noindex>. До недавнего времени закрывал от индексации все, что между этими тегами находится, при индексации системой Яндекс. В данный момент Яндекс изменил правила и теперь ссылки, находящиеся внутри тега <noindex>, индексируются так же, как и без него. Но текст, находящийся в данном теге, по-прежнему не индексируется.
• rel=»nofollow» — используется в составе чего-либо. Чаще всего ставится в составе параметров ссылки. До недавнего времени закрывал ссылку от индексации только в системе Гугла, но сейчас также закрывает ссылку от индексации и в системе Яндекса.
• Если нет возможности использовать тег rel=»nofollow» в составе ссылки, то можно его использовать в составе див контейнера <div rel=»nofollow»>Ваша ссылка</div>.Соответственно все ссылки, попавшие в данный контейнер, получают параметр rel=»nofollow.

Удалить ссылку из Яндекса через право на забвение

Этим правом человек может воспользоваться, если он считает, что размещенная информация устарела, нарушает российское законодательство или не является правдивой. Такую возможность граждане России получили в 2015 году. Ссылка из поиска удаляется, но материал остается. Его можно будет найти, например, через поиск на сайте. Простой пример, когда можно удалить ссылку из Яндекса через право на забвение: на сайте размещен материал о том, как ваше предприятие обанкротилось, тогда как вы никогда не владели этим предприятием.

Плюсы. Просто и бесплатно. Нужно заполнить специальную форму, предоставить доказательства того, что вы имеете право на забвение, и подождать ответ Яндекса в течение 10 рабочих дней. Иногда Яндекс просит предоставить дополнительные доказательства.Минусы. Положительное решение не гарантировано. Задача поисковой системы — предоставлять своим пользователям как можно больше информации, а не наоборот. По этой причине большинство пользователей получают отказ на свой запрос. Единственная информация, которую Яндекс 100% удаляет — это та, которая по решению суда признана незаконной. Еще один недостаток — материал все еще остается на просторах интернета.

Отслеживание внешних ссылок

Представим, что вы уже наполнили свой сайт полезным контентом и в частности расставили ссылки на авторитетные и релевантные ресурсы. Но это еще не вся работа со ссылками, ведь страницы, на которые они ведут, могут измениться или исчезнуть со временем.

Скрипты отслеживания в Google Analytics помогут понять, сколько трафика вы приносите сайтам, на которые ссылаетесь. Вы можете использовать эти данные, чтобы устанавливать связи для линкбилдинга и написания гостевых постов. А в Google Tag Manager можно создавать триггеры и отслеживать, какие исходящие ссылки открывают посетители вашего сайта.

Также важно регулярно проверять, чтобы внешние ссылки на сайте оставались рабочими. Битые линки могут навредить и удобству пользователей, и ранжированию сайта

Если поисковые роботы натыкаются на множество 404 ошибок, авторитет ресурса падает для поисковиков. Находя битые исходящие ссылки, вы можете связаться с ресурсами и узнать, что случилось с их страницами, заменить ссылки на более актуальные или же просто их удалить.

«Анализ сайта» в SE Ranking поможет определить все проблемы со ссылками. Раздел «Анализ ссылок» даст вам представление о том, сколько всего внешних ссылок на сайте и какие существуют проблемы (отсутствие анкорного текста, ошибки в ответах сервера).

Этот инструмент обнаружит, если на вашем сайте есть ссылки с кодом ответа 3** (означающем, что пользователи перенаправляются на другую страницу), 4** (битые ссылки) или 5** (ошибка сервера), а также если некоторые ссылки не имеют анкорного текста. Кроме того, вы можете просмотреть, у каких линков стоит атрибут nofollow, и при необходимости заменить его на UGC or Sponsored.

Любой список ссылок вы можете сохранить в xls-формате:

Как удалить скрытые внешние ссылки в шаблоне WordPress

Зачастую при создании сайта или блога на системах управления контентом, в том числе и WordPress. Используются бесплатные шаблоны (темы оформления). Но вот в этих самых бесплатных шаблонах есть те самые скрытые внешние ссылки. Не во всех, но во многих.

Удаление или сокрытие таких ссылок, приводит к нарушению работы сайта. А за частую и полному параличу сайта. Ну что ж это за работа, когда шаблон не загружается и браузер отображает только квадрат Малевича.

Поэтому с такими ссылками нужно быть крайне осторожным. И если у Вас нет опыта работы с исходным кодом, то лучше поискать другую тему. Без внешних ссылок. Или же доверить это дело фрилансерам.

Ну а если Вы всё же решили попробовать, тогда обязательно сделайте резервную копию и можно приступать.

В качестве примера будем рассматривать удаление скрытых внешних ссылок из шаблона на тестовом домене. Это лишь один отдельный случай, с другими шаблонами будет проще, а с какими то сложнее. Пример лишь показывает один из принципов защиты скрытых внешних ссылок и как эту защиту обойти.

1. Проверяем шаблон на наличие внешних ссылок по выше описанным примерам.

Все внешние ссылки в бесплатном шаблоне

Скрытые внешние ссылки

2. Большая часть этих ссылок находится в подвале. Следовательно, переходим в панель администратора WordPress в раздел «Внешний вид» — «Редактор» и открываем файл footer.php.

Код ссылок в footer.php

На скриншоте показан код, отвечающий за вывод скрытых внешних ссылок.

<?php // This theme is released free for use under creative commons licence. http://creativecommons.org/licenses/by/3.0/

// All links in the footer should remain intact.

// Warning! Your site may stop working if these links are edited or deleted  ?>

<div id="info"><?php __wordpress_pf(); ?></div>

Также в файле index.php присутствует блок с дублирующими ссылками, которые смещены на 1970 пикселей. Это чтобы видно не было.

Дублирование внешних ссылок

Нарушив условие в этом файле, сайт также перестанет работать.

3. А учитывая тот факт, что WordPress работает на языке РНР, значит есть управляющие файлы, в которых прописаны все условия. И если условие перестанет выполняться, последует ошибка и сайт перестанет работать.

Так вот, файл, отвечающий за функционал, называется functions.php. В этом файле, главное знать, что искать.

А искать нужно фрагмент из вышеприведённого кода «wordpress_pf», который расположен в файле footer.php.

Условия в functions.php

Где нужно удалить переменную и условие с этой переменной. После чего можно удалять указанные фрагменты кода в файлах footer.php и index.php.

Так вы удаляете скрытые внешние ссылки, и сайт продолжает работать без проблем.

P.S. и обязательно смотрите видеоурок в котором я подробно показываю и рассказываю как закрыть и удалить внешние ссылки.

Как оформить страницу с ошибкой, чтобы не потерять посетителя

Можно добавить в дизайн немного юмора: часто разработчики выражают на странице 404 свои креативные и забавные идеи. Стоит добавить кнопку сообщения об ошибке — так разработчики будут быстро получать уведомления о битых ссылках.

На странице 404 можно извиниться перед пользователем за доставленные неудобства и объяснить, почему он сюда попал (например, контент был удален или перемещен).

Вывод

Итак, очень важно обеспечить нормальное функционирование ресурса, что включает в том числе поиск битых линков, их устранение и дальнейший мониторинг. ***

***

Регистрируйтесь в системе для заказа новых текстов или обновления имеющегося на сайте контента. На Бирже eTXT работают копирайтеры разного уровня квалификации. Размещайте заказ, выбирайте автора и получайте контент, который будет работать!

Шаг 1. Создайте список нежелательных ссылок

Создайте текстовый файл со списком страниц или доменов, которые вы хотите отклонить.

Формат файла со ссылками

• Укажите каждый URL или домен на отдельной строке. Нельзя вводить полный путь, ведущий к определенному разделу, например .
• Чтобы отклонить домен или субдомен, укажите префикс , например .
• Используйте в качестве кодировки для текстового файла UTF-8 или 7-битные символы ASCII.
• Название файла должно иметь расширение .txt.
• Максимальная длина URL – 2048 символов.
• Максимальный размер файла – 100 000 строк (включая пустые строки и строки комментария) или 2 МБ.
• Чтобы добавить комментарий, поставьте в начале строки знак решетки (#). Google проигнорирует такие строки.

Пример

# Отклонить две страницы
http://spam.example.com/stuff/comments.html
http://spam.example.com/stuff/paid-links.html

# Отклонить один домен
domain:shadyseo.com

Если вы хотите отклонить URL или сайты, которые вы обнаружили в отчете о ссылках по вашему сайту, скачайте данные из отчета, нажав кнопку экспорта. Не забудьте удалить из скачанного файла те ссылки, которые не нужно отклонять.

А что думают об этом поисковики?

Наверняка вас интересует, что же думают поисковики обо всем этом деле, разумеется, я покажу сейчас.

Во-первых, стоит сказать, что мы выбрали с ребятами подопытный сайт, без единой ссылки на него (смотрели в панели вебмастера). По данным на сегодняшний день (с момента начала эксперимента прошло уже более 20 дней) новых ссылок не появилось.

Сайты доноры, на страницах которых ставились «закрытые» ссылки, имели сквозную ссылку, то есть ссылка была на всех страницах и проиндексировалась в следующий же апдейт. Это можно было легко проверить, сделав поиск по анкору.

Я же со своего блога поставил только одну ссылку с одного из постов со своим уникальным анкором. Взглянем на результаты!

Запрос по уникальному анкору в Яндексе не дал никаких результатов, кроме моего же блога, что свидетельствует о том, что наша «ссылка» проиндексировалась:

Аналогичный запрос в Google показывает нам точно такую же картину:

Вот пример для Яндекса, где я взял обычную ссылку из того же поста, где была ссылка-эксперимент и получил следующую картину:

Аналогично и для Google:

Надеюсь, это звучит и выглядит убедительно, согласны, друзья?

Теперь и вы знаете, как на 100% успешно можно закрыть ссылку от индексации довольно простым способом.

Что самое важное, этот способ отлично масштабируется на весь сайт, например, тот же DLE взять, можно в скрипте, который закрывает в leech внешние ссылки смастерить такую конструкцию, и вы избавитесь от ссылок полностью. Примеров, куда это применить, можно найти целую кучу, здесь только ваша фантазия!. UPD 23.05.2014 Не смотря на заявления Google о том, что роботы научились лучше понимать и применять CSS и исполнять JavaScript — Understanding web pages better — наши способы закрытия ссылок работают прекрасно! Для этого экспериментальные страницы были загружены в панель вебмастера Google и отправлены роботу на обработку, а после чего проверены

Как говорится, «Все чисто», span на страницах виден, но ссылки в нем нет! Пользуйтесь на здоровье!

UPD 23.05.2014 Не смотря на заявления Google о том, что роботы научились лучше понимать и применять CSS и исполнять JavaScript — Understanding web pages better — наши способы закрытия ссылок работают прекрасно! Для этого экспериментальные страницы были загружены в панель вебмастера Google и отправлены роботу на обработку, а после чего проверены. Как говорится, «Все чисто», span на страницах виден, но ссылки в нем нет! Пользуйтесь на здоровье!

Удачи в продвижении и оптимизации, друзья!

Заключение

В алгоритме удаления неактуальной информации из поисковых систем есть как схожие моменты, так и расхождения, но в основном можно выделить следующее:

• закрыть от индексации страницы, которые необходимо удалить;
• настроить ответ сервера;
• воспользоваться сервисами вебмастеров поисковых систем.

К расхождениям можно отнести удаление сохранённых копий страниц – в сервисе Google есть возможность удалить их, у Яндекса такой функции нет, и сохраненные копии могут храниться долгое время.

Разница в восприятии файла robots.txt – для Google, в отличие от Яндекса, он не является приоритетным, а носит рекомендательный характер, поэтому стоит использовать метатег <meta name=»robots» content=»noindex»>.