Далее следует перевод текста с сайта www.internetisshit.org. Со многим можно поспорить, но суть не в этом.

Интернет — это дерьмо.

Необходимо это понять и продолжать жить дальше. Люди (блоггеры в частности) постоянно расхваливают интернет и то, что можно почти всё найти за несколько щелчков. (more…)

Почему скрытый? Потому, что я сам не могу найти причину этого спама. В одной из предыдущих записей (Сайт запрещен к индексированию за поисковый спам на Яндексе) я писал о том, что Яндекс поставил запрет этому сайту на индексацию в своей поисковой системе. Я предполагал, что спам в комментариях являлся причиной этого запрета (не релевантная информация, оставленная спамерами, иногда успевала индексироваться роботом Яндекса, а при следующей индексации робот её не обнаруживал, что вводило поисковую систему в заблуждение) и написал об этом в Яндекс, но пришёл отрицательный ответ — причина не устранена.

Немного поразмыслив, я заметил ещё одну возможную причину — регулярная доза ссылок. Дело в том, что ссылки в правой колонке регулярно обновляются и это происходит на каждой странице сайта. Возможно, именно эти исходящие ссылки, не соответствующие тематике страницы, вводили поисковую систему в заблуждение. Убрав регулярную дозу ссылок с каждой страницы кроме главной, я опять написал в Яндекс. Пришёл ответ. И что вы думаете? Опять отрицательный!

Причина, по которой Ваш сайт был запрещен к индексации не устранена. В соответствии с пунктом 3.5 Лицензии на использование поисковой системы Яндекса (Yandex.Ru) «мы не комментируем удаление сайтов, не предуведомляем о нем, и не даем никаких гарантий и сроков на повторное их включение в индекс.»

Вопрос возможности восстановления ресурса в поисковой базе Яндекса может быть рассмотрен не ранее чем через месяц после получения уведомления о принятых мерах.

Да что такое! Этот пункт 3.5 противоречит всем принципам взаимоотношений уважающей себя организации с уважаемыми организацией клиентами, то есть с нами, владельцами сайтов.

Неужели сложно сказать причину?

Почему Апорт, Рамблер, Google, MSN и Yahoo! не удалили меня из своих поисковых систем?

Вот кусок из пункта 3.5:

Мы также не сообщаем исчерпывающий список методов спама, которые могут вызвать удаление сайта. Тем не менее, вот некоторые из них: использование на странице элементов, вводящих в заблуждение поисковую систему (текст, ссылки и др); создание и размещение обманных “входных” страниц, перенаправляющих посетителей тем или иным способом на целевую страницу; специальное программирование веб-сайта с целью выдачи роботу Яндекса содержимого, отличного от того, которое выдается обычным пользователям; размещение ссылок, предназначенных лишь для “накачивания” релевантности в поисковой системе, в т.ч. участие в программах их обмена с указанной целью.

Ни в каких программах по обмену ссылками я не участвую, обманных входных страниц нет, выдачи роботу Яндекса содержимого, отличного от того, которое выдается обычным пользователям, также нет, да и никаких элементов, вводящих в заблуждение поисковую систему тоже нет.

С файлами robots.txt и .htaccess всё в порядке. Может есть какая-нибудь мелочная загвоздка, об очевидности которой я не догадываюсь? Есть соображения?

Обновление: Яндекс вернул этот сайт в свой индекс, хотя повторных изменений в код страниц я не вносил. Причина так и осталась загадкой.

Если у вас нет Макинтоша и по ночам вас мучают кошмары, в которых посетители, использующие браузер Safari, наблюдают непонятную мозаику вместо задуманного дизайна, и уходит с сайта, занося вас в чёрный список, то существует решение проблемы, которое избавит вас от этого мучения 🙂

iCapture — позволяет без особых усилий увидеть своё творение в Макинтошевском браузере Safari. Всё очень просто: вы проходите лёгкую регистрацию, после чего вам высылаются регистрационные данные, с помощью которых, на главной странице, вы вводите нужный вам адрес сайта, и через некоторое время появляется снимок сайта.

Время ожидания зависит от загруженности сервера на момент запроса. Лично у меня это никогда не занимало больше двух-трех минут.

Если CSS дизайн протестировать в Опере и Мозилле, то в большинстве случаев структура будет выглядеть также и в Сафари. Но лишняя проверка никогда не помешает.

Я уже давно пользуюсь этим бесплатным сервисом. Рекомендую.