Я думаю уже многие знают историю с потерей Мегафоном смсок.

Мегафон даже пытается обвинить Яндекс, что это именно Яндекс во всём виноват.

Я могу сказать следущее:

В Мегафоне работают дауны, а не программисты. Просто «распильщики», которым глубоко похиру на сайт.

На самом деле это элементарные вещи закрыть в роботсе нужны раздел от индексации. Это делается изначально по умолчанию.
Но тем кто делал сайт и кто его поддерживал было до лампочки до всего этого.

Ну естественно боты проиндексировали все эти смски.

Тут всё могло произойти 3 способами:

1. На Сайте Мегафона большая посещаемость, естественно боты любят это дело и быстро всё проиндексировали.

2. Это сделали сотрудники Яндекса, просто отправив туда ботов для пиара Яндекса.

3. Это сделать мог абсолютно любой чел, даже сеошник. Зашёл на сайт мегафона — Хлоп, да у вас же смски не закрыты от индексации….
Так мы над вами сейчас подшутим, отправляет ботов с поисковиков или твиттера, закупив там ссылок. И всё смски проиндексированы.

На самом деле любой человек мог проиндексировать данные смски. Ну просто сайт не защищён от индексации. Это вопрос тому баранью которые отвечают в Мегафоне за сайт.
Я даже думаю там целый отдел, человек эдак 30 занимается сайтом. Вернее они не занимаются, а просто просиживают время в офисе.

Тут возникает вопрос:

А почему раньше эти смски не были проиндексированы?

На этот вопрос может ответить только сеошник. Для сеошника всё просто.
Быстроботы заходят в те разделы на которых постоянно обновляется информация. Ну как бы ботов нужно подкормить в течении месяца, чтобы они за раз такой кусок инфы проиндексили.
А если в этот раздел сайта Мегафона они не ходили ранее, то они не могли в один момент повалить туда. К тому же в пользу этой версии, то что боты других поисковых систем не заходили в этот раздел.

Ну как бы тогда всё просто — Нашёл какой то чел эту дыру в Мегафоновском сайте. Пошёл в сапу, закупил 2-5 ссылок с главных сапы или же закупил 50 твиттов в твиттере. Таким образом он направил ботов Яндекса индексировать данный раздел сайта.

Ну как бы вопрос не в том, как это сделать, а в том, что за сайтом нужно следить и прикрывать нежные разделы от индексацции.

А вообще читая смски я понял, что «Секс бувально бурлит в России»:)
«В СССР секс нет»:))) Ага нет, он просто поставлен на поток:)))