Один из вебмастеров задал вопрос на форуме поисковой системы Google.

Игнорирует ли кнопка Google +1 директивы файла robots.txt?

Пользователю стало интересно, что будет, если на странице кликнуть по кнопке Google +1, которая закрыта от индексации. Его интересовало, будет ли после этого поисковая система индексировать и учитывать данные такой страницы.

По словам сотрудника Google, +1 учитывает robots.txt, но немного странно. Если нажать кнопку +1 установленную на закрытой от индексирования странице, то поисковик зайдет на неё и сначала проверит, является ли эта страница публичной. Сама проверка игнорирует все запреты, но никак не влияет на взаимодействие поисковых роботов с файлом Robots.txt.

На самом деле, это актуальный вопрос, не так давно у Яндекса были проблемы из-за похожей системы.

Теперь мы знаем, что Google в отличии от Яндекса, не выдаст закрытые страницы в поисковой выдачи. К сожаленю, поведение Яндекса как всегда остаётся загадкой.