В официальном блоге компании Гугл опубликовано сообщение для веб-мастеров, где указано о грядущем переходу на новые краулеры. Да-да, отныне в индекс-странички будут попадать в совершенно аналогичном виде тому, как они и были найдены роботами. В первую очередь, как мы все знаем, Гуглбот ни коим образом не контактировал и не взаимодействовал со стилями и сценариями Яваскрипт, находящимися непосредственно на странице, что очень часто становилось причиной проблем индексации на ресурсах, где имеет место быть динамическая подрузка контентной части. Что же, сейчас если робот тхт запрещали роботам проводить индексацию содержимого css и js файлов, а они в свою очередь просто обязательно с целью действительно корректного отображения странички, будут возникать кое-какие проблемы.

Рекомендуется снять ограничения, если изначально такие были установлены, после не помешает убедиться, что робот все-таки видит страницу в таком же виде, как и рядовой посетитель вашего портала. Чтобы это сделать достаточно воспользоваться инструментом под названием Гугл Вебмастер Тулс с просмотром странички словно вы Гуглбот. Как вы помните, вариант отключения роботам доступа применительно к SCC-файлам и Яваскрипт преимущественно был актуален в случае больших проектов с незначительными показателями посещаемости, дабы не создавать лишний раз чрезмерную нагрузку на портал при так называемом краулинге. Насколько действенным будет нововведение Гугл можно будет сказать лишь по истечению времени, ибо пользователи только-только начинают осваивать новые правила.