Google: как ускорить индексирование файла robots.txt

На форуме Google Webmaster Help специалист службы качества поиска Google Джон Мюллер (John Mueller), сообщил, что сканирование и индексирование обновлённого файла robots.txt можно ускорить.

 «Вы можете ускорить обработку последней версии robots.txt Google. Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию,  и сможете отправить в Google изменённый файл для повторного сканирования», - пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.

Как отправить новую версию файла в Google, подробно рассказано в Справочном центре Google

Кстати, Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

https://www.seroundtable.com/expedite-google-indexing-your-new-robots-txt-file-21423.html