• Resolved ugm37rus

    (@ugm37rus)


    Здравствуйте. Вроде все сделал, добавляю в вебмастере, пишет: “URL источника запрещен в robots.txt”, хотя при анализе robots в вебмастере, пишу ссылку(https://479000.ru/feed/turbo/) и пишет что разрешена… Может в самом robots что надо поправить/дописать? На всякий случай скину сразу свой robots, заранее спасибо

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php

    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php
    Host: 479000.ru

    User-agent: Googlebot
    Allow: *.css
    Allow: *.js
    Allow: /wp-includes/*.js
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache
    Disallow: */trackback
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php
    Disallow: /*?

    Sitemap: https://479000.ru/sitemap.xml

Viewing 11 replies - 1 through 11 (of 11 total)
  • Plugin Author Flector

    (@flector)

    да бот у них глючный, попробуйте разрешение прописать:
    Allow: /feed/turbo/
    и подождите несколько часов, так как похоже, что их бот robots.txt кеширует.

    Thread Starter ugm37rus

    (@ugm37rus)

    Спасибо за оперативный ответ.

    У меня изначально содержал robots такую строчку: “Disallow: */feed”, я ее убрал из роботса, когда первый раз увидел надпись: ““URL источника запрещен в robots.txt””.

    Правильно я понял, добавляю строчку в robots и жду несколько часов, потом снова пробую добавить rss канал через веб мастер?

    Правильно добавил строку, разрешение?))

    User-agent: *
    Allow: /feed/turbo/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php

    User-agent: Yandex
    Allow: /feed/turbo/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: */trackback
    Disallow: /*?
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php
    Host: 479000.ru

    User-agent: Googlebot
    Allow: *.css
    Allow: *.js
    Allow: /wp-includes/*.js
    Allow: /feed/turbo/
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache
    Disallow: */trackback
    Disallow: /author/
    Disallow: /transfers.js
    Disallow: /go.php
    Disallow: /xmlrpc.php
    Disallow: /*?

    Sitemap: https://479000.ru/sitemap.xml

    Plugin Author Flector

    (@flector)

    ага, все верно.

    Thread Starter ugm37rus

    (@ugm37rus)

    Спасибо)) Надеюсь все получится ??

    Thread Starter ugm37rus

    (@ugm37rus)

    Теперь пишет без ошибок, но когда включаю галочку пишет: “Сервис временно не доступен. Попробуйте позже”.
    Это тоже норм?))

    Plugin Author Flector

    (@flector)

    ага – еще норм будет, когда лента валидацию пройдет, а при обновлении опять ошибка будет вываливаться.

    сырой еще сервис, его еще доделывать и доделывать.

    Thread Starter ugm37rus

    (@ugm37rus)

    Ясно… и еще вопросик, сейчас подключил наконец-то, а через какое примерно время появятся в поиске турбо страницы?

    Plugin Author Flector

    (@flector)

    без малейшего понятия.

    Здравствуйте!
    Добавил директиву
    User-agent: Yandex
    Allow: /feed/turbo/
    Но Ошибка URL источника запрещен в robots.txt осталась.
    Может потому, что есть вот эти директивы:
    Disallow: /feed/
    Disallow: */feed

    Все заработало без ошибок спустя почти 3 часа.

    Plugin Author Flector

    (@flector)

    это стандартно для бота яндекса – он похоже кэширует robotx.txt и не сразу видит изменения.

Viewing 11 replies - 1 through 11 (of 11 total)
  • The topic ‘URL источника запрещен в robots.txt’ is closed to new replies.