Рейтинг темы:
  • 0 Голос(ов) - 0 в среднем
  • 1
  • 2
  • 3
  • 4
  • 5
Какой должен быть robots.txt для mybb 1.8
#1
Question 
Подскажите знатоки, каким должно быть содержание файла robots.txt для mybb 1.8.*

На просторах интернета нашел следующие примеры:

1) Github (файл в составе mybb seo goole)

Код:
Sitemap: http://yoursite/MyBB/sitemap-index.xml

User-Agent: *
Disallow: /MyBB/captcha.php
Disallow: /MyBB/editpost.php
Disallow: /MyBB/misc.php
Disallow: /MyBB/modcp.php
Disallow: /MyBB/moderation.php
Disallow: /MyBB/newreply.php
Disallow: /MyBB/newthread.php
Disallow: /MyBB/online.php
Disallow: /MyBB/printthread.php
Disallow: /MyBB/private.php
Disallow: /MyBB/ratethread.php
Disallow: /MyBB/report.php
Disallow: /MyBB/reputation.php
Disallow: /MyBB/search.php
Disallow: /MyBB/sendthread.php
Disallow: /MyBB/task.php
Disallow: /MyBB/usercp.php
Disallow: /MyBB/usercp2.php
Disallow: /MyBB/calendar.php
Disallow: /MyBB/*action=emailuser*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*year=*
Disallow: /MyBB/*action=weekview*
Disallow: /MyBB/*action=nextnewest*
Disallow: /MyBB/*action=nextoldest*
Disallow: /MyBB/*sort=*
Disallow: /MyBB/*order=*
Disallow: /MyBB/*mode=*
Disallow: /MyBB/*datecut=*
Allow: /

2) На сайте http://mybboard.biz/

После строк
Цитата:My currently recommended robots.txt for MyBB with activated SEO-friendly-URLs looks like this:

файл следующего содержания:

Код:
User-agent: *
Disallow: /board/archive/
Disallow: /board/private.php*
Disallow: /board/usercp.php
Disallow: /board/usercp2.php
Disallow: /board/ratethread.php
Disallow: /board/newreply.php
Disallow: /board/memberlist.php
Disallow: /board/printthread.php
Disallow: /board/forumdisplay.php
Disallow: /board/showthread.php
Disallow: /board/member.php
Disallow: /board/calendar.php
Disallow: /board/thread-*-lastpost.html
Disallow: /board/thread-*-nextnewest.html
Disallow: /board/thread-*-nextoldest.html
Disallow: /board/thread-*-newpost.html
Disallow: /board/thread-*-post-*.html
Disallow: /board/post-*.html
Disallow: /board/forum-*.html?datecut=9999

3) На форуме официального сообщества

Товарищ из России с ником Maj, судя по всему администратор сайта http://gvinevra.ru/
Предложил свой вариант

Код:
My robots.txt:

Sitemap: http://your sitemap here/sitemap-index.xml
User-Agent: *
Disallow: /forum/syndication.php*
Disallow: /forum/captcha.php
Disallow: /forum/editpost.php
Disallow: /forum/forumdisplay.php*
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/modcp.php
Disallow: /forum/moderation.php
Disallow: /forum/newreply.php*
Disallow: /forum/newthread.php*
Disallow: /forum/online.php
Disallow: /forum/portal.php*
Disallow: /forum/printthread.php*
Disallow: /forum/private.php
Disallow: /forum/ratethread.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/search.php
Disallow: /forum/sendthread.php*
Disallow: /forum/showteam.php
Disallow: /forum/*sortby*
Disallow: /forum/task.php
Disallow: /forum/user*
Disallow: /forum/usercp.php*
Disallow: /forum/usercp2.php*
Disallow: /forum/calendar.php
Disallow: /forum/*action=emailuser*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*year=*
Disallow: /forum/*action=weekview*
Disallow: /forum/*action=nextnewest*
Disallow: /forum/*action=nextoldest*
Disallow: /forum/*sort=*
Disallow: /forum/*order=*
Disallow: /forum/*mode=*
Disallow: /forum/*datecut=*
Disallow:/ *next
Disallow:/ *print
Disallow:/ *reply
Disallow:/ *post
Disallow:/ *action
Disallow:/ *user
Disallow:/ *=
Disallow: /forum/archive/
Allow: /

User-agent: MediaPartners-Google
Allow: /


Что из этих вариантов более полезно ?
Ответ
#2
На данном форуме он такой:
Код:
User-Agent: *
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Allow: /
host: mybbforum.ru
Тут наверно надо исходить из того, что вы хотите скрыть от поисковых ботов. У вас какие цели?
Ответ
#3
Пытаюсь вникнуть, что нужно оставить Что? На сколько я понимаю, прятать нужно всё, кроме постов, тем, форумов? Что может быть еще полезным .. Что?
Ответ
#4
(17.01.2017, 08:57 PM)poxmel Написал: На сколько я понимаю, прятать нужно всё, кроме постов, тем, форумов?

Судя по приведенным файлам, скрывается много чего: репутация, поиск, оценка сообщений, модерация, панель управления пользователя и т.д.
Вы можете использовать любой из вышеприведенных файлов. Забавно то, что на официальном форуме данного файла вообще нет.
Ответ
#5
(18.01.2017, 09:52 AM)Vladimir Написал: Забавно то, что на официальном форуме данного файла вообще нет.

Вот именно! По-этому я сюда и обратился Улыбка
Ответ


Перейти к форуму:


Пользователи, просматривающие эту тему: 1 Гость(ей)