Рейтинг темы:
  • 2 Голос(ов) - 3 в среднем
  • 1
  • 2
  • 3
  • 4
  • 5
Идеальный robots.txt для MyBB
#1
Предлагаю обсудить варианты идеального robots.txt для MyBB
На офф форуме советуют использовать следующий robots.txt:

Код:
Sitemap: /sitemap.xml

User-Agent: *
Disallow: /chat
Disallow: /archive
Disallow: /captcha.php
Disallow: /editpost.php
Disallow: /misc.php
Disallow: /modcp.php
Disallow: /moderation.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /task.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /calendar.php
Disallow: /thankyoulike.php
Disallow: /postloop.php
Disallow: /tylsearch.php
Disallow: /memberlist.php
Disallow: /*action=emailuser*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*year=*
Disallow: /*action=weekview*
Disallow: /*action=nextnewest*
Disallow: /*action=nextoldest*
Disallow: /*sort=*
Disallow: /*order=*
Disallow: /*mode=*
Disallow: /*datecut=*
Disallow: /member.php?*action=profile
Allow: /

Хочу добавить, что при данной настройки поисковики не будут обрабатывать темы в режиме просмотра "для печати", что на мой взгляд не правильно.
Ответ
#2
Я убрал:
Код:
Disallow: /archive
Disallow: /printthread.php

Ответ
#3
PHP код:
Host21323213.ru 


Код:
User-agent: Twiceler
Disallow: /

Код:
User-Agent: W3C-checklink
Disallow: /



Twiceler и W3C-checklink типа очень вредные боты которые все портят!
Ответ
#4
(26.08.2011, 11:10 AM)team.tom.ru Написал: Twiceler и W3C-checklink типа очень вредные боты которые все портят!

Чем конкретно они вредны? Как я знаю W3C-checklink - это сервис проверки валидности html кода по стандартам. На счет Twiceler ничего сказать не могу.
Ответ
#5
(26.08.2011, 11:29 AM)tom.cat Написал:
(26.08.2011, 11:10 AM)team.tom.ru Написал: Twiceler и W3C-checklink типа очень вредные боты которые все портят!

Чем конкретно они вредны? Как я знаю W3C-checklink - это сервис проверки валидности html кода по стандартам. На счет Twiceler ничего сказать не могу.
Они очень сильно грузят сервер а пользы нуль)
Код:
User-Agent: Web-By-Mail, DISCo Pump, Wget, WebZIP, Teleport Pro/1.29, WebSnake, Offline Explorer, Webalta, Teleport Pro, Scooter-W3-1.0
Disallow: /

Ответ
#6
Не сильно то и грузят, не знаю даже что там за хостинг если он будет падать от чекера...
Русские плагины для MyBB 1.6
Русские стили для MyBB


Ответ
#7
Код:
Sitemap: /sitemap.xml
зачем это нужно?
Ответ
#8
Это для того что бы робот мог читать свободно карту форума.
Русские плагины для MyBB 1.6
Русские стили для MyBB


Ответ
#9
(02.09.2011, 12:52 AM)foozzi Написал: Это для того что бы робот мог читать свободно карту форума.
так на mybb нет карты)

Ответ
#10
у меня стоит мод для улучшения индексации, есть карта сайта sitemap
так же можно без модов саму сгенерировать...
Русские плагины для MyBB 1.6
Русские стили для MyBB


Ответ


Перейти к форуму:


Пользователи, просматривающие эту тему: 1 Гость(ей)