Идеальный robots.txt для MyBB - Версия для печати

Идеальный robots.txt для MyBB - Версия для печати

+- MyBB Русское сообщество (http://mybbforum.ru)
+-- Форум Поддержка (http://mybbforum.ru/forum-28.html)
+--- Форум MyBB 1.6 (http://mybbforum.ru/forum-34.html)
+---- Форум Общие вопросы (http://mybbforum.ru/forum-4.html)
+---- Темы: Идеальный robots.txt для MyBB (/thread-417.html)

Страницы: 1 2

Идеальный robots.txt для MyBB - admin - 11.08.2011

Предлагаю обсудить варианты идеального robots.txt для MyBB
На офф форуме советуют использовать следующий robots.txt:

Код:
Sitemap: /sitemap.xml

User-Agent: *

Disallow: /chat

Disallow: /archive

Disallow: /captcha.php

Disallow: /editpost.php

Disallow: /misc.php

Disallow: /modcp.php

Disallow: /moderation.php

Disallow: /newreply.php

Disallow: /newthread.php

Disallow: /online.php

Disallow: /printthread.php

Disallow: /private.php

Disallow: /ratethread.php

Disallow: /report.php

Disallow: /reputation.php

Disallow: /sendthread.php

Disallow: /task.php

Disallow: /usercp.php

Disallow: /usercp2.php

Disallow: /calendar.php

Disallow: /thankyoulike.php

Disallow: /postloop.php

Disallow: /tylsearch.php

Disallow: /memberlist.php

Disallow: /*action=emailuser*

Disallow: /*action=nextnewest*

Disallow: /*action=nextoldest*

Disallow: /*year=*

Disallow: /*action=weekview*

Disallow: /*action=nextnewest*

Disallow: /*action=nextoldest*

Disallow: /*sort=*

Disallow: /*order=*

Disallow: /*mode=*

Disallow: /*datecut=*

Disallow: /member.php?*action=profile

Allow: /

Хочу добавить, что при данной настройки поисковики не будут обрабатывать темы в режиме просмотра "для печати", что на мой взгляд не правильно.

RE: Идеальный robots.txt для MyBB - Vladimir - 11.08.2011

Я убрал:

Код:
Disallow: /archive

Disallow: /printthread.php

RE: Идеальный robots.txt для MyBB - team.tom.ru - 26.08.2011

PHP код:
Host: 21323213.ru 

Код:
User-agent: Twiceler

Disallow: /

Код:
User-Agent: W3C-checklink

Disallow: /

Twiceler и W3C-checklink типа очень вредные боты которые все портят!

RE: Идеальный robots.txt для MyBB - Vladimir - 26.08.2011

(26.08.2011, 11:10 AM)team.tom.ru Написал: Twiceler и W3C-checklink типа очень вредные боты которые все портят!

Чем конкретно они вредны? Как я знаю W3C-checklink - это сервис проверки валидности html кода по стандартам. На счет Twiceler ничего сказать не могу.

RE: Идеальный robots.txt для MyBB - team.tom.ru - 26.08.2011

(26.08.2011, 11:29 AM)tom.cat Написал:
(26.08.2011, 11:10 AM)team.tom.ru Написал: Twiceler и W3C-checklink типа очень вредные боты которые все портят!

Чем конкретно они вредны? Как я знаю W3C-checklink - это сервис проверки валидности html кода по стандартам. На счет Twiceler ничего сказать не могу.

Они очень сильно грузят сервер а пользы нуль)

Код:
User-Agent: Web-By-Mail, DISCo Pump, Wget, WebZIP, Teleport Pro/1.29, WebSnake, Offline Explorer, Webalta, Teleport Pro, Scooter-W3-1.0

Disallow: /

RE: Идеальный robots.txt для MyBB - foozzi - 26.08.2011

Не сильно то и грузят, не знаю даже что там за хостинг если он будет падать от чекера...

RE: Идеальный robots.txt для MyBB - team.tom.ru - 02.09.2011

Код:
Sitemap: /sitemap.xml

зачем это нужно?

RE: Идеальный robots.txt для MyBB - foozzi - 02.09.2011

Это для того что бы робот мог читать свободно карту форума.

RE: Идеальный robots.txt для MyBB - team.tom.ru - 03.09.2011

(02.09.2011, 12:52 AM)foozzi Написал: Это для того что бы робот мог читать свободно карту форума.

так на mybb нет карты)

RE: Идеальный robots.txt для MyBB - foozzi - 03.09.2011

у меня стоит мод для улучшения индексации, есть карта сайта sitemap
так же можно без модов саму сгенерировать...