robots.txt за wordpress

[Juve]

За да се избегне дублиране на съдържанието и индексирането на ненужни страници прочетох, че е добре robots.txt да изглежда така:

    User-Agent: *
    Disallow: /cgi-bin
    Disallow: /awstats
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /category
    Disallow: /author
    Disallow: /trackback
    Disallow: /*trackback
    Disallow: /*trackback*
    Disallow: /*/trackback
    Disallow: /*/trackback/$
    Disallow: /feed/
    Disallow: /feed/atom/
    Disallow: /feed/rss/
    Disallow: /*feed*
    Disallow: /*/rss/$
    Disallow: /*/feed/$
    Disallow: /*/feed/rss/$
    Disallow: /*/feed/atom/$
    Disallow: /rss/
    Disallow: /wp-register.php
    Disallow: /wp-login.php
    Disallow: /comments
    Disallow: /comments/feed/
    Disallow: */comments
    Disallow: /*/comments/feed/$
    
    Disallow: /*?*
    Disallow: /*?
    
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$
    
    Allow: /wp-content/uploads
    
     # allow google image bot to search all images
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # allow Google adsense bot on entire site
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

Понеже не съм 100% сигурен за някои неща, реших да го постна тук преди да съм сътворил простотията

[nbsp]

Не знам от къде си го преписал това, но има неща които са тотално погрешни, като забраняване достъп на ботовете до RSS. Ако не знаеш какво означава всеки конкретен ред от писаните горе, по-добре изобщо не го прави.

[miraco]

И на мен ще ми е интересно как да забраня в сайт за обяви с wordpress Гугъл да чете дублирано съдържание.

[Juve]

Originally Posted by nbsp

Не знам от къде си го преписал това, но има неща които са тотално погрешни, като забраняване достъп на ботовете до RSS. Ако не знаеш какво означава всеки конкретен ред от писаните горе, по-добре изобщо не го прави.

Марто, с много неща не съм нясно и понеже знам, че с горното мога да оплескам нещо, търся мение на по-разбиращите от мен. Освен RSS кое друго на изтрия

[nbsp]

Аз бих задал въпроса по друг начин "Кое да оставя"?

Първо, за да се справиш с дублираното съдържание в блог, не е удачно да го правиш чрез robots.txt, най-добре чрез темплейта. Забранявайки на търсачките
да индексират категориите например, ти намалява броя на страниците в блога, което не виждам с какво може да ти е полезно.

Вместо това е по-добре на категориите да показваш, само част от статиите или само заглавията.

В този robots.txt файл виждам, че се забраняват динамичните адреси (тези които съдържат "?"), но това не е универсално правило за всички блогове. Някои не ползват пренаписани адреси. Твоят ползва ли?

[Juve]

Originally Posted by nbsp

Аз бих задал въпроса по друг начин "Кое да оставя"?
......

Да точно така трябваше да си задам въпроса
Адресите ми са пренаписани за това добавих Disallow: /*?* и Disallow: /*? , знам че по-добрият вариянт е да резна дължината на публикациите от темплейта, но с темплейта на този блог срешнах трудност, никъде не мога да открия:

 <?php the_content(""); ?> (или нещо подобно)

за да го заменя с:
<?php the_excerpt(""); ?>

А без горното, единстеният начин (който аз знам) да показвам само част от текста е да ползвам откъси в публикациите, но това ми се вижда неудачно, понеже реже публикациите навсякъде и в блог страницата.

[muslim]

http://wordpress.org/extend/plugins/...bots.txt&sort=

Има доста плъгини за целта аз лично съм ползвал и продължавам да ползвам на един от сайтовете си PC Robots.txt и съм доволен. Разбирасе ако имаш нужното познание най-добре е сам да си създадеш файла и да добавиш това което си искаш.

Иначе един пич написа цяла статия за създаването на умен robots.txt ама на мен ми се видя сложно, но най-вече ме домързя да се занимавам, но ако вие имате желание може да хвърлите едно око и да го коментирате http://sebastians-pamphlets.com/smart-robots-txt/