Создавать архив robots.txt для вашего вебсайта

Sumantra Roy

Некоторые людей верят что они должны создать различные страницы для различных двигателей поиска, каждой страницы оптимизированной для одного ключевого слова и для одного двигателя поиска. Теперь, пока я не рекомендую что люди создают различные страницы для различных двигателей поиска, если вы решаете создать такие страницы, то там один вопрос которого вам отдавали себе отчет.

Эти страницы, хотя оптимизировано для различных двигателей поиска, часто поворот вне для того чтобы быть довольно подобен к одину другого. Двигатели поиска теперь имеют способность обнаружить когда место создавало такие подобные смотря страницы и забракуют или даже запрещают такие места. Для того чтобы предотвратить ваше место от быть ым для spamming, вам нужно предотвратить спайдеры двигателя поиска от классификационная страница которые не значены для его, т.е. вам нужно предотвратить AltaVista от классификационная страница значенных для возбуждаете и наоборот. Самый лучший путь сделать который использовать архив robots.txt.

Вы должны создать архив robots.txt используя редактор текста как блокнот Windows. Не используйте ваш текстовый редактор для того чтобы создать такой архив.

Здесь основной синтаксис архива robots.txt:

Потребител-Агент: [Имя спайдера]

Disallow: [Архив - имя]

На пример, сказать спайдер AltaVista, самокат, не к спайдеру архив назвал myfile1.html пребывая в директории корня сервера, вас написал бы

Потребител-Агент: Самокат

Disallow: /myfile1.html

Для того чтобы сказать возбудил спайдер, вызванный ArchitextSpider, не к спайдеру архивы myfile2.html и myfile3.html, вы написали бы

Потребител-Агент: ArchitextSpider

Disallow: /myfile2.html

Disallow: /myfile3.html

Вы можете, конечно, положите множественные заявления Потребител-Агента в такой же архив robots.txt. Следовательно, сказать AltaVista не к спайдеру архив назвал myfile1.html, и сказать возбудите не к спайдеру архивы myfile2.html и myfile3.html, вы написали бы

Потребител-Агент: Самокат

Disallow: /myfile1.html

Потребител-Агент: ArchitextSpider

Disallow: /myfile2.html

Disallow: /myfile3.html

Если вы хотите предотвратить все роботы от spidering названный архив myfile4.html, то вы можете использовать * характер специального символа в линии Потребител-Агента, т.е. вы написали бы

Потребител-Агент: *

Disallow: /myfile4.html

Однако, вы не можете использовать характер специального символа в линии Disallow.

Как только вы создавали архив robots.txt, вы должны upload он к директории корня вашего домена. Uploading оно к любому sub-directory не будет работать - архиву robots.txt нужно находиться в директории корня.

Я не обсужу синтаксис и структуру архива robots.txt сколько угодно для того чтобы продвинуть - вы можете получить полные спецификации от http://www.robotstxt.org/wc/norobots.html

Теперь мы приходим к как архив robots.txt можно использовать для того чтобы предотвратить ваше место от быть ым для spamming в случае если вы создаете различные страницы для различных двигателей поиска. Чего вам нужно сделать предотвратить каждый двигатель поиска от spidering страниц которые не значены для его.

Для простоты, допустим, которому вы пристреливаете только 2 ключевого слова: «туризм в Австралия» и «перемещение к Австралия». Также, допустим, которому вы пристреливаете только 4 из главных двигателей поиска: AltaVista, возбуждает, HotBot и северный свет.

Теперь, предположите что вы последовало за следующей конвенцией для называть архивы: Каждая страница названа путем отделять отдельные слова ключевого слова для которого страница оптимизируется дефисами. К этому добавляет первым 2 письмам имени двигателя поиска для которого страница оптимизируется.

Следовательно, архивы для AltaVista

tourism-in-australia-al.html

travel-to-australia-al.html

Архивы для возбуждают

tourism-in-australia-ex.html

travel-to-australia-ex.html

Архивы для HotBot

tourism-in-australia-ho.html

travel-to-australia-ho.html

Архивы для северного света

tourism-in-australia-no.html

travel-to-australia-no.html

По мере того как я заметил более раньше, вызывают Самокатом и возбудил вызывают спайдер AltaVista спайдер ArchitextSpider.

Список спайдеров для главных двигателей поиска можно найти на http://www.searchenginewatch.com/webmasters/spiderchart.html

От этого списка, мы находим что вызывают спайдер для северного света Gulliver. HotBot использует Inktomi и вызывают спайдер Inktomi Slurp. Используя это знание, здесь чего архив robots.txt должен содержать:

Потребител-Агент: Самокат

Disallow: /tourism-in-australia-ex.html

Disallow: /travel-to-australia-ex.html

Disallow: /tourism-in-australia-ho.html

Disallow: /travel-to-australia-ho.html

Disallow: /tourism-in-australia-no.html

Disallow: /travel-to-australia-no.html

Потребител-Агент: ArchitextSpider

Disallow: /tourism-in-australia-al.html

Disallow: /travel-to-australia-al.html

Disallow: /tourism-in-australia-ho.html

Disallow: /travel-to-australia-ho.html

Disallow: /tourism-in-australia-no.html

Disallow: /travel-to-australia-no.html

Потребител-Агент: Slurp

Disallow: /tourism-in-australia-al.html

Disallow: /travel-to-australia-al.html

Disallow: /tourism-in-australia-ex.html

Disallow: /travel-to-australia-ex.html

Disallow: /tourism-in-australia-no.html

Disallow: /travel-to-australia-no.html

Потребител-Агент: Gulliver

Disallow: /tourism-in-australia-al.html

Disallow: /travel-to-australia-al.html

Disallow: /tourism-in-australia-ex.html

Disallow: /travel-to-australia-ex.html

Disallow: /tourism-in-australia-ho.html

Disallow: /travel-to-australia-ho.html

Когда вы положили вышеуказанные линии в robots.txt хранят, вы инструктируют каждый двигатель поиска не к спайдеру архивы значили для других двигателей поиска.

Когда вы заканчивали создать архив robots.txt, double-check для того чтобы обеспечить что вы бедный человек сделали любые ошибки везде в ем. Малая ошибка может иметь губительные последствия - двигатель поиска может архивы спайдера которые не значены для его, в случае которого они могут забраковать ваше место для spamming, или, оно не может спайдер все архивы на всех, в случае которых вы не получите верхние ранжировки в том двигателе поиска.

Статья Sumantra Roy. Sumantra один из уважать двигателя поиска располагая специалистов на интернет.  Прочитайте больше о как получить высокие положения в двигателях поиска путем щелкать это соединение.