Creating a robots.txt file for your web site Crearea unui fișier robots.txt pentru site-ul dvs. de Web

By Sumantra Roy Prin Sumantra Roy

Some people believe that they should create different pages for different search engines, each page optimized for one keyword and for one search engine. Unii oameni cred că acestea ar trebui să creeze pagini diferite pentru diferite tipuri de motoare de căutare, fiecare pagină optimizate pentru un cuvânt cheie și pentru un motor de căutare. Now, while I don't recommend that people create different pages for different search engines, if you do decide to create such pages, there is one issue that you need to be aware of. Acum, în timp ce eu nu recomandăm ca oamenii crea diferite pagini pentru diferite tipuri de motoare de căutare, dacă nu decide de a crea astfel de pagini, nu există un aspect de care ai nevoie pentru a fi cunoscute.

These pages, although optimized for different search engines, often turn out to be pretty similar to each other. Aceste pagini, deși diferite optimizate pentru motoarele de căutare, de multe ori dovedi a fi destul de similar cu unul de altul. The search engines now have the ability to detect when a site has created such similar looking pages and are penalizing or even banning such sites. Motoarele de căutare au acum posibilitatea de a detecta atunci când un astfel de site-ul a fost creat similare și sunt în căutarea pagini penalizing sau chiar interzicerea acestor site-uri. In order to prevent your site from being penalized for spamming, you need to prevent the search engine spiders from indexing pages which are not meant for it, ie you need to prevent AltaVista from indexing pages meant for Excite and vice-versa. În scopul de a preveni site-ul dvs. de la a fi penalizate pentru spam-ul, aveți nevoie pentru a preveni păianjenii de la motorul de căutare să indexeze paginile care nu sunt pentru el, adică ai nevoie pentru a preveni AltaVista de la indexarea paginilor destinate Excite și viceversa. The best way to do that is to use a robots.txt file. Cel mai bun mod de a face asta este să utilizați un fișier robots.txt.

You should create a robots.txt file using a text editor like Windows Notepad. Ar trebui să creați un fișier robots.txt, folosind un editor de text cum ar fi Windows Notepad. Don't use your word processor to create such a file. Nu utilizați procesor de text pentru a crea un astfel de fișier.

Here is the basic syntax of the robots.txt file: Aici este de bază, de sintaxă a fișierului robots.txt:

User-Agent: [Spider Name] User-Agent: [Spider Nume]

Disallow: [File Name] Nu permiteți: [Nume fișier]

For instance, to tell AltaVista's spider, Scooter, not to spider the file named myfile1.html residing in the root directory of the server, you would write De exemplu, pentru a spune AltaVista de păianjen, Scooter, pentru a nu păianjen a fișierului cu numele myfile1.html re ș edin ț a în directorul rădăcină al serverului, ar trebui să scrie

User-Agent: Scooter User-Agent: Scooter

Disallow: /myfile1.html Disallow: / myfile1.html

To tell Excite's spider, called ArchitextSpider, not to spider the files myfile2.html and myfile3.html, you would write Pentru a spune Excite de păianjen, numit ArchitextSpider, pentru a nu păianjen de fișiere myfile2.html și myfile3.html, ar trebui să scrie

User-Agent: ArchitextSpider User-Agent: ArchitextSpider

Disallow: /myfile2.html Disallow: / myfile2.html

Disallow: /myfile3.html Disallow: / myfile3.html

You can, of course, put multiple User-Agent statements in the same robots.txt file. Puteți, desigur, pune mai multe User-Agent declarații în același fișier robots.txt. Hence, to tell AltaVista not to spider the file named myfile1.html, and to tell Excite not to spider the files myfile2.html and myfile3.html, you would write Prin urmare, pentru a nu spune AltaVista păianjen a fișierului cu numele myfile1.html, și nu să-i spun Excite la fișierele de păianjen myfile2.html și myfile3.html, ar trebui să scrie

User-Agent: Scooter User-Agent: Scooter

Disallow: /myfile1.html Disallow: / myfile1.html

User-Agent: ArchitextSpider User-Agent: ArchitextSpider

Disallow: /myfile2.html Disallow: / myfile2.html

Disallow: /myfile3.html Disallow: / myfile3.html

If you want to prevent all robots from spidering the file named myfile4.html, you can use the * wildcard character in the User-Agent line, ie you would write Dacă doriți să evite toate roboți de la spidering de myfile4.html fișier numit, aveți posibilitatea să utilizați caractere wildcard-* în User-Agent linie, și anume, v-ar scrie

User-Agent: * User-Agent: *

Disallow: /myfile4.html Disallow: / myfile4.html

However, you cannot use the wildcard character in the Disallow line. Cu toate acestea, nu puteți folosi wildcard de caractere în permiteți linie.

Once you have created the robots.txt file, you should upload it to the root directory of your domain. Odată ce ați creat fișierul robots.txt, ar trebui să încărcați-l în directorul rădăcină al dvs. de domeniu. Uploading it to any sub-directory won't work - the robots.txt file needs to be in the root directory. Încărcarea cu orice alt sub-directorul nu va funcționa - fișierul robots.txt trebuie să fie în directorul rădăcină.

I won't discuss the syntax and structure of the robots.txt file any further - you can get the complete specifications from http://www.robotstxt.org/wc/norobots.html Nu voi discuta de sintaxă și de structura de fișier robots.txt mai departe - în care puteți să completa specificațiile de la http://www.robotstxt.org/wc/norobots.html

Now we come to how the robots.txt file can be used to prevent your site from being penalized for spamming in case you are creating different pages for different search engines. Acum am venit la modul în care fișierul robots.txt poate fi utilizat pentru a preveni site-ul dvs. de la a fi penalizate pentru spam-ul în cazul în care creați pagini diferite pentru diferite tipuri de motoare de căutare. What you need to do is to prevent each search engine from spidering pages which are not meant for it. Ce trebuie să facem este pentru a preveni fiecare motor de căutare de la spidering pagini care nu sunt pentru el.

For simplicity, let's assume that you are targeting only two keywords: "tourism in Australia" and "travel to Australia". Pentru simplitate, să presupunem că vă sunt de orientare, doar două cuvinte cheie: "turism in Romania" si "calatorie in Australia". Also, let's assume that you are targeting only four of the major search engines: AltaVista, Excite, HotBot and Northern Light. De asemenea, să presupunem că vă sunt de orientare doar patru din cele mai importante motoare de cautare: AltaVista, Excite, HotBot de Nord și de lumină.

Now, suppose you have followed the following convention for naming the files: Each page is named by separating the individual words of the keyword for which the page is being optimized by hyphens. Acum, să presupunem că aveți de urmat pentru următoarea convenție de denumire a fișierelor: Fiecare pagina este numit prin separarea individuale de cuvinte de cuvinte cheie, pentru care este optimizat pagina de liniuțe. To this is added the first two letters of the name of the search engine for which the page is being optimized. Pentru a prezenta, se adaugă primele două litere din numele de motorul de căutare pentru care pagina este în curs de optimizat.

Hence, the files for AltaVista are Prin urmare, pentru fișierele sunt AltaVista

tourism-in-australia-al.html turism-in-Australia-al.html

travel-to-australia-al.html calatorie-pentru-Australia-al.html

The files for Excite are Excite pentru fișierele sunt

tourism-in-australia-ex.html turism-in-Australia-ex.html

travel-to-australia-ex.html calatorie-pentru-Australia-ex.html

The files for HotBot are Fișierele sunt pentru HotBot

tourism-in-australia-ho.html turism-in-Australia-ho.html

travel-to-australia-ho.html calatorie-pentru-Australia-ho.html

The files for Northern Light are Fișierele sunt pentru Northern Light

tourism-in-australia-no.html turism-in-Australia-no.html

travel-to-australia-no.html calatorie-pentru-Australia-no.html

As I noted earlier, AltaVista's spider is called Scooter and Excite's spider is called ArchitextSpider. După cum am arătat mai sus, AltaVista de păianjen este numit și Scooter Excite de păianjen este numit ArchitextSpider.

A list of spiders for the major search engines can be found at http://www.searchenginewatch.com/webmasters/spiderchart.html O listă de păianjeni pentru marile motoare de căutare poate fi găsit la http://www.searchenginewatch.com/webmasters/spiderchart.html

From this list, we find that the spider for Northern Light is called Gulliver. Din această listă, am descoperit că de păianjen pentru Northern Light este numit Gulliver. HotBot uses Inktomi and Inktomi's spider is called Slurp. HotBot foloseste Inktomi și de păianjen Inktomi Slurp este numit. Using this knowledge, here's what the robots.txt file should contain: Utilizând această cunoaștere, iată ce fișierul robots.txt trebuie să conțină:

User-Agent: Scooter User-Agent: Scooter

Disallow: /tourism-in-australia-ex.html Disallow: / turism-in-Australia-ex.html

Disallow: /travel-to-australia-ex.html Disallow: / calatorie-pentru-Australia-ex.html

Disallow: /tourism-in-australia-ho.html Disallow: / turism-in-Australia-ho.html

Disallow: /travel-to-australia-ho.html Disallow: / calatorie-pentru-Australia-ho.html

Disallow: /tourism-in-australia-no.html Disallow: / turism-in-Australia-no.html

Disallow: /travel-to-australia-no.html Disallow: / calatorie-pentru-Australia-no.html

User-Agent: ArchitextSpider User-Agent: ArchitextSpider

Disallow: /tourism-in-australia-al.html Disallow: / turism-in-Australia-al.html

Disallow: /travel-to-australia-al.html Disallow: / calatorie-pentru-Australia-al.html

Disallow: /tourism-in-australia-ho.html Disallow: / turism-in-Australia-ho.html

Disallow: /travel-to-australia-ho.html Disallow: / calatorie-pentru-Australia-ho.html

Disallow: /tourism-in-australia-no.html Disallow: / turism-in-Australia-no.html

Disallow: /travel-to-australia-no.html Disallow: / calatorie-pentru-Australia-no.html

User-Agent: Slurp User-Agent: Slurp

Disallow: /tourism-in-australia-al.html Disallow: / turism-in-Australia-al.html

Disallow: /travel-to-australia-al.html Disallow: / călătorie-pentru-Australia-al.html

Disallow: /tourism-in-australia-ex.html Disallow: / turism-in-Australia-ex.html

Disallow: /travel-to-australia-ex.html Disallow: / calatorie-pentru-Australia-ex.html

Disallow: /tourism-in-australia-no.html Disallow: / turism-in-Australia-no.html

Disallow: /travel-to-australia-no.html Disallow: / calatorie-pentru-Australia-no.html

User-Agent: Gulliver User-Agent: Gulliver

Disallow: /tourism-in-australia-al.html Disallow: / turism-in-Australia-al.html

Disallow: /travel-to-australia-al.html Disallow: / calatorie-pentru-Australia-al.html

Disallow: /tourism-in-australia-ex.html Disallow: / turism-in-Australia-ex.html

Disallow: /travel-to-australia-ex.html Disallow: / calatorie-pentru-Australia-ex.html

Disallow: /tourism-in-australia-ho.html Disallow: / turism-in-Australia-ho.html

Disallow: /travel-to-australia-ho.html Disallow: / calatorie-pentru-Australia-ho.html

When you put the above lines in the robots.txt file, you instruct each search engine not to spider the files meant for the other search engines. Când pune în liniile de mai sus în fișierul robots.txt, va instrui fiecare motor de căutare pentru a nu păianjen a insemnat pentru fișiere de alte motoare de căutare.

When you have finished creating the robots.txt file, double-check to ensure that you have not made any errors anywhere in it. Când ați terminat de a crea fișierul robots.txt, verificați pentru a se asigura că nu ați făcut orice erori oriunde în el. A small error can have disastrous consequences - a search engine may spider files which are not meant for it, in which case it can penalize your site for spamming, or, it may not spider any files at all, in which case you won't get top rankings in that search engine. O mică eroare poate avea consecințe dezastruoase - un motor de căutare mai păianjen fișierele care nu sunt pentru el, caz în care se poate penaliza site-ul dvs. pentru spam-ul, sau, este posibil să nu păianjen orice fișiere de la toate, caz în care nu veți Topul ajunge sus, în care motorul de căutare.

Article by Sumantra Roy. Articolul de Sumantra Roy. Sumantra is one of the most respected search engine positioning specialists on the Internet.  Read more about how to get high positions in the search engines by clicking this link. Sumantra este una dintre cele mai respectate motor de căutare, poziționare de specialisti de pe Internet. Citiți mai multe despre cum să obțineți mari poziții în motoarele de căutare făcând clic pe această legătură.