Creazione dell'archivio di robots.txt per il vostro Web site

Da Sumantra Roy

Qualche gente crede che dovrebbero creare le pagine differenti per i motori differenti di ricerca, ogni pagina ottimizzata per una parola chiave e per un Search Engine. Ora, mentre non suggerisco che la gente crea le pagine differenti per i motori differenti di ricerca, se decidiate di creare tali pagine, là è un'edizione di che dovete essere informato.

Queste pagine, anche se ottimizzato per i motori differenti di ricerca, spesso produzione per essere abbastanza simile l'un l'altro. I motori di ricerca ora hanno la capacità di rilevare quando un luogo ha creato tali simili pagine di sguardo e sono penalizzanti o persino vietanti tali luoghi. Per impedire il vostro luogo la penalizzazione per lo Spamming, dovete evitare i ragni di Search Engine le pagine di indirizzamento che non sono significate per esso, cioè dovete impedire AltaVista le pagine di indirizzamento significate per eccitate e viceversa. Il migliore modo fare che sia di usare un archivio di robots.txt.

Dovreste creare un archivio di robots.txt per mezzo di un sistema di editazione testi come il blocchetto per appunti di Windows. Non usi il vostro programma di trattamento di testi per creare un tal archivio.

Qui è la sintassi di base dell'archivio di robots.txt:

Utente-Agente: [Nome del ragno]

Respinga: [Nome del file]

Per esempio, per dire il ragno del AltaVista, il motorino, non al ragno che l'archivio ha chiamato myfile1.html che risiede nella directory di radice del server, voi scriverebbe

Utente-Agente: Motorino

Respinga: /myfile1.html

Per dire hanno eccitato il ragno, chiamato ArchitextSpider, non al ragno gli archivi myfile2.html e myfile3.html, scrivereste

Utente-Agente: ArchitextSpider

Respinga: /myfile2.html

Respinga: /myfile3.html

Potete, naturalmente, metta le istruzione multiple dell'Utente-Agente nello stesso archivio di robots.txt. Quindi, dire a AltaVista non al ragno l'archivio ha chiamato myfile1.html e dire ecciti non al ragno gli archivi myfile2.html e myfile3.html, scrivereste

Utente-Agente: Motorino

Respinga: /myfile1.html

Utente-Agente: ArchitextSpider

Respinga: /myfile2.html

Respinga: /myfile3.html

Se volete impedire tutti i robot spidering l'archivio chiamato myfile4.html, potete usare * il carattere di metacarattere nella riga dell'Utente-Agente, cioè scrivereste

Utente-Agente: *

Respinga: /myfile4.html

Tuttavia, non potete utilizzare il carattere di metacarattere nella riga di respingere.

Una volta che avete creato l'archivio di robots.txt, dovreste upload alla directory di radice del vostro settore. Uploading ad alcun sub-directory non funzionerà - l'archivio di robots.txt deve essere nella directory di radice.

Non discuterò la sintassi e la struttura dell'archivio di robots.txt affatto per avanzare - potete ottenere le specifiche complete da http://www.robotstxt.org/wc/norobots.html

Ora veniamo a come l'archivio di robots.txt può essere usato per impedire il vostro luogo la penalizzazione per lo Spamming nel caso stiate creando le pagine differenti per i motori differenti di ricerca. Che cosa dovete fare è di impedire ogni Search Engine le pagine spidering che non sono significate per esso.

Per semplicità, lascili suppongono che state designando soltanto due parole chiavi come bersaglio: “turismo in Australia„ e “corsa in Australia„. Inoltre, lascili suppongono che state designando soltanto quattro come bersaglio dei motori principali di ricerca: AltaVista, eccita, HotBot ed indicatore luminoso nordico.

Ora, supponga che abbiate seguito la seguente convenzione per la nomina degli archivi: Ogni pagina è chiamata separando le diverse parole della parola chiave per cui la pagina sta ottimizzanda dai trattini. A questo si aggiunge le prime due lettere del nome del Search Engine per cui la pagina sta ottimizzanda.

Quindi, gli archivi per AltaVista sono

tourism-in-australia-al.html

travel-to-australia-al.html

Gli archivi per eccitano sono

tourism-in-australia-ex.html

travel-to-australia-ex.html

Gli archivi per HotBot sono

tourism-in-australia-ho.html

travel-to-australia-ho.html

Gli archivi per indicatore luminoso nordico sono

tourism-in-australia-no.html

travel-to-australia-no.html

Ho notato più presto, il ragno del AltaVista è chiamato Scooter ed ha eccitato il ragno è chiamato ArchitextSpider.

Una lista dei ragni per i motori principali di ricerca può essere trovata a http://www.searchenginewatch.com/webmasters/spiderchart.html

Da questa lista, troviamo che il ragno per indicatore luminoso nordico è chiamato Gulliver. HotBot usa Inktomi ed il ragno del Inktomi è chiamato Slurp. Usando questa conoscenza, qui è che cosa l'archivio di robots.txt dovrebbe contenere:

Utente-Agente: Motorino

Respinga: /tourism-in-australia-ex.html

Respinga: /travel-to-australia-ex.html

Respinga: /tourism-in-australia-ho.html

Respinga: /travel-to-australia-ho.html

Respinga: /tourism-in-australia-no.html

Respinga: /travel-to-australia-no.html

Utente-Agente: ArchitextSpider

Respinga: /tourism-in-australia-al.html

Respinga: /travel-to-australia-al.html

Respinga: /tourism-in-australia-ho.html

Respinga: /travel-to-australia-ho.html

Respinga: /tourism-in-australia-no.html

Respinga: /travel-to-australia-no.html

Utente-Agente: Slurp

Respinga: /tourism-in-australia-al.html

Respinga: /travel-to-australia-al.html

Respinga: /tourism-in-australia-ex.html

Respinga: /travel-to-australia-ex.html

Respinga: /tourism-in-australia-no.html

Respinga: /travel-to-australia-no.html

Utente-Agente: Gulliver

Respinga: /tourism-in-australia-al.html

Respinga: /travel-to-australia-al.html

Respinga: /tourism-in-australia-ex.html

Respinga: /travel-to-australia-ex.html

Respinga: /tourism-in-australia-ho.html

Respinga: /travel-to-australia-ho.html

Quando avete messo le righe di cui sopra in robots.txt file, voi insegnano ad ogni Search Engine non al ragno che gli archivi hanno significato per gli altri motori di ricerca.

Quando avete rifinito creare l'archivio di robots.txt, doppio controllo per accertarsi che gli non facciate alcuni errori dovunque. Un piccolo errore può avere conseguenze disastrose - un Search Engine può archivi del ragno che non sono significati per esso, nel qual caso possono penalizzare il vostro luogo per lo Spamming, o, non possono ragno alcuni archivi affatto, nel qual caso non otterrete i posti superiori in quel Search Engine.

Articolo da Sumantra Roy. Sumantra è uno del Search Engine rispettato che posiziona gli specialisti sul Internet.  Legga più circa come ottenere le alte posizioni nei motori di ricerca scattando questo collegamento.