Het creëren van een robots.txt dossier voor uw website

Door Sumantra Roy

 

Sommige mensen geloven dat zij tot verschillende pagina's voor verschillende onderzoeksmotoren, elke pagina zouden moeten leiden die voor één sleutelwoord en voor één onderzoeksmotor wordt geoptimaliseerd. Nu, terwijl ik adviseer niet dat de mensen verschillende pagina's voor verschillende onderzoeksmotoren creëren, als u beslist dergelijke pagina's tot stand te brengen, is er één kwestie u zich bewust moet zijn waarvan.

Deze pagina's, hoewel geoptimaliseerd voor verschillende onderzoeksmotoren, blijken vaak vrij gelijkaardig aan elkaar. De onderzoeksmotoren hebben de capaciteit om te ontdekken wanneer een plaats tot dergelijke gelijkaardige het kijken pagina's heeft geleid en straffen of zelfs verbieden nu dergelijke plaatsen. om uw plaats voor het spamming worden gestraft te verhinderen, moet u de spinnen van de onderzoeksmotor verhinderen pagina's te indexeren die niet voor het worden bedoeld, d.w.z. moet u AltaVista verhinderen pagina's te indexeren die voor Excite worden bedoeld en vice versa. De beste manier te doen die een robots.txt dossier te gebruiken is.

U zou een robots.txt dossier moeten creëren gebruikend een tekstredacteur zoals Notepad van Vensters. Gebruik uw tekstverwerker niet om zulk een dossier te creëren.

Hier is de basissyntaxis van het robots.txt dossier:

Gebruiker-agent: [De Naam van de Spin]

Verbied: [Dossier - naam]

Bijvoorbeeld, om de spin van AltaVista te vertellen, zou Scooter, niet aan spin dossier genoemd myfile1.html dat in de wortelfolder verblijft van de server, u schrijven

Gebruiker-agent: Scooter

Verbied: /myfile1.html

Om excite's spin te vertellen, die ArchitextSpider, niet aan spin wordt genoemd zouden de dossiers myfile2.html en myfile3.html, u schrijven

Gebruiker-agent: ArchitextSpider

Verbied: /myfile2.html

Verbied: /myfile3.html

U kunt, natuurlijk, veelvoudige gebruiker-Agent verklaringen in het zelfde robots.txt dossier zetten. Vandaar, om AltaVista te vertellen niet aan spin wekt dossier genoemd myfile1.html, en te vertellen niet aan spin de dossiers myfile2.html op en myfile3.html, zou u schrijven

Gebruiker-agent: Scooter

Verbied: /myfile1.html

Gebruiker-agent: ArchitextSpider

Verbied: /myfile2.html

Verbied: /myfile3.html

Als u alle robots wilt verhinderen dossier genoemd myfile4.html spidering, kunt u het * vervangingskarakter in de gebruiker-Agent lijn gebruiken, d.w.z. zou u schrijven

Gebruiker-agent: *

Verbied: /myfile4.html

Nochtans, kunt u het vervangingskarakter in de Disallow lijn gebruiken niet.

Zodra u het robots.txt dossier hebt gecreÃërd, zou u het aan de wortelfolder van uw domein moeten uploaden. Het uploaden van het aan om het even welke sub-directory zal niet werken - het robots.txt dossier moet in de wortelfolder zijn.

Ik zal de syntaxis en de structuur van het robots.txt dossier geen in detail bespreken - u kunt de volledige specificaties van http://www.robotstxt.org/wc/norobots.html krijgen

Nu komen wij aan hoe het robots.txt dossier kan worden gebruikt om uw plaats voor het spamming worden gestraft te verhinderen voor het geval dat u verschillende pagina's voor verschillende onderzoeksmotoren creÃërt. Wat u moet doen moet elke onderzoeksmotor verhinderen pagina's spidering die niet voor het worden bedoeld.

Voor eenvoud, veronderstel dat u slechts twee sleutelwoorden richt: „toerisme in Australië“ en „reis naar Australië“. Ook, veronderstel dat u slechts vier van de belangrijkste onderzoeksmotoren richt: AltaVista, wekt, HotBot en Noordelijk Licht op.

Nu, veronderstel u de volgende overeenkomst voor het noemen van de dossiers hebt gevolgd: Elke pagina wordt genoemd door de individuele woorden van het sleutelwoord te scheiden waarvoor de pagina door koppeltekens wordt geoptimaliseerd. Aan dit wordt toegevoegd de eerste twee brieven van de naam van de onderzoeksmotor waarvoor de pagina wordt geoptimaliseerd.

Vandaar, zijn de dossiers voor AltaVista

tourism-in-australia-al.html

travel-to-australia-al.html

 

De dossiers voor Excite zijn

tourism-in-australia-ex.html

travel-to-australia-ex.html

 

De dossiers voor HotBot zijn

tourism-in-australia-ho.html

travel-to-australia-ho.html

 

De dossiers voor Noordelijk Licht zijn

tourism-in-australia-no.html

travel-to-australia-no.html

Zoals ik vroeger van nota nam, wordt de spin van AltaVista genoemd Scooter en de Excite's spin wordt genoemd ArchitextSpider.

Een lijst van spinnen voor de belangrijkste onderzoeksmotoren kan in http://www.searchenginewatch.com/webmasters/spiderchart.html worden gevonden

Van deze lijst, vinden wij dat de spin voor Noordelijk Licht Gulliver wordt genoemd. HotBot gebruikt Inktomi en de spin van Inktomi wordt genoemd Slurp. Gebruik makend van deze kennis, hier is wat het robots.txt dossier zou moeten bevatten:

Gebruiker-agent: Scooter

Verbied: /tourism-in-australia-ex.html

Verbied: /travel-to-australia-ex.html

Verbied: /tourism-in-australia-ho.html

Verbied: /travel-to-australia-ho.html

Verbied: /tourism-in-australia-no.html

Verbied: /travel-to-australia-no.html

Gebruiker-agent: ArchitextSpider

Verbied: /tourism-in-australia-al.html

Verbied: /travel-to-australia-al.html

Verbied: /tourism-in-australia-ho.html

Verbied: /travel-to-australia-ho.html

Verbied: /tourism-in-australia-no.html

Verbied: /travel-to-australia-no.html

Gebruiker-agent: Slurp

Verbied: /tourism-in-australia-al.html

Verbied: /travel-to-australia-al.html

Verbied: /tourism-in-australia-ex.html

Verbied: /travel-to-australia-ex.html

Verbied: /tourism-in-australia-no.html

Verbied: /travel-to-australia-no.html

Gebruiker-agent: Gulliver

Verbied: /tourism-in-australia-al.html

Verbied: /travel-to-australia-al.html

Verbied: /tourism-in-australia-ex.html

Verbied: /travel-to-australia-ex.html

Verbied: /tourism-in-australia-ho.html

Verbied: /travel-to-australia-ho.html

Wanneer u de bovengenoemde lijnen in het robots.txt dossier zet, instrueert u elke onderzoeksmotor niet aan spin de dossiers die voor de andere onderzoeksmotoren worden bedoeld.

Wanneer u klaar bent met het creëren van het robots.txt dossier, dubbele controle om ervoor te zorgen dat u geen fouten overal daarin hebt gemaakt. Een kleine fout kan rampzalige gevolgen hebben - een onderzoeksmotor kan spindossiers die niet voor het worden bedoeld, waarbij het uw plaats kan straffen voor het spamming, of, het kan spin enige dossiers helemaal niet, waarbij u het hoogste rangschikken in die onderzoeksmotor niet zult krijgen.

Artikel door Sumantra Roy. Sumantra is één van de meest geëerbiedigde plaatsende specialisten van de onderzoeksmotor op Internet.  Lees meer over hoe te om hoge posities in de onderzoeksmotoren te krijgen door deze link te klikken.