너의 웹사이트를 위해robots.txt파일을 만들음

다른 수색 엔진, 1개의 키워드와 1 검색 엔진을 위해 낙관되는 각 페이지를 위해 다른 페이지를 만들어야 하는 고 몇몇 사람 믿는다. 너가 그런 페이지를 만들는것을 결정하면, 사람은 다른 수색 엔진을 위해 다른 페이지를 거기서 이다 너가 명심한것을 필요로 하는 1개의 문제점 만들는 것과 나는 추천하지 않는 그러나, 지금.

수시로 집합을 위해 낙관해 매우 유사하기 서로에게 있기 위하여 다른 수색 엔진, 이 페이지. 수색 엔진에는 지금 사이트가 그런 유사한 보는 페이지를 언제 만들은 까 검출하는 능력이 있 이어 그런 사이트를 처벌하또는 금지한. 스패밍을 위해 처벌에서 너의 사이트를 막기 위하여는, 너는 그것을 위해 의미하지 않는 색인 페이지에서 검색 엔진 거미를 막는것을 필요로 한다,i.e너는 흥분한다 역도 마찬가지로를 위해 의미하는 색인 페이지에서 알타비스타를 막는것을 필요로 한다. 하는robots.txt파일을 이용하기 위하여 이는 제일 방법.

너는 창 노트패드같이 문서 편집기을 사용하여robots.txt파일을 만들어야 한다. 너의 워드 프로세서를 그같은 파일을 만들는 이용하지 말라.

여기robots.txt파일의 기본적인 통어론은 있는다:

사용자 에이전트: [거미 이름]

부인하십시요: [파일 이름]

예를 들면, 파일이 서버의 루트 디렉토리안에 거주하는myfile1.html, 너를 지명한 거미에게 알타비스타 거미를, 스쿠터는, 아니다 말할것을 쓸텐데

사용자 에이전트: 스쿠터

부인하십시요: /myfile1.html

말하기 위하여는 거미에ArchitextSpider이라고, 아니다 부른 거미를 파일myfile2.html흥분하고myfile3.html의 너는 쓸텐데

사용자 에이전트: ArchitextSpider

부인하십시요: /myfile2.html

부인하십시요: /myfile3.html

너는 할 수 있는다, 당연히, 동일한robots.txt파일안에 다각 사용자 에이전트 계산서를 두십시요. 지금부터, 거미에게 알타비스타에게 아니다 파일을 말함것은myfile1.html을 지명하고, 말하기 위하여 거미에 아니다 파일myfile2.html을 흥분하거든myfile3.html의 너는 쓸텐데

사용자 에이전트: 스쿠터

부인하십시요: /myfile1.html

사용자 에이전트: ArchitextSpider

부인하십시요: /myfile2.html

부인하십시요: /myfile3.html

너가myfile4.html이라고 지명되는 파일을spidering에서 모든 로봇을 막고 싶으면, 너는 사용자 에이전트 선안에*와일드 카드 문자를 이용할 수 있는다,i.e너는 쓸텐데

사용자 에이전트: *

부인하십시요: /myfile4.html

그런데, 너는 부인 선안에 와일드 카드 문자를 이용할.

너가robots.txt파일을 만들으면 하자마자, 너는 너의 도메인의 루트 디렉토리에 그것을 올려주기해야 한다. 어떤 서브디럭토리에 그것을 올려주기함것은 일하지 않을 것이다 -robots.txt파일은 루트 디렉토리안에 있는것을 필요로 한다.

나는 발전하라고robots.txt파일의 통어론 그리고 구조를 무엇이든 토론하지 않을 것이다 - 너는http://www.robotstxt.org/wc/norobots.html에게서 완전한 논고를 얻을 수 있는다

너가 다른 수색 엔진을 위해 다른 페이지를 만들으면 만일에 대비하여 스패밍을 위해 처벌에서 너의 사이트를 막기 위하여robots.txt파일이 이용할 수 있는 까 라고에 지금 우리는 온다. 너가 필요로 하는 무엇을 하는것을 그것을 위해 의미하지 않는spidering페이지에서 각 검색 엔진을 방지한것을 이다.

간명를 위해, 너가 단 2개의 키워드를 표적으로 하고 있는 것을 추측하자: "호주안에 관광 사업"과 "호주에 여행". 또한, 너가 중요한 수색 엔진의 단 4개을 표적으로 하고 있는 것을 추측하자: 알타비스타는,HotBot과 북부 빛 흥분한다.

너가 파일을 지명하기를 위해 뒤에 오는 인습을 따랐다 것 을 지금, 가정하십시요: 각 페이지는 페이지가 하이픈에의해 낙관되고 있는 키워드의 개인적인 워드를 분리해서 지명된다. 이것에 페이지가 낙관되고 있는 검색 엔진의 이름의 첫번째 2개의 편지이라고 추가된다.

지금부터, 알타비스타를 위해 파일은 이다

관광 사업 안에 호주al.html

여행하 에 호주al.html

파일은을 위해 이다 흥분한다

관광 사업 안에 호주ex.html

여행하 에 호주ex.html

HotBot을 위해 파일은 이다

관광 사업 안에 호주ho.html

여행하 에 호주ho.html

북부 빛을 위해 파일은 이다

관광 사업 안에 호주no.html

여행하 에 호주no.html

일찌기 주의되는I로, 알타비스타 거미에 의하여Scooter이라고 부르고 거미가 부른다ArchitextSpider이라고 흥분했다.

중요한 수색 엔진을 위해 거미의 명부는http://www.searchenginewatch.com/webmasters/spiderchart.html에 발견될 수 있는다

이 명부에서, 북부 빛을 위해 거미가Gulliver이라고 부르는 고가 우리는 발견한다. HotBot은Inktomi을 사용하고Inktomi's거미는 소리내어 먹는다 부른다. 이 지견을 사용하여, 여기robots.txt파일이 하는 것 있는다 포함해야:

사용자 에이전트: 스쿠터

부인하십시요: /tourism안에 호주ex.html

부인하십시요: /travel에 호주ex.html

부인하십시요: /tourism안에 호주ho.html

부인하십시요: /travel에 호주ho.html

부인하십시요: /tourism안에 호주no.html

부인하십시요: /travel에 호주no.html

사용자 에이전트: ArchitextSpider

부인하십시요: /tourism안에 호주al.html

부인하십시요: /travel에 호주al.html

부인하십시요: /tourism안에 호주ho.html

부인하십시요: /travel에 호주ho.html

부인하십시요: /tourism안에 호주no.html

부인하십시요: /travel에 호주no.html

사용자 에이전트: 소리내어 먹으십시요

부인하십시요: /tourism안에 호주al.html

부인하십시요: /travel에 호주al.html

부인하십시요: /tourism안에 호주ex.html

부인하십시요: /travel에 호주ex.html

부인하십시요: /tourism안에 호주no.html

부인하십시요: /travel에 호주no.html

사용자 에이전트: Gulliver

부인하십시요: /tourism안에 호주al.html

부인하십시요: /travel에 호주al.html

부인하십시요: /tourism안에 호주ex.html

부인하십시요: /travel에 호주ex.html

부인하십시요: /tourism안에 호주ho.html

부인하십시요: /travel에 호주ho.html

너가 둘 때robots.txt안에 상기 선은 파일이 다른 수색 엔진을 위해 의미한 거미에, 너 교시한다 각 검색 엔진을 아니다 신청한다.

너가robots.txt파일을 만들을 끝낼 때, 너가 그것안에 어떤 어느 곳에서든지 실수하지 않은 것을 지키는 d오으b러-XXk. 너가 저 검색 엔진안에 최고 순위를 얻지 않으면 어떤 경우에는 스패밍을 위해 너의 사이트를 처벌할 수 있으나, 모두에 거미 어떤 파일 일지모른지 않으면 어떤 경우에는, 작은 과실은 비참한 결과를 있을 수 있는다 - 검색 엔진은 그것을 위해 의미하지 않는 거미 파일 일지모른다.