robot.txt dosyası ile arama motorlarına hangi dosya ve/veya klasörün indexlenmesine izin verilmediği bildirilir. Genelde yeni başlayanlar şu soruyu merak ederler: “robot.txt dosyasıyla hangi sayfalarımın taranması gerektiğini belirleyebilir miyim?”. robot.txt dosyasında sadece hangi dosya ve/veya klasörün taranmamasını arama motoruna bildiririz.

Arama motorlarına robot.txt dosyanız için herhangi bir başvuru yapmanıza gerek yoktur. Bunun nedeni bütün arama motorları sitenizin ilk önce kök dizininde robot.txt dosyasını arar. Bu nedenle sizin tek yapmanız gerekn kök dizine robot.txt dosyasını koymaktır.

Sayfalarınızdan arama motoru örümceklerini neden uzaklaştırmak istersiniz:

• Sayfanız tam olarak tamamlanmayabilir. Bu nedenle arama motorlarının sayfanızı yarım yamalak indexlenmesini istemeyebilirsiniz. Çünkü tekrar güncellenmesi zaman alabilir.
• Şifrelemeye gerek duymamanıza rağmen sizin için veya site için özel dosyalarınızın bulunduğu klasörler olabilir.
• Hata sayfalarını veya form vb. işlemlerden sonra gelen teşekkürler mesajının bulunduğu sayfaların indexlenmesi hiçbir işe yaramayacaktır.
• Bazı arama motorlarında gözükmek istemeyebilirsiniz. Indexlemesini istemediğiniz arama motorlarını robot.txt dosyasında belirtebilirsiniz.

robot.txt dosyanızın yapısı aşağıdaki gibi olmalıdır:

Hangi arama motorunun hangi sayfaları indexlememesi gerektiğini belirliyoruz. Eğer bütün sayfaların indexlenmesini istiyorsanız Disallow: kısmını boş bırakın. Bütün örümceklerin belirli bir dosyayı ve/veya klasörü indexlemsini istemiyorsanız User-Agent: kısmına * işareti koyun.

Sitenizin bütün sayfalarının bütün arama motorları tarafından indexlenmesini istiyorsanız aşağıdaki kodu kullanabilirsiniz:

Aşağıdaki kod ile Googlebotlarına bütün sayfaları indexlemesi için izin veriliyor fakat Msnbotlarına gizli.html dosyasının indexlenmesine izin verilmiyor.

Birden fazla klasörün veya dosyanın indexlenmesine izin vermek istemiyorsanız aşağıdaki kodu kullanabilirsiniz:

Kaynak 1: http://www.bedavasiteyapmak.com/seo/robots.html” onclick=”window.open(this.href);return false;
Kaynak 2: http://yeniurl.com/tmmnzgw” onclick=”window.open(this.href);return false;