Robots.txt Dosyası Kullanım Robotları Yölendirme Kontrol

Robots.txt Dosyası
Kullanım Robotları Yölendirme Kontrol

Robots.txt dosyası arama motorları ve örümceklere sitenizdeki
dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da
engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından
farksızdır ve basit şekilde Notepad ile hazırlanabilir.
Anasayfanızın ya da sitenizin bulunduğu ana klasöre koyulmalıdır.



Neden robots.txt dosyasına ihtiyacım var?



Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak
bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne,
örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek
istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman
için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama
dosyası, menü gibi görev yapar.



Neden örümcekleri engellemek isteyebilirim?



1. Site henüz tamamlanmamış olabilir. Ya da henüz tam oalrak
bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da
sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.



2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan
bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun
arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını
istemeyebilirsiniz.



3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür
ettiğiniz, içinde sadece "tamam" gibi kısa mesajlar bulundurduğunuz
dosya ve klasörlerinizin kayıt edilmesi kimsenin işine
yaramayacaktır.



4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların
aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski
doğurabilir.



5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan
zararlı örümceklerden robots.txt dosyası aracılığıyla
kurtulabilirsiniz.



Robots.txt dosyası oluşturmak



Robots.txt dosyasını herhangi bir text editor ya da notepad ile
oluşturabilirsiniz. Temelde içeriği şu şekildedir :

User-Agent: [Örümcek ya da Bot ismi]

Disallow: [Klasör ya da Dosya ismi]



Robots.txt ile belirli bir dosyayı belirli bir bottan korumak



Mesela "Haberler" diye bir bölüm oluşturuyorsunuz ve henüz
tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu
durumda, hedef tüm robotlar olduğu için özellikle robot ismi
belirtmek yerine yıldız işareti "*" kullanmalısınız. Bu tüm
robotları kapsayacaktır.

User-Agent: *

Disallow: /haberler/



Koruduğunuz bölüm isminin başına ve sonuna slah işareti "/" koymanız
o klasördeki tüm dosyaları kapsayacaktır.



Tüm robotlara kayıt izni vermek



Hedefimiz yine tüm robotlar olduğu için yıldız "*" işareti
kullanarak Disallow bölümünü boş bırakıyoruz.

User-agent: *

Disallow:



Tüm robotları dosya ve klasörlerinizden uzak tutmak



Yukarıdaki koda çok benzeyen ama ufak bir değişikliği olan bir kod
ile tüm robotları dosya ve kalsörlerinizden uzak tutabilir, kayıt
etmelerini engelleyebilirsiniz.

User-agent: *

Disallow: /



Robots.txt ile birden fazla klasör engellemek



Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz
dosya ve klasörleri kayıt ettirebilir, istediklerinizi
engelleyebilirsiniz. Diyelim ki "cgi-bin" klasörünüzün içindeki bazı
dosyaların kayıt edilmesini istemiyorsunuz.

User-agent: *

Disallow: /cgi-bin/

Disallow: /_borders/

Disallow: /_derived/

Disallow: /_fpclass/

Disallow: /_overlay/

Disallow: /_private/

Disallow: /_themes/

Disallow: /_vti_bin/

Disallow: /_vti_cnf/

Disallow: /_vti_log/

Disallow: /_vti_map/

Disallow: /_vti_pvt/

Disallow: /_vti_txt/



Her klasör için ayrı bir komut yazmak en verimlisidir.



Sadece Altavista örümceğinin girmesini istemediğimiz klasörümüze,
Altavista robotunun ismi olan Scooter ı ekliyoruz.



User-Agent: Scooter

Disallow: /



Google'ın resim dosyalarımızdan uzak durmasını istiyorsak :



User-Agent: Googlebot-Image

Disallow: /images/



Eğer dosyalarınız "images" klasöründe değil ve dağınık olarak
değişik yerlerdeyse o zaman :



User-Agent: Googlebot-Image

Disallow: /



Hanci.org sizlere daha iyi hizmet sunmak için çerezleri kullanıyor.
Hanci.org sitesini kullanarak çerez politikamızı kabul etmiş olacaksınız.
Detaylı bilgi almak için Gizlilik ve Çerez Politikası metnimizi inceleyebilirsiniz.