Robots.txt Dosyası Kullanım Robotları Yölendirme Kontrol
Robots.txt Dosyası
Kullanım Robotları Yölendirme Kontrol
Robots.txt dosyası arama motorları ve örümceklere sitenizdeki
dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da
engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından
farksızdır ve basit şekilde Notepad ile hazırlanabilir.
Anasayfanızın ya da sitenizin bulunduğu ana klasöre koyulmalıdır.
Neden robots.txt dosyasına ihtiyacım var?
Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak
bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne,