Hancı Eğitim

ARAMA MOTORLARI
TEKNİKLERİ GENEL



Dmoz.org Nestcape firmasının Open Directory Projesidir. Toplam
4.600.000.000 site veritabanı bulunmaktadır.

Site kayıtları , editörler tarafından yapılmaktadır.Editör olmak
ücretsiz ve herkese açıktır.



İpucu: Tüm arama motorları , Google firmasının arama sonuç
tekniğini kullanmaktadır.

Arama motorları arasındaki hiyarşi tablosu;



ARAMA MOTORLARI



GOOGLE

YAHOO

AOL

ALTAVİSTA



Sonuç: Yapılan tüm sitelerin , Dmoz.org ‘da doğru kategoriye
kaydedilmesi gerekir.



Soru: Arama motorları nasıl sitelerde arama yapıyorlar?



Dmoz.org veritabanında kayıtlı tüm domainleri SPIDER programı ile
gezerek ,belli kriterlerdeki "cache" dediğimiz önbellek bilgilerini
alıyor.Arama motorları bu önbellek dosyaları üzerinde arama yapıyor.



Dmoz.org ‘un SPIDER ‘ı ÇARŞAMBA günü (genellikle böyle , coğrafya
dağılımına göre değişiklik gösteriyor) siteleri gezerek bu dosyaları
alıyor.



Alınan dosyalar genellikle sitenin hersayfası için 25K büyüklüğünde
oluyor.



İpucu :Sitedeki tekstleri , önbellek ediyor.



SPIDER , sitedeki linkleri takip ederek ilerliyor.

Sitenizin içerisindeki linklere göre iki türlü inceleme yapıyor.
İleri ve Geri linkler.

İleri linkleri takip ederken ,kendi veritabanında kayıtlı domain ise
doğrulama yaparak ilerliyor.

Geri linkleri takip ederken , kısır döngüye düşmemek için , iki site
arasında karşılaştırma yapıyor ve sonucu bir olarak alıyor.Büyük
site kazanır diyor ve çıkıyor.





0 - 0 = 0

1 - 0 = 0

1 - 1 = 1



Sonuç: Büyük siteler,küçük sitelerden beslenir.En çok link
verilen site ,enbüyük olur.Bu açıdan diğer domainlerin linklerini
sitenize koyarken ,o sitelerin büyklükleri sizinkinden küçük olmalı.



Soru: Dmoz.org , sitedeki hangi dosyaları alacağını nereden
biliyor?





Dmoz.org sitesinin SPIDER"ı siteye geldiğinde sitenizin root"unda "robots.txt"
dosyasına bakar.Eğer yoksa ,zaman kısıtlı bulabildiği herşeyi
indekslemeye çalışır.





Robots.txt dosyasının içerisinde Disallow ve allow imleri
bulunmaktadır.Bunlar SPIDER"a nereye bakıp bakmaması gerektiğini
söyler.Bu sayede örneğin /admin klasörünüzün indekslenmesini
engellemiş olursunuz yada asıl indesklenmesini istediğiniz bölüm
için SPIDER"ın işini kolaylaştırarak yardımcı olmuş olursunuz.



Robots.txt dosyasının içeriği;

(örnektir)



User-Agent: *



# Disallow all crawlers access to certain pages.Disallow: /trDisallow:
/xcart/adminDisallow: /aboneformDisallow: /adminDisallow: /aprilDisallow:
/testDisallow: /topDisallow: /upgradeAllow: /



Ve bu ayarlamadan sonra sitenizin taglarının arasına ,

satırınıda eklemekte fayda vardır.



Soru: Bu ayarlamaları yaptım, sitemizin daha çok
indekslenmesi için ne yapmam gerekir.

Öncelikle , sitenizdeki sayfa çokluğu arama motorları için daha çok
indekslenecek sayfa demektir ve bu iyi birşeydir.

Eğer dinamik bir siteniz varsa ve siteniz somut olarak 5-6 sayfadan
oluşuyorsa ama çalıştırdığınızda dinamik olarak sanal sayfalar
oluşturuyorsa , SPIDER genellikle bu sayfaları yakalayamaz. SPIDER
düz sayfaları alır. (.html .php .asp vs..)

Sorgulu sayfalar SPIDER için çoğu zaman kısır döngü olduğu için
Arama motorları teknik olarak bu sayfaları CACHE ‘e alamazlar.



Örneğin:



Makale.php?makale=1 => SPIDER buraya geldiğinde Diğer makaleler gibi
veya dinamik bir navigasyon varsa tekrar geri dönüp , tekrar bu
sayfaya gelmesi gerekir.Buda bir kısır dögüdür.



Çözüm:



Sitelerinizin ,özel bir teknik kullanmıyorsanız (Satırları
parçalamak , HTML"e dönüştürmek vs..)

Yapmanız gereken anasayfanızda yada genel navigasyon çubuğunuzda
elle yazılmış sabit linklerin olmasıdır.

Bunu bir nehir örneği gibi düşünecek olursak , nehrin yoluna göre
hareket edileceğini hesap etmek gerekir.



Örneğin:



İndex.php

Anasayfa / Kitaplar / Videolar bu bir navigasyon çubuğu
olsun.Kitaplara bastığımızda



Kitaplar.php

Anasayfa / Kitaplar / Videolar kitaplar.php gelsin burdaki
navigasyon tuşunda Kitaplar bölümünde link olmamalı.



Soru :Site arama sonuçları nasıl değerlendiriliyor?



Arama sonuçları arama kelimesini esas alarak cache ler üzerindeki
incelemeler olarak değerlendiriliyor.Belli kriterlere göre sıralama
yapılıyor.





1. Site isminde aranan kelime olması öncelik için önemlidir.

2. Site içerisinde aranan kelimenin tekrarı önemlidir.