SEO – Robots.txt

Posted on: Nisan 7, 2010

SEO konusunda ilerleme kaydetmek isteyen webmaster arkadaşların bilmesi gereken önemli bir nokta internet üzerinde gezen ve siteleri dolaşan robotlarla nasıl konuşulacağıdır. Bu robotlarla konuşmak sandığımızdan daha kolay olup bunun için robots adlı ve .txt uzantısına sahip
bir dosya oluşturmamız ve bu dosyaya neler yazacağımızı bilmemiz gerekmektedir. Yazının ilerleyen bölümlerinde robots.txt dosyası hakkında ayrıntılı bilgilere ulaşabilirsiniz.

robots.txt nedir?
Bir robot sitenizi ziyaret ettiğinde ilk olarak bu dosyaya bakar. Örneğin google’ın robotları sitenizi ziyaret ettiklerinde, onların sitenizde gezmesine izin verip vermediğinizi belirten bu belgeye bakıyor ve ona göre sitenizi geziyorlar. Bu demektir ki bu robotlara siz yön verebilirsiniz, örneğin sitenizde arama motorlarında indekslenmesini istemediğiniz dizinler mevcut bu robotların oralara girmesini robots.txt dosyasına yazacağınız birkaç satırla engelleyebilirsiniz. Ancak hepsi bu kadar mı? Değil tabiki bu normal görevini yapan robotlar için geçerli bir uygulama ya da uymaları gereken bir işlem sırası. Ancak bazı spam özellikli robotlar bu işlem sırasına uymak yani önce sizin robots.txt dosyanıza bakmak zorunda hissetmezler kendilerini, sitenizin tüm dizinlerine girer ve işlerine yarayan birşeyler varsa spam kapsamında kullanırlar. Bu robotlar için robots.txt dosyası bir anlam ifade etmeyebilir.
robots.txt nereye yerleştirilmelidir?
Sitenizin kök dizinine yerleştirilmelidir. Örneğin sitemiz http://www.mactr.org olsun bu sitenin robots.txt dosyası daima aşağıdaki dizinde olacaktır ve olması gereklidir.
http://www.mactr.org/robots.txt
Bu durumda şunu diyebiliriz; Google robotları siteye geldiğinde ilk inceleyecekleri dosya yine yukarıda belirtilen adresteki dosyadır.
Bunun yanında eğer gizlemek istediğiniz bir klasör varsa, bu klasöre robots.txt dosyası yerleştirmek yanlış olacaktır çünkü robotlar alt dizinlerdeki robots.txt dosyasına bakmazlar sadece root dizinindeki dosyaya bakarlar.
Bunun yanında bu dosya ile ilgili söyleyebileceğim iki adet ayrıntı var.
1-) Dosyanın adı küçük harflerle yazılmalıdır yani bu dosyanın ismi hep robots.txt şeklinde olmalıdır.
2-) Dosya içinde satır arası olmamalıdır.
Özet: Şimdiye kadar bu dosyanın ne işe yaradığını ve nereye yerleştirildiğini öğrenmiş olmalısınız. Webdeki robotların ilk olarak uğradığı bu dosya robotlara sitenizin gezilecek ve gezilmeyecek yerleri hakkında bilgi veren cırcır konuşan rehberler gibidir ve daima sitenizin kapısında yani girişte, kök dizininde bulunur.
robots.txt dosyası nasıl oluşturulur ve geçerliliği nasıl kontrol edilir?
Dosya uzantısından da anlamış olabileceğinizi tahmin ettiğim gibi bu dosya basit bir text yani metin dosyasıdır ve masaüstünde kolayca oluşturulabilir ancak google bize bu konuda bir güzellik daha yapmış hem bu dosyayı oluşturmamız hem de geçerliliğini kontrol etmemiz için bize bir web uygulaması sunmuştur. Bu uygulamaya aşağıdaki sıralı işlemleri takip ederek ulaşabilirsiniz.
1-) Google hesabınızdan google webmaster tools kısmına gelin.
2-) robots.txt oluşturmak istediğiniz sitenin üzerine tıklayın.
3-) Sol taraftaki menüden Tools ya da Araçlar alt menüsünü seçtiğinizde karşınıza bu işlemleri yapmak için gerekli olan seçenekleri sunan bir pencere çıkacak. Bu bölümlerden hem robots.txt oluşturabilir hem de bu dosyanın geçerliliğini kontrol ettirebilirsiniz.
robots
Burada google’ın bu sayfasını anlatmak gibi bir zorunluluk hissetmedim ancak onun yerine bazı terimleri açıklayarak bu aşamayı sonlandırmanın uygun olacağını düşünüyorum.
1-) Disallow -> Bu satıra yazılan dizin ya da doğrudan dosya adreslerine robot uğramaz. Eğer tüm siteye robotların girmesini engellemek istiyorsanız dosyaya aşağıdaki bilgiyi girmeniz yeterli olacaktır. Diğer dizinleride bu şekilde ekleyebilir, izin verebilir ya da reddedebilirsiniz.
Disallow: /
2-)User-agent: Hangi robota izin verdiğinizi ya da vermediğinizi belirtebilirsiniz. Eğer aşağıdaki gibi bir kullanım sergilerseniz o zaman tüm robotlara izin vermişsiniz demektir. Eğer belirli robotlarla çalışmak istiyor ya da spam robotlardan korunmak istiyorsanız buraya onların isimlerini yazabilirsiniz belki yine de bu dosyaya bakmak isteyecek spam robotları vardır ama pek sanmıyorum.
User-agent: *
robots.txt dosyası sadece isminde robots geçtiği için bazen insanımızın gözüne büyük ve karışık bir şeymiş gibi gelebilir ancak altı üstü bir metin belgesinden ibarettir, etkin kullanımı faydalar sağlar hiç olmasa genel kültür açısından bilinmelidir diye düşünüyorum. İşte size bir bilgisayar sorusu
Arama motoru sitenizi ziyaret ettiğinde ilk neye bakar?
A-) Başka arama motoru var mı diye bakar? Varsa başka zaman uğramak için gider.
B-) Bir sigara yakar ve “sigaram bitsin de gireyim” der.
C-) robots.txt dosyasına bakar.
D-) index.html ya da index.php dosyasına bakar.
E-) favicon.ico dosyasına bakar varsa adres satırına yerleştirir.
Düşündüğünüzde robotlar insan olsaydı ne uğraşırdık ağırlamak için diyelimki sitemizi ziyaret ettiler aman efendim yemekler, kahveler, çaylar, memnun kaldınızmılar neler nelerrrr ama yok bakın ne kadar kolaymış “sen şu robots.txt dosyasına bak bana yeter, fazla gözönünde dolanma” da diyebiliyorsunuz.
Eğer bu robots.txt konusu ile ilgili takıldığınız herhangi birşey olursa lütfen sorun neticede herşeyi burada yazmak ve sizlere sunmak imkansız sadece bu robots.txt için kitap olabileceğine inandığım siteler ve kaynaklar mevcut….
Kolay gelsin…

Bir Cevap Yazın

Aşağıya bilgilerinizi girin veya oturum açmak için bir simgeye tıklayın:

WordPress.com Logosu

WordPress.com hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Google fotoğrafı

Google hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Twitter resmi

Twitter hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Facebook fotoğrafı

Facebook hesabınızı kullanarak yorum yapıyorsunuz. Çıkış  Yap /  Değiştir )

Connecting to %s

Kategoriler

%d blogcu bunu beğendi: