Robots.txt nedir? Bu protokolün yani ‘robot dışlama protokolünün’ kökenlerini, web robotlarının web sitelerini okumak amacıyla internet üzerinde gezindiği ilk günlere, 1990’ların ortalarına kadar izlemek mümkündür.
Bazı web yöneticileri, hangi robotların sitelerini ziyaret ettiği konusunda endişelendi. Sitenin hangi kısımlarının taranması gerektiğine ilişkin yönergeleri içerisinde barındıran ve web sitesi sahiplerine hangi tarayıcıların URL’lerini ziyaret edebileceği ayrıca ne kadar kapasite tüketmelerine izin verildiği hususunda daha çok denetime sahip olma garantisi veren bir dosya olarak ortaya çıktı.
Robots.txt nedir, ne işe yarar?
O vakitten beri robots txt, modern web tasarımcılarının ve herhangi bir web sitesine sahip olan kişilerin ihtiyaçlarını karşılayacak bir biçimde gelişim gösterdi. Protokolün hazır sürümleri, Google ve diğer büyük arama motorlarının kullandığı sıralama algoritmaları adına bilgi toplamak için göndermiş olduğu robotlar tarafından kabul edilecektir.
Farklı arama motorları arasında bulunan bu ortak anlaşma sebebiyle komutları SEO raporlarında markalar adına potansiyel olarak değerli fakat çoğunlukla gözden kaçan, dikkat edilmeyen bir araç haline getirir. Peki robots.txt nedir? Tanımı sahip olduğunuz web sitesinin kök dizininde bulunan ayrıca tarama ve dizine ekleme işlemi sırasında hangi sayfaları tarayabilecekleri ve dizine ekleyebilecekleri konusunda arama motoru tarayıcılarına talimatlar veren bir metin dosyası şeklinde yapılabilir. Robots.txt nedir konumuza devam edelim.
Robots.txt’nin Arama Motorları İçin Önemi
Arama motorlarının çalışmasının nasıl gerçekleştiğine dair tarama ve indeksleme sürecinde, arama motorlarının halka açık web’de yer alan ve indekslerine ekleyebilecekleri bir nitelik taşıyan sayfaları bulmaya çalıştıklarını bilirsiniz. Herhangi bir web sitesini ziyaret ettikleri zaman, yaptıkları şey ilk olarak robots-txt dosyasının içeriğini aramak ve kontrol etmek olacaktır. Tarayabilecekleri URL’lerin bir listesini dosyada belirtilen kurallara bağlı olarak oluştururlar ve işin sonrasında belli web sitesi için dizine eklerler. Ayrıca backlink çıkışlarını engellemek de bu protokol ile mümkündür.
Robots.txt, arama motoru robotuna herhangi bir web sitesinin hangi sayfalarını ya da bölümlerini taramamaları gerektiğini söyleyen bir dosyadır. Google, Bing, Yahoo, Yandex vb. gibi çoğu büyük arama motoru Robots.txt isteklerini tanır ve kabul eder. Birçok web sitesi robots txt dosyasına ihtiyaç duymaz. Bunun temel sebebi, Google’ın çoğunlukla web sitenizde bulunan bütün önemli sayfaları bulup dizine ekleyebilmesidir. Aynı zamanda önemli olmayan ya da öbür sayfaların yinelenen sürümlerini otomatik olarak dizine almazlar.
Robots.Txt Dosyasını Neden Kullanmalısınız?
Robots.Txt Dosyasını Neden Kullanmalısınız?Robots-txt kullanmanın önemini görmeniz açısından Google’ın web sitelerini nasıl taradığını anlamak oldukça önem taşımaktadır. Google’ın bir tarama bütçesi vardır ve bu bütçe belirli bir siteyi taramaya ayıracakları sürenin açıklanmasını sağlar. Google, bir tarama hızı sınırına ve tarama talebine göre bu bütçeyi hesaplar. Google, herhangi bir siteyi taramasının sonucunda o URL’yi yavaşlattığını ve bunun sonucunda herhangi bir organik tarayıcı için kullanıcı deneyimini olumsuz etkilediğini görürse bu taramaların hızını yavaşlatacaktır. Robots.txt nedir konumuza devam edelim.
Bu, sitenize yeni içerik eklediğiniz zaman Google’ın bunu hızlı bir şekilde göremeyeceği ve potansiyel olarak SEO’nuza zarar verme ihtimalinin bulunduğu anlamına gelir. Bütçe hesaplamasının ikinci bölümü olan talep, popülaritesi daha yüksek olan URL’lerin Google robotundan daha fazla ziyaret alacağını belirtir. Bir başka deyişle, Google’ın belirttiği gibi, Google tarayıcısı tarafından sunucunuzun boğulmasını ya da sitenizdeki önemsiz ya da benzer sayfaları tarayarak tarama bütçesini boşa harcamasını istemezsiniz.
Protokol, bu sorunun önüne geçmenize arama motoru tarayıcılarının nereye ve ne zaman gideceği konusunda daha fazla kontrol sahibi olmanızı mümkün kılarak yardımcı olur. Robots.txt, arama motoru tarayıcılarını sitenizdeki önemi az olan ya da tekrar eden sayfalardan uzaklaştırmanızı sağlamanın yanı sıra, bundan başka önemli amaçlara da hizmet edebilmektedir. Öte yandan, bir robots txt dosyası kullanmak istemenizin 3 ana sebebi bulunmaktadır:
Herkese Açık Olmayan Sayfaları Engelleyin!
Bazı zamanlarda sitenizde dizine alınmamasını istediğiniz sayfalar bulunabilir. Mesela herhangi bir sayfanın aşamalı bir sürümüne sahip olabilirsiniz ya da bir giriş sayfası olabilir. Bu sayfaların var olması lazım. Fakat rastgele insanların onlara girmesi istemeyeceğiniz türden bir durum olur. Robots.txt’yi bu tür sayfaları arama motoru tarayıcılarından ve botlardan engellemek amacıyla kullanabilirsiniz.
Tarama Bütçesini En Üst Düzeye Çıkarın!
Bütün sayfalarınızın dizine eklenmesinde sıkıntı yaşıyorsanız bir tarama bütçesi sorununuz olabilir. Önemsiz sayfaları robots txt kullanarak engellediğiniz zaman Googlebot gerçekten önemli sayfalara tarama bütçenizin daha fazlasını harcayacaktır.
Kaynakların İndekslenmesini Önleyin!
Meta yönergelerin kullanılması sayfaların indekslenmesini önlemek adına Robotstxt kadar işe yarayabilir. Fakat meta yönergeler, PDF’ler ya da resimler gibi multimedya kaynakları için iyi çalışmaz. Robots.txt kullanarak bu sorunu aşabilirsiniz.
Robots.txt nedir sorusuna cevap vermeye çalıştık. Umarız faydalı olmuştur.
Tag : Robots.txt nedir?
Work Medya SEO Ajansı Yetenekleri
- Arama Motoru Optimizasyonu
- E-Ticaret Web Sitesi Tasarımı
- Sosyal Medya Reklamları
- Google Adwords Yönetimi
