Robots.txt Dosyası Nasıl Oluşturulur?

Tecrübeli kullanıcıların zaten bildikleri tecrübesiz kullanıcıların ise bir kısmının kısa süre içinde diğer kısmının ise bir süre sonra tanıştıkları bu özel dosyanın ismi Robots.Txt . Bu dosya sayesinde web sitemize gelen arama motorlarının sitemiz içinde hangi bölümleri tarayıp hangi bölümler taramaması gerektiği konusunda bilgi vermiş oluruz aslında bir nevi anahtarı paspasın altına koyuyorsunuz ve arama motoru gelip alıyor sonrasında üzerindeki bıraktığınız nota göre evinizin size özel kısımlarına gimemesi gerektiğini öğrenmiş oluyor. 

Robots.Txt dosyası oluşturmak ve siteye yerleştirmek çok kolay bir işlemdir. Bu makalemizde sizlere Robots.Txt dosyasının inceliklerini ve bu teknikleri uygulayarak ne iyi robots.txt dosyası nasıl oluşturulacağı ve nelere dikkat etmeniz gerekir konularına değinerek tüm bunları anlatmaya çalışacağız.

Robots.txt dosyasını kullanan arama motoru botları genel olarak : Googlebot , Googlebot image, Google Adshot , Yahoo Slurp ve Bingbot gibi arama motoru botlarıdır . Bu dosya aracılığı ile bu botlara çeşitli komutlar yani talimatlar vererek onların siteniz üzerinde nasıl davranmaları gerektiğini belirtebilirsiniz. 

Robots.Txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası iki bölümden oluşur bu bölümler konusunda aşağıda sizler için örnek hazırladım inceleyebilirsiniz. Fakat bu dosya sadece bu iki satırdan oluşmuyor çeşitli farklı satırlar oluşturarak farklı talimatlar verebilirsiniz. Örnek olarak aşağıda verdiğim satırlarda Google Arama Motoru Googlebot'a "Admin" dizininin taranmaması gerektiğini söylemekteyiz dolayısı ile bu komutları gören arama motoru bu dizini ve içindeki diğer dosya ve dizinleri göz ardı edecektir. 

User-agent: Googlebot

Disallow: /Admin/

Eğer bu komutların sadece Googlebot değilde sitenize gelen tüm arama motoru botları için geçerli olmasını isterseniz aşağıdaki gibi düzenleme yapmalısınız:

User-agent: *

Disallow: /Admin/

Eğer sitenizin arama motorları tarafından taranmasını istemiyorsanız ( Bazı zamanlarda ihtiyaç olabiliyor ) böyle bir durumda ise robots.txt dosyanızı aşağıdaki gibi düzenleyebilirsiniz:

User-agent: *

Disallow: / 

Bazı durumlarda ise sadece bir sayfa yada bir görselin index almasını istemeyebilirsiniz yani gelen arama motoru botları tarafından es geçilmesini isteyebilirsiniz böyle bir durumda ise aşağıdaki gibi bir düzenleme yapmalısınız:

User-agent: *

Disallow: /ornek_sayfa.html

Disallow: /ornek_resim.jpg

Peki tüm bunların haricinde , sitenizin index almasını istiyorsunuz ama sitenizdeki resimlerin botlar tarafından index almasını yani arama motoru görsellerde görünmesini istemiyorsunuz bunun için yapacağınız değişiklik aşağıdaki gibi olmalıdır :

User-agent: *

Disallow: /*.jpg$

Biraz önce bir dizinin taranmasını engellemeyi göstermiştik ve bu engelleme komutu ile bu dizini ve alt dizinlerin taranmasını engellemiştik şimdi ise yine aynı işlemi yapacaz ama bu sefer tüm dizini değilde bu engellediğimiz dizin içinde açtığımız bir dizini bu engelin dışında tutacaz :

User-agent: *

Disallow: /market/

Allow: /market/urunler/

Adwords reklam aracına ait tüm görsellerin organik aramalardan çıkarılması için aşağıdaki komutları uygulayabilirsiniz:

User-agent: Mediapartners-Google

Allow: /

User-agent: *

Disallow: /


Robots.txt dosyası içine isterseniz site haritanızın adresini ekleyebilirsiniz bu sayede arama motorlarına direk olarak sitemap dosyanızın adresini kolayca göndermiş olursunuz.  Bu dosyayı aslında çok daha garanti ve hızlı şekilde Google search console üzerinden 1-2 saniye içinde yapabilirsiniz ama bizim hedefimiz tüm arama motorları dolayısı ile bilinen arama motorlarının haricinde diğer arama motorlarından hit almakta büyük olası ve bu bize sadece yarar sağlayacaktr fakat bu diğer arama motorları için çok efor sarf etmek bize zaman kaybı olur dolayısı ile sadece yeri geldiğinde ufak dokunuşlar ile bu işide aradan çıkarabilirsiniz bu seo çalışmalarında sizi bir adım öteye taşıyacaktır. 

Robots.Txt Temel Kuralları

  • Robots.Txt dosyanız en üst dizinde olmalıdır. Örnek olarak , http://orneksite.com/robots.txt bu dosyayı bir dizin içine atamazsınız kesinlikle.
  • Tüm dosyaları engelleyecekseniz $ işareti kullanmalısınız.
  • Bu dosya içinde karakter hassasiyeti vardır bu yüzden talimatlarınızdaki büyük / küçük harflere dikkat etmelisiniz.
  • Çoklu kural oluşturduğunuzda kurallar arasında bir boşluk vermelisiniz.
Google tarafından verilen bir test aracı hizmeti ile Robots.txt dosyanızı sitenize yüledikten sonra gerekli testleri yapabilirsiniz. Robots.txt Test için tıklayın Google test aracı ile Robots.txt dosyanızı test ettiğinizde eğer anlattığımız gibi bir dosya hazırladıysanız herhangi bir sorun çıkmayacaktır fakat buna ramen bir hata alırsanız yada takıldığınız bir konu olursa çekinmeden bizi arayabilir mail yada whatsapp hattımızdan ücretsiz olarak destek alabilirsiniz. 

Yorum Yap