Robots.txt Dosyası Nedir? Bilinmesi Gereken Her Şey!

Robots.txt Nedir?

Robots.txt, web yöneticilerinin arama motoru botlarına web sitelerindeki sayfaların nasıl taranacağını bildirmek için oluşturdukları bir metin dosyasıdır.

Bu dosya websitesinin kök dizininde bulunur bu nedenle adresi de siteadi.com/robots.txt şeklindedir.

Podcast olarak dinlemek isterseniz:

Robots.txt Yönergeleri — Talimatları

Standart bir robots.txt dosyası user-agent (kullanıcı aracısı) ve disallow komutu ile oluşturulur.

Allow komutu varsayılan olduğu için belirtilmesine ihtiyaç yoktur.

Ancak disallow komutuyla taranmasını istemediğimiz alt dosyalarda taranmasını istediğimi bir sayfa varsa bunu o sayfa özelinde disallow komutunu geçersiz kılmak için allow komutunu kullanmamız gerekir.

Robots.txt Söz Dizimi

User-agent: Web tarayıcı ismi

Disallow: Bir kullanıcı aracısına belirli bir URL’yi taramamasını söylemek için kullanılan komut.

Allow: Googlebot’a, üst sayfasına veya alt klasörüne izin verilmemiş olsa bile bir sayfaya veya alt klasöre erişebileceğini söyleyen komut.

Crawl-delay: Bir tarayıcının sayfa içeriğini yüklemeden ve taramadan önce kaç saniye beklemesi gerektiği. (googlebot için geçerli değildir, search console tarama hızı bölümünden ayarlayabilirsiniz)

Robots.txt Örnekleri

1. Tüm web crawlerlarını sitedeki tüm içerikten engellemek:

• User-agent: *
• Disallow: /

2. Tüm web crawlerlarının sitedeki tüm içeriği taramasına izin verme:

• User-agent: *
• Disallow:

3. Bir klasörden bir arama motoru botunu engellemek:

• User-agent: Googlebot
• Disallow: /onemli-dosya/

4. Bir arama motoru botunu spesifik bir sayfadan engellemek:

• User-agent: Googlebot
• Disallow: /dosya/engellenen-sayfa

Robots.txt ile ilgili kesinlikle bilinmesi gerekenler

• Robots.txt dosyasının bulunabilir olması için website kök dizininde bulunmalıdır.
• Robots.txt dosyası küçük/büyük harfe duyarlıdır. ”robots.txt” şeklinde olmalıdır.(Robots.txt veya robots.TXT şeklinde olmamalıdır.)
• Subdomainler ayrı robots.txt dosyası kullanırlar. Yani blog.siteadi.com/robots.txt ve siteadi.com/robots.txt dosyaları birbirinden ayrıdır.
• Robots.txt dosyasının alt bölümünde site haritalarını belirtmek opsiyoneldir.
• Tüm internet tarayıcıları (botları) arşivine bu adresten ulaşabilirsiniz: http://www.robotstxt.org/db.html
• “User-agent: * Disallow: /” gibi bir komutta * işareti tüm tarayıcıları kapsar ancak bazı Adsbot gibi tarayıcıları kapsamayabilir. Buna da dikkat etmemiz gerekir.

Robots.txt Dosyası Neden Gereklidir?

• Yinelenen içeriğin SERP’de görünmesini engellemek için,
• Websitesinin yapım aşamasında gizli tutmak istediğiniz bölümleri olabileceği için,
• Site içi arama sonuçlarının dizinlerden kaldırılması için,
• Websitenizdeki indexlenmesini istemediğiniz dosyaları arama motorlarına bildirmek için,
• Taranma gecikmesi belirterek sunuculara aşırı yüklenme durumunu kontrol altına alabilmek için.

#Not: Gizli veriler (kullanıcı bilgileri gibi) için robots.txt dosyası kullanılmaz, bu sayfalar için noindex etiketi veya parola koruması oluşturarak arama sonuçlarından engellenmesi gerekir,

Robots.txt site düzeyinde taranma davranışını kontrol ederken meta robots etiketleri tek bir sayfa düzeyindeki davranışı kontrol ederler.