robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir. Arka tarafta kodsal işlemleri biz gerçekleştirdiğimiz için Robots.txt alanına google'da indekslenmesini istemediğiniz linkleri yazmanız yeterlidir.

Robots.txt Ayarlar>Genel Ayarlar> Arama motoru ayarlarının içerisinde yer almaktadır.

 

 

Robot. txt kuralları için  >>https://support.google.com/webmasters/answer/6062596?hl=tr&ref_topic=6061961  inceleyebilirsiniz.

İlgili Değerler ise;

 

Engelle...

Örnek

Sitenin tamamı; düz eğik çizgi ile (/):

Disallow: /

Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek:

Disallow: /sample-directory/

Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek:

Disallow: /private_file.html

Google Görseller'den belirli bir resim:

User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

Google Görseller'den sitenizdeki tüm resimler:

User-agent: Googlebot-Image

Disallow: /

Belirli türdeki dosyalar (örneğin, .gif):

User-agent: Googlebot

Disallow: /*.gif$

Sitenizdeki sayfalar; ancak bu sayfalarda AdSense reklamları gösterilir, Mediapartners-Google dışındaki web tarayıcılarına izin verilmez. Bu uygulama sayfalarınızı arama sonuçlarından gizler, ancak Mediapartners-Google web tarayıcısı sitenizin ziyaretçilerine hangi reklamların görüntüleneceğine karar vermek üzere sayfaları analiz etmeye devam eder.

User-agent: *

Disallow: /

User-agent: Mediapartners-Google

Allow: /

Yönergelerin büyük/küçük harf duyarlı olduğunu unutmayın. Örneğin Disallow: /file.aspkomutu http://www.example.com/file.asp dosyasını engelleyecek, ancakhttp://www.example.com/File.asp dosyasına izin verecektir. Ayrıca Googlebot, robots.txtdosyasındaki bilinmeyen dizinleri ve boşlukları dikkate almaz.