robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan  Robotları Engelleme Standardı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir. Arka tarafta kodsal işlemleri biz gerçekleştirdiğimiz için Robots.txt alanına google'da indekslenmesini istemediğiniz linkleri yazmanız yeterlidir. 

Robots.txt Ayarlar > Genel Ayarlar > Arama motoru bilgileri ayarı içerisinde yer almaktadır.
Robot. txt kuralları için; 
https://support.google.com/webmasters/answer/6062596?hl=tr&ref_topic=6061961 inceleyebilirsiniz.

İlgili Değerler ise;

Engelle...	Örnek
Sitenin tamamı; düz eğik çizgi ile (/):	Disallow: /
Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek:	Disallow: /sample-directory/
Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek:	Disallow: /private_file.html
Google Görseller'den belirli bir resim:	User-agent: Googlebot-Image Disallow: /images/dogs.jpg
Google Görseller'den sitenizdeki tüm resimler:	User-agent: Googlebot-Image Disallow: /
Belirli türdeki dosyalar (örneğin, .gif):	User-agent: Googlebot Disallow: /*.gif$
Sitenizdeki sayfalar; ancak bu sayfalarda AdSense reklamları gösterilir, Mediapartners-Google dışındaki web tarayıcılarına izin verilmez. Bu uygulama sayfalarınızı arama sonuçlarından gizler, ancak Mediapartners-Google web tarayıcısı sitenizin ziyaretçilerine hangi reklamların görüntüleneceğine karar vermek üzere sayfaları analiz etmeye devam eder.	User-agent: * Disallow: / User-agent: Mediapartners-Google Allow: /

Not: Yönergelerin büyük/küçük harf duyarlı olduğunu unutmayın. Örneğin Disallow: /file.asp komutu http://www.example.com/file.asp dosyasını engelleyecek, ancak http://www.example.com/File.asp dosyasına izin verecektir. Ayrıca Googlebot, robots.txtdosyasındaki bilinmeyen dizinleri ve boşlukları dikkate almaz.