robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir. Arka tarafta kodsal işlemleri biz gerçekleştirdiğimiz için Robots.txt alanına google'da indekslenmesini istemediğiniz linkleri yazmanız yeterlidir.
Robots.txt Ayarlar>Genel Ayarlar> Arama motoru ayarlarının içerisinde yer almaktadır.
Robot. txt kuralları için >>https://support.google.com/webmasters/answer/6062596?hl=tr&ref_topic=6061961 inceleyebilirsiniz.
İlgili Değerler ise;
Engelle... | Örnek |
Sitenin tamamı; düz eğik çizgi ile (/): | Disallow: /
|
Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek: | Disallow: /sample-directory/
|
Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek: | Disallow: /private_file.html
|
Google Görseller'den belirli bir resim: | User-agent: Googlebot-Image
Disallow: /images/dogs.jpg
|
Google Görseller'den sitenizdeki tüm resimler: | User-agent: Googlebot-Image
Disallow: /
|
Belirli türdeki dosyalar (örneğin, .gif): | User-agent: Googlebot
Disallow: /*.gif$
|
Sitenizdeki sayfalar; ancak bu sayfalarda AdSense reklamları gösterilir, Mediapartners-Google dışındaki web tarayıcılarına izin verilmez. Bu uygulama sayfalarınızı arama sonuçlarından gizler, ancak Mediapartners-Google web tarayıcısı sitenizin ziyaretçilerine hangi reklamların görüntüleneceğine karar vermek üzere sayfaları analiz etmeye devam eder. | User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
|
Yönergelerin büyük/küçük harf duyarlı olduğunu unutmayın. Örneğin Disallow: /file.aspkomutu http://www.example.com/file.asp dosyasını engelleyecek, ancakhttp://www.example.com/File.asp dosyasına izin verecektir. Ayrıca Googlebot, robots.txtdosyasındaki bilinmeyen dizinleri ve boşlukları dikkate almaz.
Bu İçerik Faydalı Oldu Mu?