Bir istek bırakın
Google gibi arama motorlarının otomatik robotları, kaynağı gözden geçirmeden önce dosyaya başvurun robots.txtsitenizin kökünde bulunan. Bu dosya, hangi bölümlerin taranmasına izin verilen ve hangilerinin olmadığı talimatları içerir. Böyle bir protokolün farklı çalışan kullanıcı hizmetleri veya güvenlik araçları için geçerli olmadığını anlamak önemlidir.
Robotların kaynağın belirli bölümlerine erişimini sınırlamak için sitenizde bir dosya oluşturabilirsiniz robots.txtHer robot için kuralların reçete edildiği. Yapının örneği:
User-agent: * Disallow: /includes/ User-agent: Googlebot Allow: /includes/ Sitemap: https://example.com/sitemap.xml
Bu dosya, sitenin hangi bölümlerinin endekslenebileceğini ve hangisinin no. Sıfırdan öğrenmek için, temel iş ilkelerine aşina olmanız önerilir. robots.txt ve derlemesi için öneriler.
Dosya kesinlikle sitenin kökünde olmalıdır (örneğin, https://ваш_сайт/robots.txt). Sadece yerleştirildiği alan, protokol ve bağlantı noktası kombinasyonu için çalışır. Podomeni, diğer bağlantı noktaları ve protokoller ayrı bir dosya gerektirir robots.txt.
https://example.com/robots.txt - için çalışıyor https://example.com/Ama için değil http:// veya diğer alt alanlar.https://www.example.com/robots.txt - Yalnızca kapaklar www.ftp://example.com/robots.txt -Yalnızca FTP protokolü için başvururuz.Bir dosya almaya çalışırken cevap koduna bağlı olarak robots.txt, arama robotlarının davranışı değişiyor:
Robotlar, dosyanın içeriğini 24 saate kadar önbelleğe alabilir, ancak sorunlar (zaman aşımları, hatalar) durumunda son tarih artar. Başlıklar Cache-Control Ayrıca önbellekleme davranışını da etkiler.
Dosya, CR, CR/LF veya LF çizgilerinin bölücüleri ile UTF-8 kodlamasında olmalıdır. Yanlış semboller veya -Content yok sayılır. İzin verilen maksimum dosya boyutu 500 KIB, geri kalanı göz ardı edilir.
Her satır bir anahtar, kolon ve değerlerden oluşur. İşaretten sonra yorum eklemesine izin verilir #. Aşağıdaki alanlar desteklenir:
Tüm yollar sicile duyarlıdır ve /.
Anlam user-agent Kayıt'a duyarlı değil. Belirli kuralları belirtmek için robotun tam adını kullanın, aksi takdirde küresel şablon kullanılır *.
Robotların belirtilen yollarla erişimini sınırlar. Ancak, URL hala sayfa parçası olmadan arama sonuçlarında görünebilir.
Kısmen yasaklama kurallarına girseler bile, belirli yollara erişime izin verir.
Site kartına bağlantılar yayınlamasına izin verilir. Birkaç tane olabilir. Adres mutlak ve doğru olmalıdır. Ayrı olarak yasaklanmamışsa, tüm robotlar için geçerlidirler.
Bir dizi kural kümesi, kullanıcı ajanı satırlarını temel kuralların önünde birbiri ardına tekrar ederek birkaç kullanıcı aracısına uygulanabilir.
En spesifik kullanıcı ajanı seçilir. Birkaç tesadüf bulunursa, en uzun ve en doğru alınır. Genel Kurallar * Özel olanlarla birleştirilmedi.
Birkaç blok bir robota aitse, otomatik olarak birleştirilir. Site haritası gibi kalan çizgiler gruplama sırasında dikkate alınmaz.
Kuraldan gelen yol, sayfanın sayfası ile karşılaştırılır. Semboller Çalışıyor * (herhangi bir sembol, 0 veya daha fazla) ve $ (hattın sonu). Örnekler:
/ - Sitenin kökü ve yatırılan tüm URL'lerle çakışır./fish - başlayan tüm yollar /fish./fish/ - Sonunda sadece eğik çizgi belirtiliyor./*.php - Genişletme .php./*.php$ - Yalnızca .php ile bitenler.Çatışan kurallar aynı anda mevcutsa, yol boyunca daha uzun ve daha az kısıtlayıcı olan kullanılır. Yani, tartışmalı durumlarda, en doğru çözümleme kuralına öncelik verilir.
Siteniz için bir robots.txt dosyası oluşturma, kontrol etme veya kurma konusunda yardım almak istiyorsanız, SEO Ajansı ile iletişime geçin. CEO. E -postayla yazın: info@seo.computer Veya WhatsApp'ta: +7 920 204 44 61.
ID: 159
