Siteniz için Google'a bir robots.txt dosyası nasıl oluşturulur ve gönderilir

Siteniz için barındırma hizmetini kullanıyorsanız, örneğin WIX veya Blogger, robots.txt dosyasını doğrudan düzenlemeniz gerekmeyebilir. Bunun yerine, sağlayıcınız arama motorlarını belirtmek için bir arama ayarları sayfası veya başka mekanizmalar sağlayabilir, sitenin hangi sayfalarının dizine eklenebileceği ve hangileri olmadığı.

Arama motorlarından sayfalardan birini gizlemek veya açmak istiyorsanız, örneğin “WIX'teki Arama Motorları'ndan bir sayfa nasıl gizlenir” bir arama sorgusu ile barındırmanızdaki sayfa görünürlüğünü değiştirme talimatlarını okuyun. Bu, robots.txt dosyasını kullanarak arama robotlarını atlamak için hangi dosyaların kullanılabilir olabileceğini kontrol etmenize yardımcı olacaktır.

Google siteniz için robots.txt dosyasını oluşturmanın ve kullanmanın temelleri

Robots.txt dosyası sitenizin kökünde bulunur. Örneğin, www.example.com için robots.txt dosyası www.example.com/robots.txt adresinde bulunur. Bu, Robots Dışlama Standart İstisna Standardını izleyen normal bir metin dosyasıdır.

Robots.txt dosyası, her biri belirli bir robotun sitedeki belirtilen yola erişimini engelleyen veya erişmesine izin veren bir veya daha fazla yönergeden oluşur. Varsayılan olarak, aksi belirtilmedikçe, sitedeki tüm dosyalara baypas için izin verilir.

Google siteniz için robots.txt temel dosyasının bir örneği

İşte iki kuralı olan basit bir robots.txt dosyası örneği:

User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml

Bu dosya ne anlama geliyor:

Googlebot robotu https://example.com/nogooglebot/ ile başlayarak URL'yi atlayamaz.
Diğer tüm robotlar tüm siteyi atlayabilir. Bu kural atlanabilir, çünkü varsayılan olarak tüm robotlar siteyi atlayabilir.
Site, https://www.example.com/sitemap.xml adresinde bulunan bir site kartı kullanır.

Google web siteniz için bir robots.txt dosyası nasıl oluşturulur ve test edilir

Robots.txt dosyası oluşturma ve testi birkaç aşamadan oluşur:

Robots.txt adlı bir dosya oluşturun.
İlgili arama kurallarını dosyaya ekleyin.
Загрузите файл robots.txt в корень вашего сайта.
Arama motorları için dosyanın kullanılabilirliğini ve doğruluğunu kontrol edin.

Google web sitenizde rabots.txt için kurallar nasıl yazılır

Robots.txt dosyasındaki kurallar, sitenizin hangi bölümlerinin atlanabileceğini robotları belirtmek için tasarlanmıştır. Kuralları yazmak için birkaç öneri:

Her kural, kuralların hangi arama robotunun uygulandığını belirleyen bir kullanıcı ajanı göstergesi ile başlar.
Her kural ayrıca izin vermeyebilir (baypas yasağı için) ve izin verebilir (bypass'ı çözmeye). Örneğin:

User-agent: Googlebot
Disallow: /private/
User-agent: *
Allow: /

Google siteniz için robots.txt testi

Robots.txt dosyasını siteye indirdikten sonra, arama robotları için kullanılabilir olduğunu test ettiğinizden emin olun. Bunu yapmak için tarayıcınızdaki gizli pencereyi açın ve örneğin, https://example.com/robots.txt'e robots.txt adresine gidin. Dosyanızın içeriğini görürseniz, işleme için kullanılabilir olduğu anlamına gelir.

İşaretlerle ilgili sorunları test etmek ve ortadan kaldırmak için şunları kullanabilirsiniz:

Robots.txt Raporu Google Arama Konsolu'nda (dosya sitenizde mevcutsa).
Yerel dosya robots.txt test etmek için Google Kütüphanesini kullanma.

Google'a robots.txt dosyası nasıl gönderilir

Robots.txt dosyası yüklendikten ve test edildikten sonra, Google Robotlar otomatik olarak bulur ve kullanmaya başlar. Dosyayı manuel olarak göndermeye gerek yoktur. Ancak, dosyayı güncellediyseniz ve Google'ın önbellekte hızlı bir şekilde yükseltmesini istiyorsanız, Google arama konsolunda robots.txt güncelleme işlevini kullanabilirsiniz.

Google siteniz için kullanışlı robots.txt kuralları

İşte robots.txt dosyasının bazı yararlı örnekleri:

Tüm sitenin bypass'ını yasaklamak için:

 User-agent: *
 Disallow: /

Belirli bir dizinin bir sapmasını yasaklamak için:

 User-agent: *
 Disallow: /private/

Yalnızca belirli bir robotu çözmek için:

 User-agent: Googlebot
 Allow: /
 User-agent: *
 Disallow: /

Google'da siteniz için robots.txt ve seo ile ilgili açıklamalar için kişiler

Robots.txt dosyasını veya diğer SEO sorunlarını ayarlama hakkında sorularınız varsa, SEO Companion'umuzla iletişime geçebilirsiniz. info@seo.computer veya WhatsApp aracılığıyla numaraya göre +79202044461.

ID: 4