Google'da Siteniz İçin Robots.txt'e Giriş

Robots.txt dosyası, arama motorlarına sitenizdeki URL'lerin dizinleri için kullanılabilir olabileceğini söyler. Bu dosya öncelikle sitenizi isteklerle aşırı yüklemekten kaçınmak için kullanılır; Bir web sayfasını Google aramasının sonuçlarından hariç tutmanın bir yolu değildir. Bir sayfayı Google'daki arama sonuçlarından hariç tutmak istiyorsanız, NoindEx Methag'ı kullanın veya sayfayı bir şifre ile koruyun.

WIX veya Blogger gibi CMS kullanıyorsanız, robots.txt dosyasını doğrudan düzenlemek için ihtiyacınız olmayabilir (veya imkansız). Bunun yerine, CMS'niz sayfanızın taranması gerekip gerekmediğini, arama motorlarını belirtmek için bir arama ayarları sayfası veya başka bir mekanizma sağlayabilir.

Sayfalarınızdan birini arama motorları için gizlemek veya açmak istiyorsanız, CMS'nizdeki arama motorlarında sayfa görünürlüğünü değiştirme talimatlarını arayın (örneğin, "Arama Motorlarından Bir Sayfayı Gizle").

Robots.txt dosyası nedir ve Google siteniz için nasıl kullanılır?

Robots.txt dosyası öncelikle arama motorlarının sitenize trafiğini kontrol etmek için ve genellikle dosyayı dosyanın türüne bağlı olarak Google dizininden hariç tutmak için kullanılır:

Robots.txt, Google siteniz için farklı dosya türlerini nasıl etkiler?

Web sayfaları

Sunucunuzun Google Arama Robotundan isteklerle aşırı yükleneceğini düşünüyorsanız veya sitenizdeki uzun veya yinelenen sayfalardan kaçınmak için Robots.txt dosyasını web sayfaları (, PDF veya Google'ın okuyabileceği diğer formatlar veya diğer formatlar) için kullanabilirsiniz.

Uyarı: Robots.txt dosyasını, Google aramasının sonuçlarından bir web sayfasını (PDF ve Google tarafından desteklenen diğer metin formatları dahil) gizlemenin bir yolu olarak kullanmayın.

Diğer sayfalar sayfanıza açıklayıcı metinle başvuruyorsa, Google sayfayı ziyaret etmeden URL'yi dizine ekleyebilir. Sayfayı arama sonuçlarından tamamen hariç tutmak istiyorsanız, şifre koruması veya Noindex Metatheg gibi diğer yöntemleri kullanın.

Web sayfanız robots.txt dosyasında engellenirse, URL'si arama sonuçlarında görünebilir, ancak açıklama sonuçlarda görüntülenmez. Engelleme için izin verilen diğer sayfalarda belirtilmezse, medya dosyaları, videolar, PDF ve engellenen sayfaya yerleştirilmiş diğer dosyalar da taranmayacaktır. Sayfanız için bu arama sonucunu görürseniz ve düzeltmek istiyorsanız, robots.txt'i silin. Sayfayı Google'daki aramadan tamamen gizlemek istiyorsanız, başka bir yöntem kullanın.

Medya dosyaları

Trafik endekslemesini kontrol etmek ve Google aramasının sonuçlarında resim, video ve ses dosyalarının görünümünü önlemek için robots.txt dosyasını kullanabilirsiniz. Bu, medya dosyalarınıza diğer sayfalardan veya kullanıcılardan bağlantıları önlemez.

Google'da görüntülerin görünümünü nasıl önleyeceğiniz hakkında daha fazla bilgi edinin.
Video dosyalarını Google'daki görünümden nasıl sileceğiniz veya sınırlandıracağınız hakkında daha fazla bilgi edinin.

Kaynak dosyaları

Bu kaynak olmayan sayfaların önemli ölçüde değişmeyeceğini düşünüyorsanız, önemsiz resimler, komut dosyaları veya stiller gibi kaynak dosyalarını engellemek için robots.txt dosyasını kullanabilirsiniz. Ancak, bu kaynakların yokluğu Google robotunun endekslenmesini karmaşıklaştırırsa, bunları engellemeyin, aksi takdirde Google bu kaynaklara bağlı sayfaları doğru bir şekilde analiz edemez.

Google siteniz için robots.txt dosyasındaki kısıtlamaları anlamak

Robots.txt dosyasını oluşturmadan veya düzenlemeden önce, bu URL kilitleme yöntemindeki kısıtlamaları anlamalısınız. Hedeflerinize ve durumunuza bağlı olarak, URL'lerinizin internette bulunamayacağından emin olmak için diğer mekanizmaları göz önünde bulundurmanız gerekebilir.

Robots.txt dosya kuralları tüm arama motorları tarafından desteklenmeyebilir. Robots.txt dosyasındaki talimatlar robotların davranışını zorla etkileyemez; Robotun bu talimatları izleyip izlemeyeceğine bağlıdır. Googlebot ve diğer saygın Web Crauls robots.txt dosya kurallarını takip etse de, diğer Kralers bunu yapmayabilir. Bu nedenle, güvenlik bilgilerini Web Crauls'tan kaydetmek istiyorsanız, diğer kilitleme yöntemlerini kullanmak, örneğin dosyaları bir şifre ile korumak daha iyidir.
Farklı crawles sözdizimini farklı şekillerde yorumlayabilir. Sevgili Web Crauls'un robots.txt dosyasının kurallarına uymasına rağmen, her Kraler bu kuralları farklı yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı Web Cracer'lara atıfta bulunmak için doğru sözdizimini bilmelisiniz.
Robots.txt dosyasında yasaklanan sayfa, diğer sitelerden kendisine bağlantılar varsa yine de dizine eklenebilir. Google, robots.txt'de engellenen içeriği taramayacak ve dizine eklemese de, İnternet'teki diğer sayfalardan bağlantılar varsa yasak URL'yi bulabilir ve dizine ekleyebilir. Sonuç olarak, URL adresi ve muhtemelen sayfaya bağlantılar metni gibi halka açık diğer veriler Google aramasının sonuçlarında görünebilir. Google aramasının sonuçlarında URL'nizin görünümünü tamamen önlemek için şifre koruması, noindex metag kullanın veya sayfayı silin.

Dikkat: Kraling ve endeksleme için çeşitli kuralları birleştirmek, kurallar arasında bir çatışmaya neden olabilir. Kraling kurallarını nasıl birleştireceğinizi endeksleme ve ekranla nasıl birleştireceğinizi öğrenin.

Google siteniz için robots.txt dosyasının oluşturulması veya güncellenmesi

Bir robots.txt dosyasına ihtiyacınız olduğuna karar verirseniz, nasıl oluşturulacağınızı öğrenin. Dosya zaten varsa, nasıl güncelleneceğini öğrenin.

Google'da siteniz için önerilen bilgiler

Robots.txt dosyasını Google'a Oluşturma ve Gönderme

Robots.txt dosyası sitenizin kökünde olmalıdır. Robots.txt dosyasının nasıl oluşturulacağını öğrenin, örneklere bakın ve robots.txt dosya kurallarını inceleyin.

Güncellenmiş robots.txt dosyasını Google'a gönderme

Robots.txt raporunu kullanarak, Google'ın robots.txt dosyalarınızı işleyip işleyemeyeceğini kolayca kontrol edebilirsiniz. Güncellenmiş robots.txt dosyalarını Google'a göndermek için bu adımları izleyin.

Google, robots.txt dosyasının özelliklerini nasıl yorumluyor

Robots.txt dosyası için çeşitli kuralların ayrıntılarını ve Google'ın robots.txt dosyasının özelliklerini nasıl yorumladığını keşfedin.

Google siteniz için robots.txt dosyası veya SEO'nun diğer yönleri hakkında sorularınız varsa, SEO şirketi "SEO.computer" ile e -posta ile iletişime geçebilirsiniz: info@seo.computer veya whatsapp aracılığıyla: +79202044461.

ID 25