Robots.txt Üretici
Arama motoru botları için doğru kurallara sahip robots.txt hazırlayın.
Robots.txt Üretici nedir?
robots.txt Oluşturucu, arama motoru robotlarının sitenizde nereleri tarayabileceğini bildiren dosyayı hazırlar. Yaygın bir yanlış anlamayı baştan belirtmek gerekir: robots.txt tarama kontrolüdür, gizlilik ya da dizine ekleme kontrolü değildir. Engellenen bir adres başka sayfalardan bağlantı alıyorsa yine de arama sonuçlarında görünebilir; dizinden çıkarmak için noindex kullanılır.
Ne işe yarar?
- Yönetim paneli ve arama sonucu sayfalarını taramadan çıkarmak
- Sitemap adresini robotlara bildirmek
- Belirli botlar için ayrı tarama kuralları tanımlamak
Nasıl kullanılır?
- 1İzin verilecek ve engellenecek yolları belirtin.
- 2Sitemap adresinizi ekleyin.
- 3Üretilen dosyayı indirip sitenizin kök dizinine yükleyin.
Benzer araçlar
SEO AraçlarıMeta Etiket Üretici
Title, description, robots ve sosyal medya meta etiketlerini hazır alın.
SEOSlug Üretici
Türkçe karakterleri düzelterek SEO dostu URL slug’ları oluşturun.
SEOSchema Üretici
Article, FAQ, Product ve LocalBusiness için JSON-LD schema kodu üretin.
SEOSitemap Üretici
URL listenizden geçerli bir XML sitemap dosyası oluşturun.
SEOOpenGraph Üretici
Bağlantılarınızın sosyal medyada doğru görünmesi için OG etiketleri üretin.
SEOKelime Yoğunluğu Analizi
Metninizdeki anahtar kelime yoğunluğunu ve tekrar oranlarını ölçün.
SEOSık sorulan sorular
Alan adının kök dizinine, yani https://siteniz.com/robots.txt adresine. Alt klasörlerdeki dosyalar dikkate alınmaz.
Disallow robotun sayfayı taramasını engeller; noindex ise sayfanın arama sonuçlarına eklenmesini engeller. Bir sayfayı sonuçlardan çıkarmak istiyorsanız robots.txt ile engellemeyin — çünkü engellerseniz robot noindex etiketini okuyamaz.
Zorunlu değildir. Dosya yoksa robotlar her yeri tarayabilir varsayar. Yine de sitemap adresini bildirmek için eklemek faydalıdır.