Bu İçerikte Bahsedilen Konular
Robots.txt Nedir? Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerinde nasıl gezinileceğini ve dizine ekleneceğini anlatmak için oluşturabilecekleri bir metin dosyasıdır. WordPress Robots.txt dosyası nasıl optimize edilir? Yoast eklentisi ile robots.txt dosyası nasıl oluşturulur. Makalemizde soruların cevaplarını bulabilir. Robots.txt dosyanızı optimize edebilirsiniz.
Genellikle web sitenizin ana klasörü olarak da bilinen kök dizininde saklanır. Bir Robots.txt dosyasının temel formatı aşağıdaki gibidir.
User-agent: [user-agent name]Disallow: [URL string not to be crawled]User-agent: [user-agent name]Allow: [URL string to be crawled]Sitemap: [URL of your XML Sitemap]User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://siteadi.com/sitemap_index.xmlWordPress Robots.txt Dosyasına mı ihtiyacınız var?
İdeal Bir Robots.txt Dosyası Nasıl Olmalı?
Bir çok popüler blog ve websitesi çok basit bir robots.txt dosyası kullanmaktadır. İçeriği belirli sitenin gereksinimine göre değişebilir.
User-agent: *Disallow:Sitemap: http://www.siteadi.com/post-sitemap.xmlSitemap: http://www.siteadi.com/page-sitemap.xmlUser-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Disallow: /readme.htmlDisallow: /refer/Sitemap: http://www.siteadi.com/post-sitemap.xmlSitemap: http://www.siteadi.com/page-sitemap.xmlWordPress Robots.txt Dosyası Nasıl Oluşturulur?
WordPress Robots.txt Dosyası oluşturmanın iki yolu vardır. FTP ile robots.txt dosyanızı direkt olarak düzenleyebilirsiniz. Dilerseniz Yoast SEO Eklentisi üzerinden de robots.txt dosyanızı düzenleyebilirsiniz. Sizin için en uygun yöntemi seçebilirsiniz.
Yoast SEO Eklentisi ile Robots.txt Dosyası Nasıl Oluşturulur?
Yoast Seo eklentisi kullanıyorsanız, Robots.txt dosya üretici de araçlar kısmında eklenti içerisinde gelmektedir.
WordPress panelinizde Seo>Araçlar sayfasına gitmeni ve Dosya Düzenleyici linkini tıklamanız yeterli olacaktır.
Bir sonraki sayfada Yoast Seo mevcut Robots.txt dosyanızı gösterecektir. Bir Robots.txt dosyanız yoksa Yoast SEO Otomatik olarak oluşturabilir.
Varsayılan olarak, Yoast SEO’nun robots.txt dosya üreticisi, robots.txt dosyanıza aşağıdaki kuralları ekleyecektir:
User-agent: *Disallow: /Varsayılan metni sildikten sonra devam edip kendi robots.txt kurallarınızı ekleyebilirsiniz.
İşiniz bittiğinde, değişikliklerinizi saklamak için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.
