WordPress Robots.txt Nasıl Optimize Edilir?


Robots.txt nedir
Robots.txt nedir

Robots.txt Nedir? Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerinde nasıl gezinileceğini ve dizine ekleneceğini anlatmak için  oluşturabilecekleri bir metin dosyasıdır. WordPress Robots.txt dosyası nasıl optimize edilir? Yoast eklentisi ile robots.txt dosyası nasıl oluşturulur. Makalemizde soruların cevaplarını bulabilir. Robots.txt dosyanızı optimize edebilirsiniz.

Genellikle web sitenizin ana klasörü olarak da bilinen kök dizininde saklanır. Bir Robots.txt dosyasının temel formatı aşağıdaki gibidir.

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Belirli URL’lere izin vermek veya vermemek ve birden fazla site haritası eklemek için birden fazla talimat satırınız olabilir. Bir URL’e izin vermezseniz arama motoru botları URL’i taramaz.
Örnek Robots.txt dosyası aşağıdaki gibidir.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://siteadi.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde arama motorlarının WordPress uploads klasöründeki dosyaları taramasına ve dizine eklemesine izin verdik.
Bundan sonra arama motoru botları eklentileri ve WordPress WP-Admin klasörlerini taramasına ve indexlemesini engelledik.
Son olarak, XML site haritamazın URL’ini ekledik.

WordPress Robots.txt Dosyasına mı ihtiyacınız var?

Bir robots.txt dosyanız yoksa, arama motorları yine de web sitenizi tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramaması gerektiğini söyleyemezsiniz.
Bir blog’a ilk kez başladığınızda ve çok fazla içeriğiniz olmadığında bunun bir etkisi olmaz.
Bununla birlikte, web siteniz büyüdükçe ve çok fazla içeriğiniz oldukça, arama motorunun web sitenizi nasıl tarandığı ve dizine eklendiği konusunda kontrol sahibi olmak isteyebilirsiniz.
Arama motoru botlarının her web sitesi için tarama kotası bulunmaktadır. Bu bir gezinme oturumu sırasında belirli bir sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı tamamlamazlarsa, geri dönecekler ve bir sonraki oturumda taramaya devam edecekler. Bu web sitenizin indexlenme oranını yavaşlatabilir.

İdeal Bir Robots.txt Dosyası Nasıl Olmalı?

Bir çok popüler blog ve websitesi çok basit bir robots.txt dosyası kullanmaktadır. İçeriği belirli sitenin gereksinimine göre değişebilir.

User-agent: *
Disallow:
Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml
Bu robots.txt dosyası tüm botların, tüm içeriği indexlemesini sağlar ve web sitesinin XML site haritalarına bağlantı verir.
WordPress siteleri için Robots.txt dosyasında aşağıdaki kuralları öneririz.
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.siteadi.com/post-sitemap.xml
Sitemap: http://www.siteadi.com/page-sitemap.xml
Bu robots.txt dosyası ise; arama motoru botlarına tüm WordPress resimlerini ve dosyalarını indexlemesini söylüyor. Arama motoru botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress beni oku dosyasını ve bağlı kuruluş dosyalarını indexlemesini engeller.
Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
Artık ideal bir robots.txt dosyasının neye benzediğini öğrendiğinize göre WordPress’te nasıl bir robots.txt dosyası oluşturabileceğinize bir göz atalım.

WordPress Robots.txt Dosyası Nasıl Oluşturulur?

WordPress Robots.txt Dosyası oluşturmanın iki yolu vardır. FTP ile robots.txt dosyanızı direkt olarak düzenleyebilirsiniz. Dilerseniz Yoast SEO Eklentisi üzerinden de robots.txt dosyanızı düzenleyebilirsiniz. Sizin için en uygun yöntemi seçebilirsiniz.

İlginizi Çekebilir :  8 Adımda Natro WordPress Hosting Paneli

Yoast SEO Eklentisi ile Robots.txt Dosyası Nasıl Oluşturulur?

Yoast Seo eklentisi kullanıyorsanız, Robots.txt dosya üretici de araçlar kısmında eklenti içerisinde gelmektedir.

WordPress panelinizde Seo>Araçlar sayfasına gitmeni ve Dosya Düzenleyici linkini tıklamanız yeterli olacaktır.

WordPress Robots.txt Dosyası Nasıl Optimize Edilir
WordPress Robots.txt Dosyası Nasıl Optimize Edilir

Bir sonraki sayfada Yoast Seo mevcut Robots.txt dosyanızı gösterecektir. Bir Robots.txt dosyanız yoksa Yoast SEO Otomatik olarak oluşturabilir.

Yoast SEO Eklentisi ile Robots.txt Dosyası Nasıl Oluşturulur?
Yoast SEO Eklentisi ile Robots.txt Dosyası Nasıl Oluşturulur?

Varsayılan olarak, Yoast SEO’nun robots.txt dosya üreticisi, robots.txt dosyanıza aşağıdaki kuralları ekleyecektir:

User-agent: *
Disallow: /

Varsayılan metni sildikten sonra devam edip kendi robots.txt kurallarınızı ekleyebilirsiniz.

İşiniz bittiğinde, değişikliklerinizi saklamak için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.


Natro Blog
Türkiye - İstanbul Merkezli natro.com; 1999 yılından bu yana Alan adı servisleri, web Hosting, sunucu kiralama ve barındırma, Güvenlik çözümleri gibi ürünlerle uluslararası web hosting sektöründe hizmet vermektedir.

One Comment

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir