Arama motorlarının ilgili site için hangi dosya, sayfa ya da yazıların taranıp taranmayacağına karar vermesine yardımcı olan robots.txt varsayılan WordPress kurulumunda olmaz. Bu yazımda WordPress robots.txt örneğini sizinle paylaşacağım.

Öncelikle masaüstünüzde bir robots.txt dosyası oluşturun. Veya FTP, cPanel dosya düzenleyicisinda robots.txt oluşturun. Eğer sunucu üzerinde oluşturacaksanız ana dizinde oluşturmalısınız.

Daha sonra dosyanın içeriğine şunu ekleyin.

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /attachments/
Disallow: /?attachment_id=*
Disallow: /?replytocom=*

Sitemap: https://wpdoz.com/sitemap.xml

Son satırda olan kısma kendi sitemap URL’nizi ekleyiniz.