Robots.txt nedir? arama motoru optimizasyonunda sitenizin erişime açık olan ve erişim engeli olan yerleri gösteren bir dosyadır. Bu dosya içerisinde barındırdığı komut sistemiyle, ana dizinde yer alan dosyaları arama motoru Botları için görülür kılmaktadır. Bir noktada arama motorları için kılavuz görevi gören Robots.txt, arama motoru botlarının sitenizi ziyaret ettiğinde ilk kontrol ettikleri adrestir.
Robots.txt Nedir?
Robots.txt içerisinde yer alan kodlar doğrultusunda, sitenizden hangi sayfaları indexleyerek, hangi kısımları indexlemeyeceğini belirleyecektir. Arama motoru optimizasyonun görece kolay fakat en önemli adımlarından birisidir Hızlıca Robots.txt nasıl oluşturulur? dosyası. SEOFD sitesi içerisinde yer alan SEO Araçları sekmesinde, bu dosyayı otomatik şekilde sizin için oluşturabilecek bir araç da yer almaktadır.
Seo Araçlarımızda yer alan Robots.txt aracı ile kısa bir sürede, basitçe dosyayı oluşturup sitenize entegre edebilirsiniz.
Robots.txt Ne İşe Yarar?
Robots.txt ne işe yarar? arama motorları botlarının site içerisinde arama motoru indexi açık olan sayfaların listelerine erişebildikleri dosyaya verilen isimdir. Bu dosya uyarınca botlar site hakkında erişebilen adreslerin verilerini oluşturarak arama motorlarıyla paylaşmaktadır. Index yapısı arama motoru optimizasyon için hayati önem taşımaktadır. Yanlış oluşturulan Robots.txt dosyaları, sitenin arama motoru içerisinde istediği sıralamayı alamamasına sebep olabilir.
Robots.txt Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak, manuel olarak biraz uğraştırıcı bir işlem. Doğrudan manuel olarak oluşturmak yerine SEOFD içerisinde yer alan SEO Araçları içerisinde Robots.txt oluşturma aracı içerisinde saniyeler içerisinde dosyanızı oluşturabilirsiniz. Fakat alternatif olarak kendiniz oluşturmak isterseniz öncelikli olarak bilmeniz gereken belirli aşamalar bulunmaktadır. Bunun ilk adımı site adresiniz üzerinden oluşturacağınız bağlantı linkinin doğrudan /robots.txt adresine yönlendirilmesi gerekmektedir.
Örnek Robots.txt Dosyası
Örneğin: https://seofd.net/robots.txt
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://seofd.net/sitemap.xml
Robots.txt dosyası düze metinden oluşacak şekilde UTF-8 karakter kodları ile oluşturulmalıdır. Bunun için ekstra bir yazılım dili bilmenize de gerek yoktur. Doğrudan oluşturduğunuz metin dosyası üzerinden de tamamlamanız mümkün hale gelebilir.
Robots.txt Komutları
Robots.txt içerisinde arama motorlarını yönlendirmek için belirli komutlar yer almaktadır. Bu komutlar ile hem arama motoru botlarını yönlendirebilir hem de arzuladığınız gibi belirli içerikleri gizli hale getirebilirsiniz.
Grup Komutları: Arama motorları botlarının siteniz üzerinde yer alan içeriklere erişimini, indexini, izinlerini ve tarama geciktirmesi gibi ayarlar için kullanılmaktadır.
Grup Dışı Komutlar: Site haritası belirleme ve eylem biçimleri oluşturma.
User-agent: Bu komut yapısı sayesinde web siteniz içerisinde taramaya izin verip vermediğiniz alanları doğrudan belirleyebilirsiniz. * işaretini kullanarak izleyeceği yolu da gösterebilirsiniz.
Dizin Engelleme: Disallow veya Allow komutlarını oluşturarak konut dizini içerisinden site üzerinde olan belirli sayfalara erişim sağlayabilir ya da kaldırabilirsiniz.
Tarama Geciktirme: Bu komut ile birlikte, arama botlarının siteniz üzerinden oluşturacağı arama tarama zamanını kısıtlamanız mümkün olmaktadır.
Tercih edeceğiniz opsiyonel Robots.txt hazırlama biçimlerine nazaran kullanıcı dostu bir arayüz sağlayan SEOFD SEO Araçları, sizlere ücretsiz şekilde Robots.txt hazırlamanız konusunda yardımcı olmaktadır.
Robots.txt Dosyasının SEO için Önemi
Robots.txt dosyası direk olarak SEO kriterlerinden bir tanesidir. Google botları web sitenize uğradığı zaman direk olarak bu dosyaya göz attığını söylemiştik. Güvenlik açısından da oldukça önemlidir. Çünkü web sitenizin admin panellerinin SERP sonuçları arasında yer almasını istemeyiz. Bu içeriğimizde Robots.txt Nedir? ve Robots.txt Nasıl Oluşturulur? başlıklarına cevap verdiğimizi düşünüyoruz.
