Robots.txt Dosyası Nedir
Robots.txt dosyası, web sitenize gelen arama motoru robotlarının uğradığı bölümdür. Arama motoru robotlarının buraya uğramasının sebebi, sizin web sitenizdeki sayfaların hangisini indexleyeceğini öğrenmektir. Bu yüzden SEO’da büyük bir etkisi vardır.
Robots.txt Dosyası Nerede Bulunur
Robots.txt dosyası web sitenizin ana dizininde public_html klasöründe bulunur. Arama motorları, robotlarında ana kök dizine bakarlar. O yüzden robots.txt dosyasını ana dizinde oluşturmamız gerekiyor.
Robots.txt Dosyası Oluşturma
Robots.txt dosyası oluşturmak çok kolaydır. Robots.txt dosyasını oluşturmak için 3 tane seçeneğimiz bulunmakta. İlk seçenekle başlayalım.
Elle Oluşturmak
Öncelikle web sitemizin ana dizinine dosya yöneticisinden veya FTP olarak bağlanalım. Daha sonra yeni dosya oluştur diyerek ismini robots.txt yapalım.
Robots.txt dosyasımızı oluşturduk. Şimdi ise terimleri ve içine neler yazacağımızı anlatacağım.
User-agent : Arama motoru robotunun adı
Allow : Dizine girmesine izin vermek
Disallow : Dizine girmesine engellemek
Crawl-delay : Arama motoru robotunun dizinleri kaç dakika tarayacağı
Sitemap : Site haritasını belirtme
Robots.txt dosyasının terimleri bunlardır. Şimdi ise bu terimleri kullanarak kendi web sitemize bir robots.txt dosyası hazırlayacağız.
Örnek 1 : WordPress için robots.txt dosyası
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://ardacar.com/sitemap.xml
Bu robots.txt wordpressler için hazırlanmıştır. WordPress kullanıyorsanız site haritası yerini değiştirerek aynısını kullanabilirsiniz.
Örnek 2 : Normal bir web site için robots.txt dosyası
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Sitemap: https://ardacar.com/sitemap.xml
Bu robots.txt dosyası HTML5 temalar veya hazır scriptler için uygun olabilir. Arama motor robotlarının bakmak istemediğiniz yerleri Disallow koduyla engelleyebilirsiniz.
Böylece bu örneklerdeki gibi elle robots.txt dosyası oluşturabilirsiniz. Şimdi ikinci seçeneğimize geçelim.
Eklenti İle Oluşturmak
WordPress kullanıyorsanız zaten çoğu eklenti ile otomatik olarak robots.txt dosyasını oluşturacaktır. Bazı robots.txt dosyası oluşturan eklentileri aşağıda bulabilirsiniz.
Otomatik Olarak Oluşturmak
Bazı web siteler robots.txt dosyasını otomatik olarak oluşturması için scriptler yapmıştır. Bu sayede siz sadece seçenekleri seçerek size otomatik olarak robots.txt dosyasını oluşturur. Aşağıda bazı otomatik robots.txt dosyası oluşturan web siteleri bulabilirsiniz.
Robots.txt dosya anlatımının sonuna geldik şimdi anlatacağım şey ise site haritası.
Site Haritası Nedir
Site Haritası, web sitenizin haritasını ve bu haritayı robots.txt dosyasına linkini ekleyerek, arama motoru robotlarının web sitenizin içeriklerini indexlemesine yardımcı olur. Bu sayede web sitenizdeki sayfalar ve içerikler arama motorlarında üst sıralarda çıkabilir.
Site Haritası Dosyası Nerede Bulunur
Site Haritası, web sitenizin robots.txt ile aynı yerde yani web sitenizin ana dizininde public_html klasöründe bulunmaktadır. Dosyanın ismi sitemap.xml, dosyanın türü ise XML’dir.
Site Haritası Oluşturma
Site haritasını yani sitemap.xml dosyasını oluşturmak için iki tane seçeneğimiz vardır. Birincisinden başlayalım.
Eklenti İle Oluşturmak
WordPress kullanıyorsanız robots.txt dosyasını oluşturan çoğu eklentide site haritasını yani sitemap.xml dosyasını oluşturur ve otomatik olarak güncelleştirir. Bu sayede içerik ve sayfalarınızın indexlemesine yardımcı olur. Aşağıda site haritası oluşturmak için bazı eklentileri bulabilirsiniz.
Otomatik Olarak Oluşturmak
HTML5 kişisel temalar veya otomatik site haritası oluşturmayan scriptler için otomatik site haritası oluşturan web siteler vardır. Bunları kullanarak site haritanızı oluşturabilir ve bu dosyayı web sitenize yükleyebilirsiniz.
Ayrıca unutmayın ki eğer web sitenize yeni içerik veya sayfa oluşturduysanız site haritasını da değiştirmeniz gerekir. O yüzden otomatik olarak site haritası oluşturan scriptler kullanmanızı tavsiye ederim. Aşağıda site haritasını otomatik oluşturan bazı web siteleri bulabilirsiniz.
Robots.txt dosyanız ve site haritanız hazır. Web sitenize yüklenmiş ise bu adıma geçebilirsiniz. Artık robots.txt dosyasını ve site haritasını Google Search Console’a okutmanız yeterli. Bu sayede arama motoru robotları web sitemizi kolaylıkla indexleyebilecek.
