Robots.txt ve Site Haritası Nedir

Robots.txt Dosyası Nedir

Robots.txt dosyası, web sitenize gelen arama motoru robotlarının uğradığı bölümdür. Arama motoru robotlarının buraya uğramasının sebebi, sizin web sitenizdeki sayfaların hangisini indexleyeceğini öğrenmektir. Bu yüzden SEO’da büyük bir etkisi vardır.

Robots.txt Dosyası Nerede Bulunur

Robots.txt dosyası web sitenizin ana dizininde public_html klasöründe bulunur. Arama motorları, robotlarında ana kök dizine bakarlar. O yüzden robots.txt dosyasını ana dizinde oluşturmamız gerekiyor.

Robots.txt Dosyası Oluşturma

Robots.txt dosyası oluşturmak çok kolaydır. Robots.txt dosyasını oluşturmak için 3 tane seçeneğimiz bulunmakta. İlk seçenekle başlayalım.

Elle Oluşturmak

Öncelikle web sitemizin ana dizinine dosya yöneticisinden veya FTP olarak bağlanalım. Daha sonra yeni dosya oluştur diyerek ismini robots.txt yapalım.

Robots.txt dosyasımızı oluşturduk. Şimdi ise terimleri ve içine neler yazacağımızı anlatacağım.

User-agent : Arama motoru robotunun adı

Allow : Dizine girmesine izin vermek

Disallow : Dizine girmesine engellemek

Crawl-delay : Arama motoru robotunun dizinleri kaç dakika tarayacağı

Sitemap : Site haritasını belirtme

Robots.txt dosyasının terimleri bunlardır. Şimdi ise bu terimleri kullanarak kendi web sitemize bir robots.txt dosyası hazırlayacağız.

Örnek 1 : WordPress için robots.txt dosyası

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://ardacar.com/sitemap.xml

Bu robots.txt wordpressler için hazırlanmıştır. WordPress kullanıyorsanız site haritası yerini değiştirerek aynısını kullanabilirsiniz.

Örnek 2 : Normal bir web site için robots.txt dosyası

User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Sitemap: https://ardacar.com/sitemap.xml

Bu robots.txt dosyası HTML5 temalar veya hazır scriptler için uygun olabilir. Arama motor robotlarının bakmak istemediğiniz yerleri Disallow koduyla engelleyebilirsiniz.

Böylece bu örneklerdeki gibi elle robots.txt dosyası oluşturabilirsiniz. Şimdi ikinci seçeneğimize geçelim.

Eklenti İle Oluşturmak

WordPress kullanıyorsanız zaten çoğu eklenti ile otomatik olarak robots.txt dosyasını oluşturacaktır. Bazı robots.txt dosyası oluşturan eklentileri aşağıda bulabilirsiniz.

Yoast SEO

Google XML Sitemaps

All in One SEO Pack

Otomatik Olarak Oluşturmak

Bazı web siteler robots.txt dosyasını otomatik olarak oluşturması için scriptler yapmıştır. Bu sayede siz sadece seçenekleri seçerek size otomatik olarak robots.txt dosyasını oluşturur. Aşağıda bazı otomatik robots.txt dosyası oluşturan web siteleri bulabilirsiniz.

SEO Hocası

İHS

SEObook

Robots.txt dosya anlatımının sonuna geldik şimdi anlatacağım şey ise site haritası.

Site Haritası Nedir

Site Haritası, web sitenizin haritasını ve bu haritayı robots.txt dosyasına linkini ekleyerek, arama motoru robotlarının web sitenizin içeriklerini indexlemesine yardımcı olur. Bu sayede web sitenizdeki sayfalar ve içerikler arama motorlarında üst sıralarda çıkabilir.

Site Haritası Dosyası Nerede Bulunur

Site Haritası, web sitenizin robots.txt ile aynı yerde yani web sitenizin ana dizininde public_html klasöründe bulunmaktadır. Dosyanın ismi sitemap.xml, dosyanın türü ise XML’dir.

Site Haritası Oluşturma

Site haritasını yani sitemap.xml dosyasını oluşturmak için iki tane seçeneğimiz vardır. Birincisinden başlayalım.

Eklenti İle Oluşturmak

WordPress kullanıyorsanız robots.txt dosyasını oluşturan çoğu eklentide site haritasını yani sitemap.xml dosyasını oluşturur ve otomatik olarak güncelleştirir. Bu sayede içerik ve sayfalarınızın indexlemesine yardımcı olur. Aşağıda site haritası oluşturmak için bazı eklentileri bulabilirsiniz.

Yoast SEO

Google XML Sitemaps

All in One SEO Pack

Otomatik Olarak Oluşturmak

HTML5 kişisel temalar veya otomatik site haritası oluşturmayan scriptler için otomatik site haritası oluşturan web siteler vardır. Bunları kullanarak site haritanızı oluşturabilir ve bu dosyayı web sitenize yükleyebilirsiniz.

Ayrıca unutmayın ki eğer web sitenize yeni içerik veya sayfa oluşturduysanız site haritasını da değiştirmeniz gerekir. O yüzden otomatik olarak site haritası oluşturan scriptler kullanmanızı tavsiye ederim. Aşağıda site haritasını otomatik oluşturan bazı web siteleri bulabilirsiniz.

Sitemap Generator

MySitemap

İHS

Robots.txt dosyanız ve site haritanız hazır. Web sitenize yüklenmiş ise bu adıma geçebilirsiniz. Artık robots.txt dosyasını ve site haritasını Google Search Console’a okutmanız yeterli. Bu sayede arama motoru robotları web sitemizi kolaylıkla indexleyebilecek.

Bu konuda daha fazla makaleye göz atmak isterseniz ardacar.com/seo/ bağlantısına tıklayarak ulaşabilirsiniz.
Başa dön tuşu