Robots.txt ve Site Haritası Nedir

Robots.txt Dosyası Nedir

Robots.txt dosyası, websitenize gelen arama motoru robotlarının uğradığı bölümdür. Arama motoru robotlarının buraya uğramasının sebebi, sizin websitenizdeki sayfaların hangisini indexleyeceğini öğrenmektir. Bu yüzden SEO’da büyük bir etkisi vardır.

Robots.txt Dosyası Nerede Bulunur

Robots.txt dosyası websitenizin ana dizininde public_html klasöründe bulunur. Arama motorları, robotlarında ana kök dizine bakarlar. O yüzden robots.txt dosyasını ana dizinde oluşturmamız gerekiyor.

Robots.txt Dosyası Oluşturma

Robots.txt dosyası oluşturmak çok kolaydır. Robots.txt dosyasını oluşturmak için 3 tane seçeneğimiz bulunmakta. İlk seçenekle başlayalım.

Elle Oluşturmak

Öncelikle websitemizin ana dizinine dosya yöneticisinden veya FTP olarak bağlanalım. Daha sonra yeni dosya oluştur diyerek ismini robots.txt yapalım.

Robots.txt dosyasımızı oluşturduk. Şimdi ise terimleri ve içine neler yazacağımızı anlatacağım.

User-agent : Arama motoru robotunun adı

Allow : Dizine girmesine izin vermek

Disallow : Dizine girmesine engellemek

Crawl-delay : Arama motoru robotunun dizinleri kaç dakika tarayacağı

Sitemap : Site haritasını belirtme

Robots.txt dosyasının terimleri bunlardır. Şimdi ise bu terimleri kullanarak kendi websitemize bir robots.txt dosyası hazırlayacağız.

Örnek 1 : WordPress için robots.txt dosyası

User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://ardacar.com/sitemap.xml

Bu robots.txt wordpressler için hazırlanmıştır. WordPress kullanıyorsanız site haritası yerini değiştirerek aynısını kullanabilirsiniz.

Örnek 2 : Normal bir website için robots.txt dosyası

User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Sitemap: https://ardacar.com/sitemap.xml

Bu robots.txt dosyası HTML5 temalar veya hazır scriptler için uygun olabilir. Arama motor robotlarının bakmak istemediğiniz yerleri Disallow koduyla engelleyebilirsiniz.

Böylece bu örneklerdeki gibi elle robots.txt dosyası oluşturabilirsiniz. Şimdi ikinci seçeneğimize geçelim.

Eklenti İle Oluşturmak

WordPress kullanıyorsanız zaten çoğu eklenti ile otomatik olarak robots.txt dosyasını oluşturacaktır. Bazı robots.txt dosyası oluşturan eklentileri aşağıda bulabilirsiniz.

Yoast SEO

Google XML Sitemaps

All in One SEO Pack

Otomatik Olarak Oluşturmak

Bazı websiteler robots.txt dosyasını otomatik olarak oluşturması için scriptler yapmıştır. Bu sayede siz sadece seçenekleri seçerek size otomatik olarak robots.txt dosyasını oluşturur. Aşağıda bazı otomatik robots.txt dosyası oluşturan websiteleri bulabilirsiniz.

SEO Hocası

İHS

SEObook

Robots.txt dosya anlatımının sonuna geldik şimdi anlatacağım şey ise site haritası.

Site Haritası Nedir

Site Haritası, websitenizin haritasını ve bu haritayı robots.txt dosyasına linkini ekleyerek, arama motoru robotlarının websitenizin içeriklerini indexlemesine yardımcı olur. Bu sayede websitenizdeki sayfalar ve içerikler arama motorlarında üst sıralarda çıkabilir.

Site Haritası Dosyası Nerede Bulunur

Site Haritası, websitenizin robots.txt ile aynı yerde yani websitenizin ana dizininde public_html klasöründe bulunmaktadır. Dosyanın ismi sitemap.xml, dosyanın türü ise XML’dir.

Site Haritası Oluşturma

Site haritasını yani sitemap.xml dosyasını oluşturmak için iki tane seçeneğimiz vardır. Birincisinden başlayalım.

Eklenti İle Oluşturmak

WordPress kullanıyorsanız robots.txt dosyasını oluşturan çoğu eklentide site haritasını yani sitemap.xml dosyasını oluşturur ve otomatik olarak güncelleştirir. Bu sayede içerik ve sayfalarınızın indexlemesine yardımcı olur. Aşağıda site haritası oluşturmak için bazı eklentileri bulabilirsiniz.

Yoast SEO

Google XML Sitemaps

All in One SEO Pack

Otomatik Olarak Oluşturmak

HTML5 kişisel temalar veya otomatik site haritası oluşturmayan scriptler için otomatik site haritası oluşturan websiteler vardır. Bunları kullanarak site haritanızı oluşturabilir ve bu dosyayı websitenize yükleyebilirsiniz.

Ayrıca unutmayın ki eğer websitenize yeni içerik veya sayfa oluşturduysanız site haritasını da değiştirmeniz gerekir. O yüzden otomatik olarak site haritası oluşturan scriptler kullanmanızı tavsiye ederim. Aşağıda site haritasını otomatik oluşturan bazı websiteleri bulabilirsiniz.

Sitemap Generator

MySitemap

İHS

Robots.txt dosyanız ve site haritanız hazır. Websitenize yüklenmiş ise bu adıma geçebilirsiniz. Bu adımda websitemizin robots.txt dosyasını ve site haritasını Google Search Console’a okutacağız. Bu sayede arama motoru robotları websitemizi kolaylıkla indexleyebilecek.

Google Search Console Nedir

Google Search Console, web sitelerini yararlı istatistiklerle dolu resmi bir portal aracılığıyla izlemelerine ve yönetmelerine olanak tanır. Doğrudan arama motorları tarafından sağlanan araçlara ve verilere erişmek için web sitenizi optimize çok daha kolay hale getirebilir.

Google Search Console’a Kayıt Olmak

Google Search Console’a kayıt olmak için bir Gmail hesabınızın olması yeterlidir. buraya tıklayarak Google Search Console’un websitesine gidebilir ve Gmail hesabınızla kayıt olabilirsiniz. Kayıt olduktan daha sonra websitenizi Google Search Console ile nasıl bağlayacaksınız? Şimdi ise bu adıma geçelim.

Websitenizi Google Search Console’a Bağlamak

Şimdi ki adımımız ise websitemizi Google Search Console’a bağlamaktır. Websiteye girdikten sonra “Şimdi Başla” butonuna basıp Gmail hesabınızı bağladıktan sonra, 2 seçeneğimiz mevcuttur. Websitemizi hangisiyle bağlamak istiyorsak onunla bağlayabiliriz. Benim önerdiğim bağlama şekli URL Ön Eki’dir. Şimdi websitemizi bağlayalım.

Burada sahipliği doğrulamak için birçok seçenek mevcut. Bence en basit doğrulama yöntemi HTML dosyası şeklindedir. HTML dosyası şeklinde doğrulamak için HTML dosyası seçeneğine tıklayınız. Daha sonra size verilen HTML dosyasını indirip websitenizin ana dizini yani public_html klasörüne yükleyiniz. Ardından Google Search Console ekranına gelip doğrula butonuna basınız. Websiteniz Google Search Console ile doğrulanacaktır.

Google Search Console’a Site Haritasını Eklemek

Şimdi ki adımızı ise Google Search Console’a site haritasını eklemek. İlk öncelikle sağ taraftaki menüden site haritaları başlıklı menüye geliyoruz.

Site haritası URL’sini girin dediği yere sitenizin site haritasının adını giriyorsunuz. Benim site haritam sitemap.xml adı şeklinde olduğu için ben oraya sitemap.xml yazacağım. Yazdıktan sonra gönder butonuna basıyoruz.

Site haritası başarılı şekilde Google Search Console’a gönderildi. Bu sayede artık websitemizin daha hızlı bir şekilde indexlenecektir.

Daha fazla SEO ile ilgili içerikler için ardacar.com/seo/ bağlantısına tıklayarak içeriklere ulaşabilirsiniz.
Başa dön tuşu
Sultan Security