Robots.txt Dosyası Nedir
Robots.txt dosyası, websitenize gelen arama motoru robotlarının uğradığı bölümdür. Arama motoru robotlarının buraya uğramasının sebebi, sizin websitenizdeki sayfaların hangisini indexleyeceğini öğrenmektir. Bu yüzden SEO’da büyük bir etkisi vardır.
Robots.txt Dosyası Nerede Bulunur
Robots.txt dosyası websitenizin ana dizininde public_html klasöründe bulunur. Arama motorları, robotlarında ana kök dizine bakarlar. O yüzden robots.txt dosyasını ana dizinde oluşturmamız gerekiyor.
Robots.txt Dosyası Oluşturma
Robots.txt dosyası oluşturmak çok kolaydır. Robots.txt dosyasını oluşturmak için 3 tane seçeneğimiz bulunmakta. İlk seçenekle başlayalım.
Elle Oluşturmak
Öncelikle websitemizin ana dizinine dosya yöneticisinden veya FTP olarak bağlanalım. Daha sonra yeni dosya oluştur diyerek ismini robots.txt yapalım.
Robots.txt dosyasımızı oluşturduk. Şimdi ise terimleri ve içine neler yazacağımızı anlatacağım.
User-agent : Arama motoru robotunun adı
Allow : Dizine girmesine izin vermek
Disallow : Dizine girmesine engellemek
Crawl-delay : Arama motoru robotunun dizinleri kaç dakika tarayacağı
Sitemap : Site haritasını belirtme
Robots.txt dosyasının terimleri bunlardır. Şimdi ise bu terimleri kullanarak kendi websitemize bir robots.txt dosyası hazırlayacağız.
Örnek 1 : WordPress için robots.txt dosyası
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://ardacar.com/sitemap.xml
Bu robots.txt wordpressler için hazırlanmıştır. WordPress kullanıyorsanız site haritası yerini değiştirerek aynısını kullanabilirsiniz.
Örnek 2 : Normal bir website için robots.txt dosyası
User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Sitemap: https://ardacar.com/sitemap.xml
Bu robots.txt dosyası HTML5 temalar veya hazır scriptler için uygun olabilir. Arama motor robotlarının bakmak istemediğiniz yerleri Disallow koduyla engelleyebilirsiniz.
Böylece bu örneklerdeki gibi elle robots.txt dosyası oluşturabilirsiniz. Şimdi ikinci seçeneğimize geçelim.
Eklenti İle Oluşturmak
WordPress kullanıyorsanız zaten çoğu eklenti ile otomatik olarak robots.txt dosyasını oluşturacaktır. Bazı robots.txt dosyası oluşturan eklentileri aşağıda bulabilirsiniz.
Otomatik Olarak Oluşturmak
Bazı websiteler robots.txt dosyasını otomatik olarak oluşturması için scriptler yapmıştır. Bu sayede siz sadece seçenekleri seçerek size otomatik olarak robots.txt dosyasını oluşturur. Aşağıda bazı otomatik robots.txt dosyası oluşturan websiteleri bulabilirsiniz.
Robots.txt dosya anlatımının sonuna geldik şimdi anlatacağım şey ise site haritası.
Site Haritası Nedir
Site Haritası, websitenizin haritasını ve bu haritayı robots.txt dosyasına linkini ekleyerek, arama motoru robotlarının websitenizin içeriklerini indexlemesine yardımcı olur. Bu sayede websitenizdeki sayfalar ve içerikler arama motorlarında üst sıralarda çıkabilir.
Site Haritası Dosyası Nerede Bulunur
Site Haritası, websitenizin robots.txt ile aynı yerde yani websitenizin ana dizininde public_html klasöründe bulunmaktadır. Dosyanın ismi sitemap.xml, dosyanın türü ise XML’dir.
Site Haritası Oluşturma
Site haritasını yani sitemap.xml dosyasını oluşturmak için iki tane seçeneğimiz vardır. Birincisinden başlayalım.
Eklenti İle Oluşturmak
WordPress kullanıyorsanız robots.txt dosyasını oluşturan çoğu eklentide site haritasını yani sitemap.xml dosyasını oluşturur ve otomatik olarak güncelleştirir. Bu sayede içerik ve sayfalarınızın indexlemesine yardımcı olur. Aşağıda site haritası oluşturmak için bazı eklentileri bulabilirsiniz.
Otomatik Olarak Oluşturmak
HTML5 kişisel temalar veya otomatik site haritası oluşturmayan scriptler için otomatik site haritası oluşturan websiteler vardır. Bunları kullanarak site haritanızı oluşturabilir ve bu dosyayı websitenize yükleyebilirsiniz.
Ayrıca unutmayın ki eğer websitenize yeni içerik veya sayfa oluşturduysanız site haritasını da değiştirmeniz gerekir. O yüzden otomatik olarak site haritası oluşturan scriptler kullanmanızı tavsiye ederim. Aşağıda site haritasını otomatik oluşturan bazı websiteleri bulabilirsiniz.
Robots.txt dosyanız ve site haritanız hazır. Websitenize yüklenmiş ise bu adıma geçebilirsiniz. Bu adımda websitemizin robots.txt dosyasını ve site haritasını Google Search Console’a okutacağız. Bu sayede arama motoru robotları websitemizi kolaylıkla indexleyebilecek.
Google Search Console Nedir
Google Search Console, web sitelerini yararlı istatistiklerle dolu resmi bir portal aracılığıyla izlemelerine ve yönetmelerine olanak tanır. Doğrudan arama motorları tarafından sağlanan araçlara ve verilere erişmek için web sitenizi optimize çok daha kolay hale getirebilir.
Google Search Console’a Kayıt Olmak
Google Search Console’a kayıt olmak için bir Gmail hesabınızın olması yeterlidir. buraya tıklayarak Google Search Console’un websitesine gidebilir ve Gmail hesabınızla kayıt olabilirsiniz. Kayıt olduktan daha sonra websitenizi Google Search Console ile nasıl bağlayacaksınız? Şimdi ise bu adıma geçelim.
Websitenizi Google Search Console’a Bağlamak
Şimdi ki adımımız ise websitemizi Google Search Console’a bağlamaktır. Websiteye girdikten sonra “Şimdi Başla” butonuna basıp Gmail hesabınızı bağladıktan sonra, 2 seçeneğimiz mevcuttur. Websitemizi hangisiyle bağlamak istiyorsak onunla bağlayabiliriz. Benim önerdiğim bağlama şekli URL Ön Eki’dir. Şimdi websitemizi bağlayalım.
Burada sahipliği doğrulamak için birçok seçenek mevcut. Bence en basit doğrulama yöntemi HTML dosyası şeklindedir. HTML dosyası şeklinde doğrulamak için HTML dosyası seçeneğine tıklayınız. Daha sonra size verilen HTML dosyasını indirip websitenizin ana dizini yani public_html klasörüne yükleyiniz. Ardından Google Search Console ekranına gelip doğrula butonuna basınız. Websiteniz Google Search Console ile doğrulanacaktır.
Google Search Console’a Site Haritasını Eklemek
Şimdi ki adımızı ise Google Search Console’a site haritasını eklemek. İlk öncelikle sağ taraftaki menüden site haritaları başlıklı menüye geliyoruz.
Site haritası URL’sini girin dediği yere sitenizin site haritasının adını giriyorsunuz. Benim site haritam sitemap.xml adı şeklinde olduğu için ben oraya sitemap.xml yazacağım. Yazdıktan sonra gönder butonuna basıyoruz.
Site haritası başarılı şekilde Google Search Console’a gönderildi. Bu sayede artık websitemizin daha hızlı bir şekilde indexlenecektir.
