Robots.txt Dosyası Nasıl Hazırlanır? Doğru Tarama Ayarları

Arama motoru botları sitene geldiğinde, evin kapısını paldır küldür kırıp içeri giren misafirler gibi davranabilir. Eğer onlara nerede durmaları gerektiğini söylemezsen, yönetim panelindeki gereksiz dosyalardan tut, e-ticaret sitenin sepet sayfalarına kadar her yeri tarayıp çıkarlar. Sonuç mu? Hem sunucun yorulur hem de asıl indeks almasını istediğin kaliteli içeriklerine sıra gelmeden botlar siteni terk eder.

Biz buna teknik SEO dünyasında tarama bütçesinin (crawl budget) harcanması diyoruz. İşte robots.txt dosyası, o botların eline tutuşturduğun “bu odalara girmek yasaktır” haritasıdır. Gelin, arama motorlarına kimin patron olduğunu gösterelim ve hatasız bir robots.txt dosyasını birlikte yazalım.

Robots.txt Nedir ve Neden Hayatidir?

Robots.txt, sitenin kök dizininde (public_html veya www klasörünün hemen altında) yer alan düz bir metin dosyasıdır. Karmaşık kodlar, veritabanı bağlantıları içermez; sadece birkaç satır komuttan ibarettir.

Görevi basittir: Googlebot, YandexBot veya Bingbot gibi arama motoru örümceklerine, sitenin hangi bölümlerini tarayıp hangi bölümlerinden uzak durmaları gerektiğini söyler.

Eğer bu dosyayı doğru yapılandırmazsan:

• Yönetim panelin (/wp-admin/ veya /admin/) Google arama sonuçlarında çıkabilir.
• Kullanıcıların sepet sayfaları veya kişisel veri içeren URL’leri indekslenebilir.
• Arama motorları siteni tararken sunucuna aşırı yük bindirebilir.

Temel Robots.txt Komutları ve Anlamları

Bu dosyayı yazarken kullanacağımız topu topu 3-4 tane temel komut var. Bunları bilmek, dosyayı manipüle etmen için fazlasıyla yeterli.

• User-agent: Komutun hangi arama motoru botu için geçerli olduğunu belirtir. Eğer yıldız (*) koyarsan, tüm dünyadaki botlara hitap ediyorsun demektir.
• Disallow: Botların girmesini kesinlikle istemediğin klasör veya URL yapısını buraya yazarsın.
• Allow: Temel olarak engellenmiş bir klasörün içindeki spesifik bir dosyaya izin vermek için kullanılır.
• Sitemap: Sitenin XML site haritasının linkini buraya ekleyerek botlara “bütün yollar buraya çıkıyor” dersin.

Adım Adım Doğru Robots.txt Dosyası Hazırlama

Lafı uzatmadan doğrudan uygulamaya geçelim. Bilgisayarında boş bir Not Defteri (Notepad) veya herhangi bir kod editörü aç. Dosyanın adını tamamen küçük harflerle robots.txt yap.

1. Tüm Botlara Genel Kuralları Tanımlama

İlk satıra dünyadaki tüm botları kapsayacak şu komutu yazıyoruz:

User-agent: *

User-agent: *

2. Kritik Alanları Kapatma (Disallow)

Şimdi botların burnunu sokmaması gereken yerleri engelleyelim. Örneğin, bir WordPress siten varsa admin panelini ve sistem dosyalarını kapatmalısın:

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /xmlrpc.php

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /xmlrpc.php

Eğer özel yazılım veya e-ticaret siten varsa, arama filtreleri, sepet sayfaları ve üye giriş panellerini de bu listeye eklemelisin:

Disallow: /checkout/
Disallow: /cart/
Disallow: /search/

Disallow: /checkout/
Disallow: /cart/
Disallow: /search/

3. İstisnaları Belirtme (Allow)

Diyelim ki /wp-admin/ klasörünü kapattın ama o klasörün içindeki bir CSS veya JavaScript dosyasının Google tarafından okunması sitenin düzgün görünmesi için şart. Hemen devreye Allow giriyor:

Allow: /wp-admin/admin-ajax.php

Allow: /wp-admin/admin-ajax.php

4. Site Haritasını (Sitemap) Gösterme

Botların siteni jet hızında taraması için site haritanın yerini en alt satırda açık açık belirtmelisin. Bu, botların işini inanılmaz kolaylaştırır:

Sitemap: https://siteportal.net/sitemap_index.xml

Sitemap: https://siteportal.net/sitemap_index.xml

💡 Teknik İpucu (Expert Box)

Robots.txt Bir Güvenlik Duvarı Değildir! En çok yapılan hatalardan biri, gizli kalması istenen admin sayfalarını veya hassas verileri robots.txt ile “gizleyebileceğini” sanmaktır. Unutma, robots.txt dosyası herkese açıktır. Tarayıcıya [siteniz.com/robots.txt](https://siteniz.com/robots.txt) yazan herkes engellediğin yolları görebilir. Kötü niyetli botlar bu kuralları zaten çiğner. Gerçekten gizlemek veya indeksletmemek istediğin sayfalar için robots.txt yerine sayfa kaynağına <meta name="robots" content="noindex, nofollow"> etiketini eklemelisin.

İdeal Bir Robots.txt Dosyası Nasıl Görünmeli?

Yukarıdaki adımları birleştirdiğimizde, standart ve sağlıklı bir web sitesi için ortaya çıkacak mükemmel şablon tam olarak şudur:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /*?s=
Disallow: /search/

Sitemap: https://siteportal.net/sitemap_index.xml

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /*?s=
Disallow: /search/

Sitemap: https://siteportal.net/sitemap_index.xml

Buradaki /*?s= komutu, sitendeki içi boş arama sonuç sayfalarının taranıp kopya içerik (duplicate content) yaratmasını engellemek için kullanılan çok kritik bir regEx (düzenli ifade) numarasıdır.

Dosyayı Sunucuya Yükleme ve Test Etme

Hazırladığın bu metin dosyasını kaydet. Ardından FTP istemcin (FileZilla vb.) veya cPanel/Plesk Dosya Yöneticisi aracılığıyla sitenin kök dizinine (public_html) yükle.

Yükledikten sonra tarayıcından [https://siteniz.com/robots.txt](https://siteniz.com/robots.txt) adresine giderek dosyanın aktif olup olmadığını kontrol et. Yazılar ekranda düzgünce listeleniyorsa ilk aşama tamam.

Google Gibi Test Edin

Her şeyin yolunda olduğundan emin olmak için Google Search Console paneline giriş yap. Sol menüdeki Ayarlar sekmesinden veya doğrudan “Robots.txt Test Aracı” (Google’ın eski ama hala çalışan aracı) üzerinden yazdığın komutların hatasız çalışıp çalışmadığını simüle et. Eğer kırmızı bir uyarı almıyorsan, tebrikler; arama motoru botlarını evcilleştirdin!

Sitenin tarama hızında veya indeks kalitesinde yaşadığın değişimleri bizimle paylaşmayı unutma. Kafana takılan bir komut veya regEx yapısı varsa, aşağıya yorum bırak, hemen sunucu odasından çıkıp yanıtlayayım!