X-Robots-Tag Nedir? Meta Robots Etiketinden Farkı

X-Robots-Tag, bir kaynağın (sayfa, PDF, görsel, video dosyası) HTTP yanıt başlığı (response header) üzerinden arama motorlarına indeksleme ve takip yönergeleri vermeyi sağlayan bir tekniktir. Meta robots etiketinin HTML head bölümüne bağımlı olmasının aksine, sunucu seviyesinde ve HTML olmayan dosya türlerinde de çalışır.

Nasıl Kullanılır?

X-Robots-Tag, sunucu yapılandırma dosyasında (örneğin Apache'de .htaccess içinde) Header set X-Robots-Tag "noindex, nofollow" şeklinde belirli dosya türlerine (örneğin tüm .pdf dosyalarına) toplu olarak uygulanabilir; bu, her dosyaya tek tek meta etiket eklemenin mümkün olmadığı durumlarda tek çözümdür.

Neden Önemlidir?

Bir PDF dosyasının veya görselin HTML head bölümü olmadığından bu tür dosyalara meta robots etiketi eklenemez; sitede indekslenmesi istenmeyen çok sayıda PDF, dahili doküman veya arşiv dosyası varsa X-Robots-Tag, bunları toplu ve merkezi biçimde yönetmenin tek pratik yoludur.

Basit Bir Örnek

Bir kurumsal site, sunucusunda barındırdığı yüzlerce eski basın bülteni PDF'inin Google'da ayrı ayrı indekslenmesini istemez; sunucu yapılandırmasına tüm .pdf dosyaları için X-Robots-Tag: noindex kuralı eklendiğinde bu dosyaların tamamı tek seferde indeksten çıkarılabilir.

Sık Karıştırılan Nokta

X-Robots-Tag ile meta robots etiketi aynı yönergeleri (noindex, nofollow, noarchive gibi) taşıyabilir, ancak farklı katmanlarda çalışır: meta robots yalnızca HTML sayfalarında head içinde, X-Robots-Tag ise sunucu seviyesinde ve her dosya türünde kullanılabilir.

Sıkça Sorulan Soru

X-Robots-Tag ile robots.txt aynı işi mi yapar? Hayır; robots.txt botun bir kaynağı taramasını engeller ama zaten indekste olan bir sayfayı çıkarmaz, X-Robots-Tag ise kaynağın taranmasına izin verip indeksten çıkarılmasını (noindex) sağlayabilir; ikisi farklı amaçlara hizmet eder.