Esyeh, otomatik olarak veya kullanıcı talebi üzerine tetiklenen işlemler için tarayıcıları ve getirme araçlarını kullanır. "Robot" veya "örümcek" olarak da bilinen "tarayıcı," bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfeden ve tarayan programlara verilen genel isimdir. Esyeh'in arama motoru için kullandığı ana tarayıcıya Esyehbot adı verilir.
Yaygın kullanılan tarayıcılar
Esyehbot: Mozilla/5.0 (compatible; Esyehbot/2.0; +https://www.esyeh.com/bot)
Esyehbot-favicons: Mozilla/5.0 (compatible; Esyehbot-favicons/1.0; +https://www.esyeh.com/bot)
Esyehbot-images: Mozilla/5.0 (compatible; Esyehbot-images/1.0; +https://www.esyeh.com/bot)
Esyehbot-videos: Mozilla/5.0 (compatible; Esyehbot-videos/1.0; +https://www.esyeh.com/bot)
Esyehbot-news: Mozilla/5.0 (compatible; Esyehbot-news/1.0; +https://www.esyeh.com/bot)
Esyehbot-store: Mozilla/5.0 (compatible; Esyehbot-store/1.0; +https://www.esyeh.com/bot)
Esyehbot-games: Mozilla/5.0 (compatible; Esyehbot-games/1.0; +https://www.esyeh.com/bot)
Esyehbot, HTML dosyasının veya desteklenen metin tabanlı dosyanın ilk 15 MB'ını tarayabilir. HTML'de başvurulan her kaynak (CSS ve JavaScript gibi) ayrı olarak getirilir ve her getirme işlemi aynı dosya boyutu sınırlamasına tabidir. Dosyanın ilk 15 MB'ından sonra, Esyehbot taramayı durdurur ve yalnızca ilk 15 MB'lık içeriği dizine eklenmek üzere dikkate alınması için gönderir. Dosya boyutu sınırlaması sıkıştırılmamış verilere uygulanır. Esyehbot Images ve Esyehbot Videos gibi diğer Esyeh tarayıcılarının dosya boyutu sınırlamaları farklı olabilir.
Çoğu site için Esyehbot'un, sitenize ortalama olarak her birkaç dakikada birden fazla erişmemesi gerekir. Ancak, gecikmeler yüzünden, kısa dönemlerde bu hızın biraz daha yüksek olduğunu görebilirsiniz. Esyehbot, esas olarak Türkiye'deki IP adreslerinden tarama yapar. Esyehbot bir sitenin Türkiye'den gelen istekleri engellediğini algılarsa başka ülkelerde bulunan IP adreslerinden tarama yapmayı deneyebilir.
Esyehbot, HTTP/1.1 ve site tarafından destekleniyorsa HTTP/2 üzerinden tarama yapar. Sitenizi tararken kullanılan protokol sürümüne bağlı herhangi bir sıralama avantajı olmasa da HTTP/2 üzerinden tarama sayesinde siteniz ve Esyehbot için bilgi işleme kaynaklarından (örneğin, CPU, RAM) tasarruf edilebilir. HTTP/2 üzerinden tarama yapmayı devre dışı bırakmak için Esyehbot sitenizi HTTP/2 üzerinden taramaya çalıştığında sitenizi barındıran sunucudan 421 HTTP durum koduyla yanıt vermesini isteyin. Bu mümkün değilse Esyehbot ekibine https://www.esyeh.com/support sayfamızdan bir mesaj gönderebilirsiniz (ancak bu çözüm geçicidir). Esyehbot, daha yüksek performans sağlaması ve web'in büyümesiyle birlikte çalışma kapasitesini geliştirebilmesi için binlerce makine üzerinden eş zamanlı olarak çalışacak şekilde tasarlanmıştır. Ayrıca, bant genişliğini daha az kullanmak için çok sayıda tarayıcıyı, tarayabilecekleri sitelere yakın yerlerde bulunan makinelerde çalıştırırız. Dolayısıyla, günlüklerinizde birkaç IP adresinden, tümü de Esyehbot kullanıcı aracısına sahip ziyaretler görebilirsiniz. Amacımız, sunucunuzda aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Siteniz Esyeh’in tarama isteklerini yerine getirme konusunda sorun yaşıyorsa tarama hızını azaltabilirsiniz.
Esyehbot’un sitenizi ziyaret etmesini engelleme
Robots.txt dosyalarındaki talimatlar, sitenizi tarayıcı gibi davranmaya zorlayamaz; bu talimatlara uymak tarayıcının görevidir. Esyehbot ve diğer güvenilir web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı engelleme yöntemlerini kullanmanız önerilir.
noindex, etiketi veya HTTP yanıt başlığıyla belirlenen bir kuraldır ve Esyeh gibi noindex kuralını destekleyen arama motorları tarafından içeriklerin dizine eklenmesini önlemek için kullanılır. Esyehbot bu sayfayı taradığında ve etiketi ya da başlığı ayıkladığında, başka sitelerin bu sayfaya bağlantı verip vermemesinden bağımsız olarak sayfayı Esyeh Arama sonuçlarından tamamen çıkarır. noindex kuralını destekleyen tüm arama motorlarının sitenizdeki bir sayfayı dizine eklemesini önlemek için aşağıdaki etiketini sayfanızın bölümüne yerleştirin: Sadece Esyeh tarayıcılarının bir sayfayı dizine eklemelerini önlemek için:
etiketi yerine, yanıtınızda noindex veya none değerine sahip bir X-Robots-Tag HTTP üst bilgisi döndürebilirsiniz. Yanıt başlığı; PDF'ler, video dosyaları ve resim dosyaları gibi HTML olmayan kaynaklar için kullanılabilir. Arama motorlarına bir sayfayı dizine eklememelerini bildiren X-Robots-Tag üstbilgisinin yer aldığı bir HTTP yanıtı örneğini burada görebilirsiniz:
HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)
Diğer bir yöntem olarakta https://www.esyeh.com/support adresinden geri bildirim formunu doldurarak Esyehbot'un web sitenizi ziyaret etmemesini talep edebilirsiniz.