Sitenizdeki Bot Trafiğini Anlamak ve Yönetmek

Bot Nedir?

Robot kelimesinin kısaltması olan bot, genel olarak bilgisayar dünyasında kendisine verilen görevi yapan bir yazılım olarak nitelendirilir. Bizim bugün konuşacağımız botlar ise, her gün bizim web sitemizi ziyaret eden, belli bir iş yapmaya programlanmış olan internet botları olacak.

Botlar Ne İş Yapar?

Botların internet sitelerinde farklı pek çok görevi olabilir. Bazı botlar düzenli olarak içeriğimizi analiz ederken, bazı botlar web sitemizin performansını ölçmek için orada olabilir. İşte botların yaptığı en popüler işler:

İçerik Analizi

Botların en popüler görevlerinden biri içerik analizidir. Bu içerik analizinin farklı amaçları olabilir. Örneğin Google, Bing, Yandex gibi arama motorlarının botları, web sitenizi periyodik olarak ziyaret ederek içeriklerinizi analiz eder ve bunları algoritması dahilinde arama sonuçlarına ekler. Benzer olarak, sosyal medyada bir link paylaştığınızı düşünün, hemen bir kutucuk halinde sitenin önizlemesini görürsünüz, aslında burada olan şey, kullandığınız sosyal medyanın botunun, paylaştığınız siteyi ziyaret edip o siteden veri çekmesidir. İçerik çekmek tabiki de bu örneklerle sınırlı değildir, çok farklı amaçlarla kullanılabilir, fakat bu örnekler en popüler içerik analizi amaçları arasındadır.

Web Sitesi Performansı Analiz Etme

Botlar, web sitenizin performansını ölçmek amaçlı da sitenizi ziyaret edip sitenizden metrikler topluyor olabilir. Buna örnek olarak Bekçi’nin botunu veya Google PageSpeed’in botunu örnek verebiliriz.

Web Sitesini Test Etme

Botların bir diğer amacı da, web sitelerindeki belirli fonksiyonları test etmek olabilir. Bu botlar, genelde web sitelerinin yazılım ekibi tarafından senaryolara göre hazırlanır. Örneğin, web sitemizde bir giriş yapma ekranı varsa, botumuzu giriş yapma senaryolarını test etmek üzerine görevlendirebiliriz. Botumuz, bir insan gibi davranıp verilen görevi yerine getirecektir.

Diğer Amaçlar

Tabiki de bir botun yaptığı işleri bu başlıklarla sınırlandıramayız, yüzlerce amaca hizmet eden farklı senaryolarda botlar da üretilebilir.

En Popüler Botlar

Resim 1 (En Popüler Botların Tüm Trafiğe Yüzdesi)

İnternet aleminde en popüler botların detaylarını aşağıda görebilirsiniz.

Tablo 1 – En Popüler Botlar

Botları Nasıl Birbirinden Ayırabiliriz?

Hemen hemen her şeyin bir kimliği olduğu gibi, botların da bir kimliği vardır. Botlar bu kimliği attıkları her istekte User-Agent olarak taşırlar. User-Agent, basit olarak tarayıcılarımızın web sitesine istek atarken kendini tanıttığı bir bölümdür, bizler de User-Agent taşırız. User-Agent’de genelde kullanılan tarayıcının versiyonu, işletim sistemi gibi bilgiler yer alır. Aşağıda bunun bazı örneklerini inceleyebilirsiniz.

Bekçi Uptime Botu

UptimeBot-Bekci (+https://bekci.site)

Bekçi Tarayıcı Botu

BrowserBot-Bekci (+https://bekci.site)

GoogleBot Masaüstü

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Yukarıdaki örneklerden de görüldüğü gibi, iyi niyetli botlar kimliklerini gizlemez ve bunları birbirinden ayırt etmek kolaydır. Fakat bazı botlar kimliklerini gizleyebilir. Gelin detaylı inceleyelim.

Botlar Güvenli Mi?

Her ne kadar yukarıda saydığımız botlar ve bot türleri güvenli ve web sitemizin ihtiyacı olan botlar olsa da, internette bu saydığımız botlardan çok daha fazla zararlı bot geziyor. Ve bu botlar, tahmin edeceğiniz üzere kimliklerini gizliyor.

Zararlı botlar, web sitenize spam üyelikler oluşturabilir, web sitenizde eğer içerik üretiliyorsa spam içerik üretebilir, web sitenize çok fazla istek atarak çalışmasını aksatabilir/durdurabilir. Tabiki de bu botları büyük oranda engellemenin yolları vardır.

Güvensiz Botları Engellemek

Sitenizi botlardan ve saldırılardan engellemenin bir çok yolu vardır. Gelin bu yöntemlerin popüler olanlarını inceleyelim:

Cloudflare

Cloudflare, web sitenizin önüne bir güvenlik katmanı olarak kurabileceğiniz ücretsiz bir araçtır. Sitenize gelen istekleri ilk önce kendi katmanından geçirip, hem sitenizi DDoS saldırılarından, hem de botlardan korur. Genel olarak varsayılan kurulumunu yaptığınızda, botlardan ve saldırılardan çok büyük ölçüde kurtulmuş olursunuz.  Hatta eğer Cloudflare’i ayarlarken biraz agresif ayarlama yaparsanız, Bekçi botu gibi yararlı botları bile engelleyebilirsiniz, buna yazımızın devamında değineceğiz. Cloudflare’i kullanmak için web sitesini (https://www.cloudflare.com) ziyaret edebilirsiniz.

Captcha Kullanımı

İnternette gezerken ben robot değilim testlerini çok görmüşsünüzdür. Biz bunlara captcha diyoruz. Captcha, genelde web siteleriyle iletişime geçerken (giriş yapma, yorum yapma, randevu sorgulama vs.), bu iletişimi sadece insanların kurması için belirli metriklere göre botları ayıklayan yazılımlardır. Günümüzde en popüler captcha servislerinden biri Google’in ücretsiz sağladığı reCAPTCHA (https://www.google.com/recaptcha/about/) servisidir.  Bu servisi kullanarak, web sitenizdeki formları, sorgulamaları vs. güvenli hale getirebilirsiniz.

Diğer Yöntemler ve Sonuç

Botları engellemenin tabiki de yukarıda saydıklarımızdan farklı yolları vardır. Eğer sizin yaşadığınız sorun bu yöntemlerle çözülmüyorsa, profesyonel kişilerden destek almanızı öneririz. Fakat unutmamalıyız ki, botları büyük ölçüde engelleyebilsek bile, tüm güvenlik önlemlerimizi de aşabilen botlar olabilir. Günümüz teknolojisiyle, bu kötü amaçlı botları %100 engelleyemiyoruz. Fakat verebilecekleri zararları önemli ölçüde azaltabiliriz.

Web Sitenizin Bot Trafiğini Yönetmek

Web sitenizin bot trafiğini yönetmek, özellikle Bekçi gibi bir uygulama kullanıyorsanız önemli bir başlıktır. Bazen bazı botlara izin vermek isteyebilirsiniz. Bunun için güvenlik duvarınızda o botun ip adresine veya yukarıda bahsettiğimiz user-agent bilgisine izin vermelisiniz, gelin biz Cloudflare üzerinden örnekle gidelim.

Bekçi Botuna Cloudflare Üzerinden İzin Vermek

Bekçi botunun da bir kimliği vardı hatırlarsanız. Eğer Cloudflare üzerinden Bekçi botunun sitemize erişmesini istiyorsak, aşağıdaki adımları izlemeliyiz:

1. Sol menü üzerinden Security -> WAF kısmına girelim.
   

   Resim 2: Cloudflare sol menü paneli

2. Daha sonra, “Create Rule” butonuna basalım.
   

   Resim 3: Cloudflare WAF sayfasının içeriği.

3. Açılan ekranda:
   1. Kural Adı: İstediğiniz bir kural adı.
   2. Field: User-Agent
   3. Operator: Contains
   4. Value: bekci.site
   5. Then take action: Skip
   6. WAF components to skip: Hepsini işaretleyelim
      

      Resim 4: Cloudflare WAF sayfasında yapılacak ayarlar.

4. Ve daha sonra Deploy butonuna basarak seçelim.

Bu ayarları yaparak, “User-Agent” bölümünde “bekci.site” içeren tüm botlara sitemizde izin vermiş olduk, Bekçi, bu ayardan sonra sitenize erişebilecek. Cloudflare dışındaki servisler için de ayarımız yine benzer olacaktır.

Web Sitenizi İzlemek İçin Bekçi

Biz Bekçi olarak, web sitenizi 7/24 izliyor ve sizi olağanüstü durumlarda anlık olarak bilgilendiriyoruz. Bu bağlamda, eğer sitenize bir bot saldırısı olursa ve siteniz yavaşlarsa, Bekçi size bunu bildiriyor. Siz de Bekçi‘yi ücretsiz kullanmaya başlayarak web sitenizi 7/24 izleyen ve size geri bildirim veren bir yol arkadaşına sahip olabilirsiniz.