Spora część zapytań kierowanych do serwerów nie pochodzi od ludzi. Odpowiadają za nie programy, które automatycznie odwiedzają strony i wykonują powtarzalne zadania bez udziału operatora.
Jak działa bot i po czym można go rozpoznać
Boty internetowe to programy wysyłające żądania do serwerów według ustalonego schematu. Pobierają treść strony, przetwarzają ją i przechodzą dalej, zwykle podążając za odnośnikami. Różnią się od przeglądarki tym, że działają bez człowieka po drugiej stronie, a wiele z nich nie uruchamia skryptów strony w takim zakresie jak zwykły użytkownik.
Podstawowym śladem obecności bota jest wpis w logach serwera. Zawiera adres IP, żądany adres strony, kod odpowiedzi oraz identyfikator klienta, czyli user agent. Same deklaracje bywają jednak mylące, ponieważ ciąg identyfikacyjny łatwo podrobić. Programy podszywające się pod roboty wyszukiwarek to zjawisko powszechne, dlatego przy weryfikacji sprawdza się zgodność adresu IP z zakresami publikowanymi przez właścicieli robotów albo stosuje odwrotne zapytanie DNS.
Drugim sygnałem jest charakterystyka ruchu. Automat porusza się szybciej niż człowiek, odwiedza strony w nietypowej kolejności, sięga po adresy nieosiągalne z menu i nie pobiera zasobów towarzyszących, takich jak obrazy czy arkusze stylów.
Rodzaje botów i wykonywane zadania
Automaty odwiedzające witryny bardzo się między sobą różnią, a wspólna nazwa obejmuje zarówno programy pożądane, jak i szkodliwe. W praktyce wyróżnia się kilka grup:
-
roboty wyszukiwarek, na czele z Googlebotem i Bingbotem, które pobierają treść na potrzeby indeksowania i ustalania widoczności w wynikach wyszukiwania,
-
roboty systemów sztucznej inteligencji, takie jak GPTBot, ClaudeBot czy PerplexityBot, pobierające treści na potrzeby modeli językowych i odpowiedzi generowanych przez asystentów,
-
boty monitorujące, sprawdzające dostępność serwisu, czas odpowiedzi oraz poprawność certyfikatu,
-
boty serwisów społecznościowych, pobierające tytuł, opis i grafikę do podglądu udostępnianego odnośnika,
-
automaty zbierające dane, w tym porównywarki cen, agregatory ofert i programy kopiujące treści,
-
boty szkodliwe, wykorzystywane do masowego testowania wykradzionych haseł, wysyłania spamu przez formularze, skanowania podatności oraz generowania sztucznych kliknięć w reklamy.
Ta sama technologia służy więc do budowania widoczności serwisu i do jego atakowania. Rozróżnienie ma znaczenie praktyczne, ponieważ blokada zastosowana zbyt szeroko potrafi odciąć roboty wyszukiwarek i doprowadzić do wypadnięcia stron z indeksu.
Wpływ na statystyki i wydajność serwisu
Ruch automatyczny zniekształca dane. W logach serwera oraz w prostych licznikach odsłon boty potrafią zawyżyć liczbę wejść, zaniżyć średni czas na stronie i podbić współczynnik odrzuceń. Systemy analityczne oparte na skrypcie w przeglądarce są mniej podatne, bo wiele automatów tego skryptu nie uruchamia, jednak filtrowanie znanych botów i tak pozostaje ustawieniem, które warto mieć włączone.
Drugi obszar to obciążenie infrastruktury. Intensywne pobieranie zużywa transfer i moc serwera, a przy dużych serwisach potrafi spowolnić działanie sklepu w godzinach szczytu. Do tego dochodzi kwestia budżetu indeksowania: jeżeli robot wyszukiwarki traci czas na adresy z parametrami, filtry i kopie tej samej treści, wolniej dociera do stron istotnych sprzedażowo.
Osobnym problemem są fałszywe zgłoszenia z formularzy kontaktowych. Obniżają jakość bazy kontaktów, obciążają pracę handlowców i psują dane o skuteczności kampanii, gdy takie zdarzenia liczone są jako konwersje.
Sterowanie ruchem automatycznym
Podstawowym narzędziem komunikacji z robotami pozostaje plik robots.txt, w którym określa się reguły dla poszczególnych identyfikatorów. Warto pamiętać, że jest to wskazówka respektowana przez roboty działające zgodnie z przyjętymi zasadami, a nie zabezpieczenie techniczne. Programy szkodliwe zwyczajnie ją ignorują.
Wobec pozostałych stosuje się inne środki: limity liczby zapytań z jednego adresu, reguły w systemie ochrony aplikacji webowej, filtrowanie na poziomie sieci dostarczania treści, zabezpieczenia formularzy oraz ukryte pola pułapki wykrywające automaty. Decyzje warto opierać na analizie logów, bo dopiero one pokazują, które adresy generują nietypowy ruch.
Online Group to agencja marketingu internetowego prowadząca pozycjonowanie, kampanie Google Ads oraz działania w social media. Analiza ruchu automatycznego jest częścią pracy nad widocznością serwisu, ponieważ wpływa zarówno na indeksowanie, jak i na wiarygodność danych o konwersjach. Temat, jakim są boty internetowe i ich zadania, agencja omówiła w osobnym opracowaniu na swojej stronie.
Artykuł sponsorowany
