Pojęcie to używane jest w odniesieniu do indeksowania witryn WWW przez przeglądarki. Określa ilość url-i dopuszczonych do indeksowania i pobranych przez roboty przemierzające przestrzenie Internetu.
Ograniczony czas
W przypadku ogromnych serwisów WWW programy indeksujące najzwyczajniej nie mieszczą się w założonym na wizytę czasie i nie wchodzą na wszystkie strony.
Witryna musi mieć prawidłowo wykreowaną strukturę linków wewnętrznych by ułatwić robotom indeksację. Nie powinno być żadnej strony w ramach całej strony która nie byłaby połączona z innymi stronami.
Kombinacja dwóch parametrów
Budżet indeksacji zawiera dwa składniki.
Crawl rate limit
Crawl budget to kompromis i syzyfowa praca, którą realizują crawlery. Praca nigdy się nie kończy. Przeglądarka, jeśli chce być na bieżąco, musi dzielić czas dostępności i zajętości serwera na wszystkie odwiedzane strony. Dlatego ograniczając czas na odwiedziny, optymalizuje wyniki pracy botów.
Crawl demand – wyznacza jak często aplikacje indeksujące, łączą się z serwerem serwisu.
Dopiero równowaga obu zjawisk przesądza o całym obrazie. Chcąc zapewnić równowagę obu zdarzeń i podtrzymać ich względnie dużą wartość należy dbać o atrakcyjność witryny, czyli jej subiektywny zasób merytoryczny i regularnie monitorować warunki techniczne, które mogą ulec zmianie podczas np. przebudowy kodu źródłowego strony.
Ogólny stan sprzyjający szybkiej indeksacji nazywany jest crawl health, czyli zdrowie. Typowymi cechami stanu zdrowia jest np. szybkość ładowania się plików całej strony internetowej do stanu najniższej z możliwych pełnej funkcjonalności dla internauty. A czas, w jakim odpowiada serwer strony, daje robotom więcej czasu na pobranie większej ilości danych o poszczególnych podstronach.
https://semhub.pl/pozycjonowanie-olsztyn/
Be First to Comment