Pomoc i Kontakt Kei.pl

Pomoc

Ponad 300 praktycznych artykułów i dane kontaktowe

Jak zablokować działanie robotów indeksujących ?

Większość stron internetowych służy do promocji sprzedaży lub prezentowania firmy, zdarzenia lub konkretnych osób. Tworząc stronę w prawie każdym przypadku zależy nam na dotarciu do jak największej liczby osób.

Roboty indeksujące, które mają duży wpływ na pozycję naszej strony w wyszukiwarkach, nie zawsze działają w taki sposób jak byśmy chcieli. Najczęstszym niepożądaną akcją jest zbyt częste indeksowanie, co doprowadza do generowania dużego obciążenia serwera z którego korzystamy. Roboty indeksują wszystkie elementy strony, nawet te które nie powinny być brane pod uwagę.

Poniżej podajemy reguły, które pomogą ograniczyć działanie robotów lub całkowicie wyłączyć ich działanie.
Reguły należy wprowadzać w pliku robots.txt, który znajduje się w głównym katalogu Twojej strony. Jeśli pliku nie ma należy go utworzyć.

Wpis Useragent:* dotyczy wszystkich robotów indeksujących.
Jeśłi chcesz wprowadzić organicznie dla konkretnego robota indeksującego, wpisz zamiast „*
Przykład dla Google bota.
Useragent:Googlebot
 

  1. Zablokowanie konkretnej podstrony dla wszystkich robotów.


    Useragent:*
    Disallow:/strona.html


    ———————————————————————-
  2. Zablokowanie podstron z konkretnym rozszerzeniem np. php

    Użycie tej reguły spowoduje, że nie będą indeksowane pliki umieszczone w katalogu głównym z rozszerzeniem .php


    Useragent:*
    Disallow:/*.php$


    ———————————————————————-
  3. Zablokowanie podstron z konkretną frazą np. admin


    Useragent:*
    Disallow:/*admin*/


    ———————————————————————-
  4. Zmiana częstotliwości indeksowania.
    Opóźnienie jakie możesz podać w regule musi mieścić się w przedziale
    500-0,5 sekundy.



    Useragent:Bingbot
    Allow: /
    Crawl-delay: 10


    ———————————————————————-
  5. Lista katalogów które nie powinny być indeksowane w przypadku używania aplikacji WordPress.


    Useragent:*
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes


    ———————————————————————-
  6. Całkowite zablokowanie konkretnego robota indeksującego.


    Useragent:Yandesbot
    Disallow: /

    ———————————————————————-

Najpopularniejsze roboty indeksujące z  jakimi możesz się spotkać:

  • Bingbot
  • Googlebot
  • Googlebot-Image
  • Googlebot-News
  • Teoma
  • Baiduspider
  • Yahoo!
  • msnbot
  • YandexBot

Nie znalazłeś odpowiedzi?
Skontaktuj się z nami

Właściciel serwisu:

 

H88 S.A

ul. Franklina Roosevelta 22,

60-829 Poznań

 

NIP: PL 7822622168

Regon: 364261632

KRS: 0000612359

Kapitał zakładowy/wpłacony: 215 228,00 PLN

 

 

Adres korespondencyjny:

 

ul. Marcika 27 C-D

30-443 Kraków

 

tel. 12 349 22 00

Infolinia handlowa: 801 308 408

Wsparcie techniczne (24/7/365): 12 349 22 00

Formularz został pomyślnie przesłany.
Wystąpił bład! Spróbuj ponownie lub skontaktuj się z nami.