Zarejestruj się do bezpłatnej platformy e-learningowej.
Zarejestruj się bezpłatnieWskazówki, rozmowy, inspiracje
Subskrybuj kanał na YouTube i bądź na bieżąco!
Spis Treści
Istnieją dwie metody na wskazanie robotom wyszukiwarki, żeby nie indeksowały wybranych podstron lub zasobów.
W sekcji <HEAD> wybranej podstrony należy wdrożyć tag meta name=”robots” za pomocą komendy:
<meta name=”robots” content=”noindex, nofollow”>
Roboty Google dostaną jasny sygnał, aby nie indeksować danej podstrony.
Można posłużyć się plikiem robots.txt, blokując dostęp do serwisu dla wszystkich lub wybranych robotów indeksujących:
Przy tworzeniu pliku robots.txt trzeba uważać, aby nie zablokować całego serwisu przed robotami wyszukiwarki, po komendzie disallow wpisując /.
Dodatkowo oprócz powyższych sposobów stosuje się tag rel=”canonical” w celu wskazania robotom wyszukiwarki treści, która powinna znaleźć się w wynikach wyszukiwania. Przekierowanie kanoniczne wykorzystuje się na stronach, gdzie występuje filtrowanie lub sortowanie produktów, stronicowanie, kopie treści.
Kierując się naszym długoletnim doświadczeniem w optymalizacji serwisów internetowych, przygotowaliśmy listę 9 typów podstron, których nie warto indeksować.
Wszelkiego rodzaju dokumenty spełniające obowiązki przedsiębiorcy związane z przepisami prawa najczęściej zawierają zapisy podobne do treści publikowanej przez inne serwisy internetowe. To grozi kopiami treści, więc tego typu zasoby lepiej zablokować przed indeksowaniem przez roboty wyszukiwarki.
Formularze służące do logowania i rejestracji nie powinny znaleźć się w wynikach wyszukiwania, ponieważ ich obecność w wyszukiwarce nie przyniesie żadnej wartości dla użytkownika. Upewnij się, że przyciski na stronie prowadzące do tych funkcjonalności znajdują się w widocznych miejscach, by internauta nie miał problemu z ich znalezieniem.
To podstrony, które powinny być widoczne tylko dla użytkowników składających zamówienie. Nie warto, aby treść podstron trafiła do rankingu wyszukiwarki.
Wewnętrzna wyszukiwarka pozwala użytkownikowi zdecydowanie szybkiej dotrzeć do treści lub produktów, które go interesują. Jednak przygotowana w oparciu o wpisane hasło lista wyników tworzy wewnętrzną duplikację treści (np. opisy produktów lub fragmenty artykułów pobierane są z odpowiednich podstron), co wpływa niekorzystnie na ocenę serwisu przez wyszukiwarkę Google. Tego typu podstrony źle wyglądają w wynikach wyszukiwania.
Jeśli w Twoim serwisie znajdują się podstrony z kopiami treści, których nie możesz usunąć lub przeredagować (np. ze względów prawnych), korzystając z komendy meta name=”robots” lub pliku robots.txt, zablokuj je przed indeksacją. Jeśli tego nie zrobisz, prawdopodobnie ucierpi pozycja strony w wynikach wyszukiwania. Nie warto także zapraszać użytkowników na puste podstrony, więc tego typu zasoby również najlepiej wyideksować.
Część systemów CMS lub wtyczek służących do tworzenia galerii obrazów tworzy odrębne podstrony dla każdej grafiki. W rezultacie wyszukiwarka widzi pustą stronę, na której być może znajdą się słowa z atrybutu „alt” (opisu obrazka). Takie zasoby musimy również zablokować przed wyszukiwarką.
Tagowanie artykułów może wzmacniać linkowanie wewnętrzne i ułatwiać użytkownikowi znalezienie tekstów o interesującej go tematyce, ale nieodpowiednio wdrożone będzie szkodziło optymalizacji, powodując kopie treści. Podobnie dzieje się w przypadku archiwum dat lub archiwum kategorii, które są generowane automatycznie przez niektóre systemy CMS, np. WordPress. Wszystkie tego typu podstrony należy wyindeksować, aby nie utrudniały w osiąganiu wysokich pozycji w wyszukiwarce.
Paginacja, czyli podzielenie treści na kolejne podstrony serwisu (najczęściej stosowana w przypadku listy produktów, artykułów, długich tekstów blogowych) ma wiele plusów, m.in. pozwala na szybsze wczytywanie się strony. Jednak aby działała poprawnie i nie szkodziła SEO, należy wdrożyć znaczniki rel=”prev” i rel=”next” lub przekierowania kanoniczne. Czasami wdrożenie takiego rozwiązania nie jest możliwe i wtedy konieczne staje się wyindeksowanie stronicowanych podstron.
Jeśli na podstronach, na których zmienia się jedynie układ treści, nie ma możliwości ustawienia tagu canonical, koniecznie trzeba je zablokować przed indeksacją. W tym przypadku polecamy użycie meta name=”robots” ustawionych w sekcji <HEAD >.
Systemy CMS i wtyczki pozwalają z poziomu panelu administracyjnego zablokować stronę przed robotami wyszukiwarki za pomocą jednego kliknięcia. Zanim to zrobisz, uważnie przeczytaj, co ustawiasz – może się zdarzyć, że pole, które chcesz zaznaczyć, wyindeksuje cały serwis z wyników wyszukiwania. Wtedy cała witryna zostanie usunięta z indeksu Google, a Ty nie będziesz miał szansy dotarcia do użytkowników w wyszukiwarce.
