Tworząc nowy sklep internetowy warto zadbać o to, aby roboty indeksujące, która zostaną na niego skierowane posiadały możliwość indeksacji tylko i wyłącznie kluczowych dla SEO podstron. Przez kluczowe dla serwisu podstrony zazwyczaj określić można podstrony kategorii, produktów czy wpisów na blogu. Bardzo często zdarza się, że nowy i niezoptymalizowany sklep posiada setki tysięcy podstron, które w indeksie nigdy nie powinny się znaleźć.
Jak to możliwe? Powód jest bardzo prosty, są to podstrony, które bardzo często generowane są automatycznie przez system CMS. Nie posiadają one wartościowej dla użytkownika treści, czy po prostu nie mają żadnego potencjału pod względem możliwości wygenerowania ruchu. Mogą natomiast powodować problemy z indeksacją serwisu, a nawet nałożeniem na niego kar algorytmicznych np. za „duże ilości podstron o niskiej jakości treści” czy „duże ilości podstron o małej ilości treści”.
Z uwagi na to warto zadbać, aby możliwe do indeksacji były tylko i wyłącznie właściwe i wartościowe podstrony. Pozwoli to na odpowiednie rozłożenie budżetu crawlowania oraz szybką i prawidłową indeksację podstron, które posiadają potencjał pod względem wygenerowania ruchu.
Jak blokować strony przed indeksacją?
Blokowanie indeksacji podstron w Google wykonać można na 2 sposoby:
- w pliku robots.txt,
- poprzez meta tag „noindex” w sekcji <head> danej podstrony.
Obie metody są stosunkowo skuteczne i równie często wykorzystywane przez specjalistów do spraw pozycjonowania. Zasadnicza różnica pomiędzy tymi dwoma metodami jest jednak znacząca.
Wykorzystanie tagu noindex blokuje indeksację danej podstrony, ale umożliwia pobieranie jej zawartości – tak więc podążanie za linkami oraz „zużywanie crawl budget”.
Wykorzystanie robots.txt umożliwia zablokowanie odwiedzania adresów URL ale również całych katalogów. Blokuje przy tym pobieranie treści podstron, które znajdują się np. w zablokowanym katalogu.
Z uwagi na powyższe w pewnych sytuacjach warto zastosować blokadę w pliku robots.txt a w innych noindex w sekcji <head>. Decyzję należy pozostawić tutaj specjaliście do spraw pozycjonowania, który zajmuje się danym serwisem.
Co warto analizować i blokować przed indeksacją w nowym sklepie
Poniżej przedstawiamy 6 typów podstron, które są najczęściej blokowane przed indeksacją.
1.Podstrony wymagane ze względu na obowiązujące prawo
Podstrony tego typu bardzo często nie generują jakiegokolwiek ruchu w serwisie, a zazwyczaj posiadają skopiowane lub bardzo podobne treści do tych, które znajdują się na innych stronach internetowych. Mowa tutaj o podstronach regulaminów, plików cookies, RODO, informacjach o dostawie i zwrotach. Podstrony tego typu najczęściej blokowane są z wykorzystaniem tagu noindex.
2.Podstrony „użytkowe”
Podstrony użytkowe to m.in. strony logowań, rejestracji, odzyskiwania hasła, koszyka zakupów, porównania produktów. Są one zazwyczaj standardowym elementem każdego sklepu internetowego. Praktycznie zawsze nie posiadają one jakiejkolwiek treści oraz nie generują ruchu w serwisie. Dla wszystkich tego typu podstron należy zablokować możliwość indeksacji. Bardzo często zdarza się również, że w ramach funkcjonalności „dodaj do koszyka” generowany jest odrębny link dla każdego z produktów w sklepie. W tym konkretnym przypadku również warto zablokować indeksację tego typu podstron.
3.Podstrony wyników wyszukiwania
Blokowanie indeksacji wyników wyszukiwania rekomendowane jest w wytycznych Google. Indeksacja wewnętrznych wyszukiwarki bardzo często prowadzi do nagromadzenia się dużej ilości podstron, które posiadają zduplikowane treści. To prowadzi często do duplikacji tekstów czy zjawiska kanibalizacji słów kluczowych. Blokowanie wyników wyszukiwania zazwyczaj odbywa się poprzez wykorzystanie pliku robots.txt.
4.Dedykowane podstrony grafik
Dedykowane podstrony grafik to częsty problem, który występuje w systemie CMS Wordpress. Umożliwienie indeksacji podstron grafik bardzo często prowadzi do nagromadzenia się dużej ilości podstron bez treści oraz kanibalizacji słów kluczowych. Najlepszym sposobem rozwiązania tego problemu jest ich przekierowanie do podstron załączników lub zablokowanie ich indeksacji poprzez tag noindex.
5.Podstrony tagów, archiwum dat
Tagi i archiwa dat to kolejne popularne elementy systemów CSM, które bardzo często tworzone są w hurtowych ilościach. Praktycznie zawsze prezentują te same treści - ponieważ zazwyczaj grupują je według danego tagu czy danej daty. Przez to w serwisie powstaje duża ilość podstron z kopiami treści albo podstron, które dotyczą słów, pod które zoptymalizowane są produkty czy kategorie.
6.Duplikaty podstron paginacji, filtrowań, sortowań, widoków list
Podstrony wyników sortowań, widoków list oraz filtrów, często powodują generowanie duplikatów adresów URL kategorii a nawet produktów. Jest to kluczowy element, któremu warto przyjrzeć się przed rozpoczęciem indeksacji sklepu internetowego. Walka z tym po zaindeksowaniu się tego typu podstron jest stosunkowo trudna i czasochłonna. Warto rozważyć tutaj nieindeksowanie pewnych typów podstron, wdrożenie atrybutów rel=”next” i rel=”prev” czy tagów kanoniczych.
Dodatkowy atrybut nofollow dla linków
Oprócz blokady indeksacji, w pewnych przypadkach warto rozważyć również dodanie parametru nofollow do wybranych adresów URL, które znajdują się wewnątrz serwisu. Będą to np. linki wewnętrzne do podstron logowania, regulaminów itd.
Adresy URL, które są blokowane przed indeksacją w pliku robots.txt lub za pośrednictwem tagu „noindex” powinny zostać dodatkowo oznaczone w kodzie źródłowym serwisu poprzez atrybut rel=”nofollow”.
Rel=”nofollow” w kodzie źródłowym przy danym linku, który i tak nie jest indeksowany, pozwoli na „zablokowanie” możliwości podążenia za danym linkiem robotom wyszukiwarek. Skoro adres URL prowadzi do podstrony, która i tak nie jest indeksowalna, to po co marnować na nią zasoby robota Google, prawda?
Podsumowanie
Przedstawione w artykule typ podstron to najczęściej spotykane elementy serwisów, które powodują problemu z ich indeksacją oraz duplikacją treści. Szczególnie w przypadku nowych sklepów internetowych, warto zadbać o to aby do pierwsze indeksowanie serwisu odbywało się stosunkowo poprawnie i jak najszybciej. Odpowiednia architektura informacji, zablokowanie zbędnych do indeksowania podstron, czy oznaczenie ich linków przez rel=”nofollow”, znacząco usprawni tego typu proces.
