W SKRÓCIE
Skanowanie i indeksowanie to dwa różne etapy. Google może znać adres URL, ale mimo to go nie indeksować. Dlatego zacznij od statusu HTTP i sprawdzenia, czy robot może wejść na stronę, a następnie zweryfikuj noindex, adres kanoniczny i jakość treści.
Zacznij od statusu HTTP
- Ważna strona powinna zwracać prawidłowy kod 200. Przekierowania powinny prowadzić bez zbędnych łańcuchów, a brakujące treści nie mogą udawać kodu 200.
Sprawdź robots i noindex
- robots.txt steruje skanowaniem, a meta robots może sterować indeksowaniem. Nie używaj ich zamiennie bez zrozumienia konsekwencji.
Sprawdź adres kanoniczny
- Adres kanoniczny powinien wskazywać preferowaną wersję URL i być zgodny z tym, jak obsługujesz domenę, parametry oraz zduplikowane treści.
Uporządkuj mapę witryny XML
- Umieszczaj w niej indeksowalne kanoniczne URL-e, które rzeczywiście istnieją i zwracają poprawną odpowiedź.
Sprawdź linkowanie wewnętrzne
- Ważne strony nie powinny być dostępne wyłącznie z mapy witryny. Dodaj logiczne ścieżki z nawigacji, kategorii i powiązanych treści.
Najczęstsze pytania
Czy adres z mapy witryny musi zostać zaindeksowany?
Nie. Mapa strony pomaga w odkrywaniu i sygnalizuje preferowane strony, ale wyszukiwarka nadal samodzielnie decyduje o indeksacji.
Czy robots.txt może usunąć stronę z indeksu?
Samo zablokowanie skanowania nie jest pewnym sposobem na usunięcie adresu z indeksu. Do kontroli indeksowania służą odpowiednie mechanizmy, np. noindex, ale robot wyszukiwarki musi mieć możliwość odczytania tej dyrektywy.