Indeksowanie strony w Google – czym jest, jakie działania mają wpływ na indeksację?

Indeksowanie strony w Google to temat, którym powinien zainteresować się każdy właściciel witryny internetowej. Dlaczego to takie ważne? Ponieważ jeśli dana podstrona nie jest zaindeksowana, nie jest też widoczna w wynikach wyszukiwania. Skutkuje to brakiem ruchu organicznego i konwersji. Warto więc wziąć kwestię indeksacji pod lupę. W dzisiejszym wpisie opiszemy czym jest indeksowanie stron internetowych i podpowiemy co zrobić, jeśli okaże się, że Google nie indeksuje witryny, nowych podstron wprowadzonych zmian.

Czym jest indeksowanie strony?

Indeksowanie to proces, w którym roboty wyszukiwarki odwiedzają stronę internetową, analizują jej treść, strukturę i inne zasoby, a następnie pobierają i dodają do indeksu Google. Indeks to ogromna baza danych, w której przechowywane są informacje o stronach internetowych i ich zawartości.

Aby algorytm Google mógł wyświetlać Twoją stronę w wynikach wyszukiwania, musi najpierw ją zaindeksować.

Zasoby, które zostały zaindeksowane, przechowywane są w Google Data Center, czyli w centrum danych Google. Centra danych zlokalizowane są w różnych miejscach na świecie, przetwarzają ogromną ilość informacji i, jak nietrudno się domyśleć, muszą działać – i to na najwyższych obrotach, przez 24 godziny na dobę.

W Europie mamy obecnie sześć Google Data Center, zlokalizowane są one w Irlandii, w Holandii, Danii, Belgii, w Niemczech i w Finlandii. W fazie rozwoju znajdują się Google Data Center w Wielkiej Brytanii, Norwegii i Holandii. Oprócz tego, bazy danych zlokalizowane są także w Ameryce Północnej, w Ameryce Południowej i w Azji. 

Budżet indeksowania 

Internet to ogromna baza stron www, sklepów e-commerce, portali. Wciąż też pojawiają się nowe witryny. Zapis różnego typu zmian, dodanie do indeksu kolejnych informacji wymaga czasu i odpowiednich zasobów – a tutaj pojawiają się ograniczenia. W tym kontekście ważne jest pojęcie crawl budgetu, inaczej budżetu indeksacji witryny. Uzależniony jest on od dwóch głównych czynników, są to limit wydajności i zapotrzebowanie. Na stronie Google pojawiają się następujące informacje:

Limit wydajności 

• Stan indeksowania – tutaj mamy prostą zasadę. Jeśli odpowiedź witryny jest szybka, Google traktuje to jako zielone światło na zwiększenie liczby połączeń i zwiększenie budżetu indeksacji. Przy wolnym działaniu strony, Google zmniejsza liczbę połączeń i budżet indeksacji. 
• Zasoby Google – choć Google dysponuje ogromnymi zasobami, nie są to zasoby nieograniczone. Ilość dostępnych komputerów Google siłą rzeczy wpływa na proces indeksacji, sprawia, że konieczna jest priorytetyzacja. 

Zapotrzebowanie na indeksowanie 

• Ważne adresy url – jeśli nie zablokujesz dostępu do nieistotnych podstron i nie wskażesz robotom Google tych najistotniejszych, zaindeksowane zostaną wszystkie adresy url w obrębie Twojej witryny. Mogą to być także podstrony ze zduplikowanym contentem i takie, które nie przynoszą Twojej firmie korzyści. To marnowanie budżetu indeksacji. 
• Czynniki behawioralne – wciąż słyszymy o tym, jak ważna jest satysfakcja użytkowników. Google częściej indeksuje podstrony, które cieszą się popularnością i są chętnie odwiedzane przez odbiorców. 
• Aktualizacje – Google wraca do zaindeksowanych adresów url, aby w indeksie uwzględnić różnego typu zmiany.   

Jak Google indeksuje strony?

Jak – krok po kroku, przebiega indeksowanie strony internetowej? Wyróżniamy trzy etapy, są to: skanowanie, indeksowanie, a w końcu, wyświetlanie w wynikach wyszukiwania. Omówmy po kolei każdy z etapów.

Skanowanie

Skanowanie to pierwszy etap, w którym algorytmy Google szukają stron www i sklepów e-commerce, które oczekują na indeksację. Warto podkreślić, że  nie ma bazy danych czy rejestru, w których znajdowałby się informacje na temat nowych podstron – Google musi je odszukać. 

Indeksowanie

Rozpoczyna się właściwy proces indeksowania witryny. Google przetwarza pobrane zasoby – treści, filmy, atrybuty alt, meta dane. Roboty analizują, czy treść nie jest duplikatem lub, czy w danym przypadku nie został ustawiony tag kanoniczny.

Indeksacja strony a kanoniczne adresy url

Podczas omawiania procesu indeksacji nie sposób pominąć tematu kanonicznych adresów url. Kanoniczne adresy URL sprawiają, że wyszukiwarki, np. Google, wiedzą, która wersja podstrony w obrębie danej witryny, spełnia najważniejszą rolę i powinna być traktowana priorytetowo.

Kanoniczny adres URL (rel=”canonical”) to specjalny znacznik HTML, który wskazuje Google, jaka wersja strony powinna być uznana za oryginalną i zostać zaindeksowana. Wspomniane rozwiązanie pozwala na uniknięcie problemów z duplikacją treści – taki problem występuje, gdy ta sama treść umieszczona jest pod kilkoma adresami url (np. z i bez www, z http lub https).

Brak znacznika kanonicznego sprawi, że roboty Google nie będą wiedziały, którą wersję zaindeksować. Może to poskutkować „rozcieńczeniem” wartości linków (tzw. link juice) i rozdzieleniem go między różnymi wersjami podstron. Może to także prowadzić do tego, że Google zignoruje wszystkie wersje podstron lub, z powodu powielania treści, uzna je za mające niską jakość. 

Warto też byś pamiętał, że Google ma ograniczoną liczbę zasobów, jakie może przeznaczyć na przeszukiwanie stron www (tzw. crawl budget). Dzięki kanonicznym URL-om roboty indeksujące mogą skupić się na priorytetowej wersji podstrony i  efektywnie wykorzystać crawl budget – zredukuje to problem indeksowania np.  zduplikowanych stron.

Wyświetlanie w wynikach wyszukiwania

Gdy użytkownik wpisuje zapytanie w okno wyszukiwania, celem robotów Google jest dostarczenie mu jak najlepszych wyników wyszukiwania. W pierwszej kolejności wyświetlane są strony internetowe i sklepy e-commece, które zostaną uznane, za:

• Trafne – treści powinny być trafne, a więc dopasowane do zapytania użytkownika, np. zawierać frazy, których użył.
• Przydatne w danym momencie – ważne jest to, by treści były przydatne w danym momencie. Użytkownik, który znajduje się w Warszawie i szuka najbliższej kwiaciarni, nie będzie zainteresowany listą kwiaciarni np. z Poznania czy Hongkongu. 
• Użyteczne – wyświetlane przez Google treści muszą być także użyteczne, oznacza to między innymi prawidłowe działanie strony, responsywność, zoptymalizowaną prędkość ładowania.
• Mające wysoką jakość – liczy się także jakość. Użytkownicy nie chcą czytać kiepskich treści, a Google nie chce wyświetlać słabego contentu. Ważne więc, by treści na Twojej stronie www miały wysoką jakość, były merytoryczne, w wyczerpujący sposób omawiały temat, zawierały nagłówki i odpowiednie frazy kluczowe.

Bardziej szczegółowy opis tego, jak algorytm Google indeksuje stronę, zobaczysz w poniższym filmie:

 

Prawidłowe indeksowanie strony – dlaczego jest ważne?

Prawidłowe indeksowanie strony jest kluczowym czynnikiem w pozycjonowaniu. Prawidłowa indeksacja to szansa na uzyskanie wysokich pozycji. Jeśli jednak strona będzie indeksować się z różnego rodzaju błędami lub co gorsza, ważne podstrony zostaną zablokowane przed robotami Gogole, możesz mieć problemy z uzyskaniem dużego ruchu z organicznych wyników Google.

Jak sprawdzić, czy strona prawidłowo indeksuje się w Google?

By sprawdzić, w jaki sposób Twoja strona indeksuje się w wynikach wyszukiwania, wystarczy użyć operatora site: a następnie wpisać nazwę domeny w wyszukiwarce Google, np. site:1stplace.pl. 

Jako wynik otrzymasz wszystkie podstrony, które są zaindeksowane przez wyszukiwarkę Google. Jest to świetna metoda, która pozwala na weryfikację liczby zaindeksowanych podstron. 

Dla domeny 1stplace.pl zaindeksowanych jest około 185 stron. Oczywiście, nie jest to dokładna liczba, ale daje nam to pewne rozeznanie. 

Jeśli chciałbyś uzyskać dokładne wyniki, skorzystaj z narzędzia Google Search Console. Aby to zrobić, musisz założyć w tej usłudze konto.

W usłudze Google Search Console przejdź do zakładki Indeks -> Stan

Po kliknięciu zakładki Prawidłowe zobaczysz wszystkie strony, które są zaindeksowane prawidłowo.

Indeksowanie Google: Google Search Console

W procesie indeksacji mogą pojawić się błędy – informację na ten temat znajdziesz w narzędziu Google Search Console. Aby sprawdzić zaindeksowane i niezaindeksowane podstrony, wystarczy w menu po lewej stronie kliknąć Strony. 

Jeśli chodzi o liczbę zaindeksowanych podstron, wraz z dodaniem kolejnych adresów url, ich liczba powinna wzrastać. Jeśli mimo rozbudowy witryny, liczba zindeksowanych podstron nie zwiększa się lub widzisz dziwne skoki w wyświetlanych wartościach, koniecznie zweryfikuj problem – być może znajdziesz rozwiązanie w sekcji Rozwiązywanie problemów.

Pod danymi na temat zaindeksowanych i niezaindeksowanych witryn, znajdziesz  tabelę, a w niej informacje o przyczynach braku indeksacji. Najczęstsze powody to: 

• nie znaleziono (404)
• strona zawiera przekierowanie
• pozorny błąd 404
• błąd serwera
• strona wykluczona za pomocą tagu noindex
• strona zeskanowana, ale jeszcze niezaindeksowana.

Brak indeksacji, brak widoczności w wynikach wyszukiwania 

Co zrobić, jeśli strona nie pojawia się w wynikach wyszukiwania?

Jeśli Twoja strona nie pojawia się w wynikach wyszukiwania, weź pod uwagę kilka  scenariuszy: 

1. Masz nową stronę, która jeszcze nie jest zaindeksowana, minęło zbyt mało czasu.
2. Na stronie dodany jest kod HTML, który blokuje indeksację.  
3. Twoja strona została ukarana przez algorytm, np. za działanie black hat seo. 

Zwykle można spotkać scenariusz numer 2. Często na etapie budowy strony deweloperzy dodają kod, który blokuje witrynę przed indeksowaniem. Dzięki temu indeksacji nie podlega niegotowa jeszcze wersja witryny. Zdarza się, że po zakończeniu prac specjaliści nie usuwają kodu i strona nie może być indeksowana przez roboty Google. 

Dlaczego jeszcze Google pomija indeksowanie podstron Twojej witryny?

Wśród innych przyczyn  braku indeksacji znajdują się:

Częste awarie

Różnego typu awarie i usterki sprawią, że roboty Google będą miały trudności z jej skanowaniem. W konsekwencji, Google może uznać witrynę za niedostępną lub kiepskiej jakości – a to poskutkuje brakiem indeksacji.

Ataki hackerskie

Ataki hackerskie i złośliwe oprogramowanie to kolejne czynniki, które mogą sprawić, że roboty Google nie będą zbyt często odwiedzać Twojej witryny. Dla Giganta najważniejsze jest bezpieczeństwo użytkowników, dlatego strony, które nie są uznawane, za w 100% bezpieczne, mogą być omijane przez roboty.

Witryna nie działa wydajnie

Roboty Google nie chcą nadmiernie obciążać stron www – właśnie dlatego, rzadziej odwiedzają witryny, które nie działają w odpowiedni sposób.

Brak aktualizacji treści

Witryny, w obrębie których prowadzone są aktywne i prawidłowe działania, mają największą szansę na wysoki crawl budget, szybszą indeksację i uzyskanie wyższych pozycji w organicznych wynikach wyszukiwania. Brak regularnych działań ma negatywny wpływ na indeksację. 

Ile trwa indeksowanie strony?

Ile trwa indeksowanie strony? Na to pytanie raczej nikt nie jest w stanie udzielić jednoznacznej odpowiedzi. Sama codziennie przygotowuję i implementuję różnego typu treści, a co za tym idzie, śledzę proces indeksowania oraz widoczność mojego contentu w organicznych wynikach wyszukiwania. Muszę przyznać, że bywa różnie. Zdarza się, że już po jednym dniu podstrona jest zaindeksowana, a co więcej, wyświetla się na topowych pozycjach w Google. Bywa także i tak, że czekam miesiącami i nic się nie dzieje. 

Tak więc, proces indeksowania strony internetowej może trwać zarówno dzień lub kilka godzin, jak i kilka dni czy kilkanaście tygodni. Czy mamy na to wpływ? Pośredni tak – możemy przeprowadzić kilka działań, które zwiększą crawl budget i dadzą szansę na szybszą indeksację – nie ma jednak reguły.

Na oficjalnej stronie Google znajdziemy informację, że indeksacja trwa od kilku dni do kilku tygodni. Czytamy także, że

Czy można przyspieszyć proces dodawania strony do indeksu?

Przejdźmy do omówienia działań, które mogą przyspieszyć indeksację Twojej strony www lub sklepu e-commerce.  

Utworzenie mapy witryny xml

Indeksowanie witryny możesz przyspieszyć poprzez utworzenie mapy xml, w której umieścisz adresy url, które pojawiły się na Twojej stronie. Podczas tworzenia omawianej mapy, przydatna będzie wtyczka Yoast SEO. Mapę xml należy przesłać do Google Search Console. O tym, jak istotna jest mapa witryny można przeczytać na oficjalnej stronie Google: 

Prawidłowa optymalizacja pliku robots.txt

Może zdarzyć się tak, że przez drobne niedopatrzenie zablokujesz robotom dostęp do ważnych dla Twojej firmy podstron. Zablokowany adres URL nie będzie indeksowany. Zadbaj więc o prawidłową optymalizację pliku robots.txt. 

Linkowanie wewnętrzne

Linkowanie wewnętrzne polega na tworzeniu odnośników w obrębie tej samej witryny – link może kierować np. z artykułu blogowego na podstronę produktową. Przemyślana implementacja linkowania wewnętrznego sprawia, że roboty szybciej poruszają się w obrębie strony i mają dostęp do wszystkich adresów url – nawet tych ukrytych w strukturze witryny. Co więcej, podstrony, na które kieruje najwięcej linków uznawane są za najistotniejsze. 

Linkowanie zewnętrzne

Linkowanie zewnętrzne to kolejny krok w stronę szybszego indeksowania strony internetowej. Przemyślany link building buduje wiarygodność witryny, wskazuje ją jako zaufane źródło informacji, wysyła sygnał do Google, że dana strona www może być użyteczna dla szukających.

Pozyskiwanie wartościowych linków, z tematycznych źródeł, stanowi także ważny element pozycjonowania.

Google Indexing API

Google Indexing API to narzędzie, które sprawia, że Google w błyskawicznym tempie uzyskuje informacje o nowych stronach lub zmianach w obrębie już istniejących podstron. API powstało przede wszystkim z myślą o witrynach z dynamicznie zmieniającą się zawartością, np. o portalach z ofertami pracy lub opisujących najnowsze wydarzenia.

Choć API nie jest dostępne dla wszystkich typów stron, jego zastosowanie może znacznie poprawić widoczność witryny w wynikach wyszukiwania.

Prośba o indeksację

W panelu Google Search Console możesz zgłosić prośbę o indeksację witryny. Wspomniana prośba może dotyczyć zarówno procesu indeksowania nowych podstron, jak i zaktualizowanych treści np. kiedy zmieniasz treść artykułu. Wystosowanie prośby zwiększa szansę na szybsze pojawienie się witryny w wynikach wyszukiwania Google.

Aby przesłać prośbę, wystarczy zalogować się do Google Search Console, wpisać adres URL podstrony, która ma zostać zaindeksowana, a następnie kliknąć opcję Poproś o zindeksowanie. Google zainicjuje proces indeksacji, chociaż czas, w jakim strona faktycznie zostanie dodana do indeksu, może być różny. 

Omawiane rozwiązanie jest szczególnie przydatne przy wprowadzaniu istotnych zmian na stronie www, a także w sytuacjach, w których  zależy nam na ich szybkim uwzględnieniu zmian przez algorytmy Google.

Pamiętaj jednak o zachowaniu umiaru i działaj w przemyślany sposób. Zbyt częste prośby dotyczące tego samego adresu URL, mogą przynieść skutki odwrotne do oczekiwanych. Co więcej, dodanie prośby o indeksację nie gwarantuje natychmiastowego indeksowania. W pierwszej kolejności do indeksu dodawane są strony, które Google uznaje za wartościowe, mające wysoką jakość. 

Potwierdzenie znajdziesz na oficjalnej stronie giganta:

Wart też dodać, że niektóre platformy, na przykład Blogger lub WordPress automatycznie przesyłają prośbę o indeksację. 

Regularna publikacja treści

Indeksowanie stron w Google można przyspieszyć poprzez regularną aktualizację treści i wdrażanie nowych tekstów. Takie działanie pokaże robotom, że strona www żyje i, że warto ją odwiedzać. Wszystko to może zwiększyć częstotliwość wizyt robotów na Twojej stronie.

Poprawa wydajności witryny

Google preferuje szybkie i wydajne strony – uznaje je za bardziej przyjazne dla użytkownika, a jak wiadomo, zadowolenie użytkownika jest priorytetem.

Unikanie błędów technicznych

Upewnij się, że strona nie ma błędów technicznych (np. błędy 404, brak dostępu do strony dla robotów Google, złe ustawienia pliku robots.txt) – takie usterki mogą blokować indeksację.

Wydajny i bezpieczny hosting

Roboty Google nie chcą negatywnie wpływać na działanie strony. Witryny, które nie działają wydajnie, mają niższy crawl budget (by poprzez wizyty robotów nie były w jeszcze większym stopniu obciążone). Z taką samą sytuacją będziemy mieli do czynienia w przypadku częstych awarii strony www, problemami z jej dostępnością.

Rozwiązanie? Wydajny, zaufany i odpowiednio zabezpieczony hosting. 

Strona w indeksie Google a pozycjonowanie i widoczność w sieci 

Warto w tym miejscu podkreślić jedną, istotną kwestię. Indeksowanie stron www w Google to dopiero pierwszy krok i nie gwarantuje on dobrej widoczności w organicznych wynikach wyszukiwania. Indeksowanie podstron oznacza jedynie, że roboty Google odwiedziły Twoją witrynę i zapisały zasoby na serwerach Google. To, na jakich pozycjach wyświetlana będzie Twoja strona www, uzależnione jest od kilku istotnych kwestii, a przede wszystkim, od jakości pozycjonowania.

Dla przypomnienia – pozycjonowanie to wieloetapowy proces, którego celem jest optymalizacja strony www pod kątem wyszukiwarki Google, a także pod kątem potrzeb użytkowników. Na pozycjonowanie składają się takie działania, jak:

• dobór fraz kluczowych,
• implementacja linkowania wewnętrznego,
• pozyskiwanie wartościowych linków zewnętrznych,
• optymalizacja techniczna: optymalizacja prędkości ładowania, wdrożenie certyfikatu ssl, responsywność, optymalizacja adresów url,
• wdrażanie wartościowych treści.

Gdy już podstrona zostanie zaindeksowana, zweryfikuj, na jakie frazy się wyświetla. Sprawdź, czy zawiera istotne informacje, czy jest zoptymalizowana pod kątem UX, czy użytkownicy spędzają na niej czas. Dobrze wejść w buty klienta i zastanowić się, o jakie informacje możesz rozbudować treść, jakie elementy dodać.

Podsumowanie – indeksowanie strony

Indeksacja jest początkowym, ale zarazem kluczowym elementem w pozycjonowaniu strony. Jeśli witryna będzie indeksować się prawidłowo, uzyska większe szanse na zajęcie topowych pozycji w rankingu Google. Warto więc na bieżąco sprawdzać, czy strona została zaindeksowana, czy może w procesie indeksacji pojawiły się problemy.

Podczas weryfikacji indeksacji witryny, warto mieć na uwadze kilka kwestii, między innymi:

• indeksowanie zmian może potrwać kilka tygodni, a nawet dłużej, 
• proces indeksowania nowej witryny może trwać dłużej – od kilku dni do nawet kilku miesięcy,
• aby strona www wyświetlała się w wynikach wyszukiwania, w pierwszej kolejności musi zostać zaindeksowana.