Indexování umožňuje Googlu, Bingu, ale i jiným vyhledávačům prohledat Vaše webové stránky, zkontrolovat odkazy a ohodnotit obsah, který se na nich nachází. V případě, že k němu nedochází, je jakákoli jiná snaha zbytečná a Vy nikdy nedosáhnete cílů, které jste si na začátku vytyčili.
Indexování by tak mělo být prvním bodem, na který se v SEO auditu zaměříte.
Podívejme se spolu na několik jednoduchých postupů, jak se postarat o správné a efektivní indexování Vašeho webu.
Je Váš web správně indexován?
K dispozici je mnoho nástrojů, které nám prozradí, zda je náš web indexován. Jedním z těch nejrychlejších a nejjednodušších je site: operátor, který ukáže všechny stránky na Vaší doméně, které byly vyhledávačem indexovány.
Například:
site: mujweb.cz
Stejně tak jako celý web můžeme zkontrolovat i jednotlivé stránky.
Například:
site: mujweb.cz/projekt
Když webové stránky nejsou indexovány
Absence indexování má zpravidla dva nejčastější důvody. Tím prvním je meta robots tag, tím druhým je celý soubor robots.txt. Jak meta robots, tak i robots.txt říkají vyhledávači, jaký obsah má a nemá indexovat a v jakém rozsahu.
Rozdíl mezi nimi spočívá v tom, že meta robots tag pracuje s individuálními stránkami, zatím co robots.txt pracuje s celou doménou. I v robots.txt můžeme pracovat s jednotlivými stránkami a podmínkami a to pomocí postupu, který si ukážeme níže.
Robots.txt
Pokud si nejste jistí tím, že Váš web využívá soubor robots.txt, jednoduše si to můžete zkontrolovat zadáním své domény do prohlížeče v této podobě.
https://www.mujweb.cz/robots.txt
Jedním z možných způsobů, jak si zkontrolovat přítomnost robots.txt je také Google Search Console, která nabízí jednoduchý a rychlý testovací nástroj. Ten Vám pomůže nejen zjistit, zda se robots.txt na Vašem webu nachází, ale také pomůže identifikovat chyby, které se v něm objevují.
Robots.txt je opravdu mocným nástrojem, pomocí kterého můžeme kontrolovat přístup vyhledávače do složek a souborů, které se na web nachází. Správným nastavením tak získáme kompletní indexaci žádaného obsahu a vyhnete se indexaci složek, které slouží pro interní účely.
Robots meta tag
Robots meta tag se nachází v hlavičce webové stránky a nabízí několik parametrů, které mohou usnadnit práci s obsahem nebo odkazy.
Například můžeme vyhledávači říct, aby ignoroval odkazy na zvolené webové stránce a indexoval pouze samotný obsah. K tomu slouží parametr noindex, follow.
Pro robots meta tag se nejčastěji využívají dva parametry a to:
- Index follow.Vyhledávač má za úkol indexovat jak obsah, tak i odkazy
- Noindex nofollow.Vyhledávač nemá indexovat obsah ani odkazy
XML sitemaps
Při spouštění nového projektu je třeba rychlá indexace, která umožní rychlé zařazení do vyhledávání. Pro takové účely se používá XML sitemap soubor, který obsahuje URL adresy všech stránek domény.
Ujistěte se proto, že se Váš XML soubor nachází v Google Search Console a Bing Webmaster Tools a stránky jsou tak přístupné indexování.
Jak rychlé je takové indexování? Zpravidla zabere jen několik málo desítek vteřin. U velmi obsáhlých projektů to může být pár minut.
JavaScript
V roce 2011 Google oznámil, že je schopen indexovat i dynamické prvky, které jsou součástí JavaScriptu. I přes to ale nemá přístup ke všem a proto je potřeba využít Google Search Console, která disponuje Fetch and Render nástrojem. Pomocí tohoto nástroje můžeme zanalyzovat svůj web a zjistit, které části JavaScriptu jsou pro Googlebota nepřístupné a bude potřeba je změnit nebo upravit.
Shrnutí
Vždy mějte na paměti, že pokud mají být Vaše webové stránky hodnocené, musí být také indexované. Kontrola indexování by proto měla být hlavní prioritou auditu a je třeba tento proces kontrolovat v pravidelných intervalech.