Większość osób nie zastanawia się skąd treści(strony, zdjęcia, dokumenty tekstowe itd.) biorą się w bazach wyszukiwarek internetowych. Na początku istnienia wyszukiwarki były bardziej katalogami stron, do których właściciel witryny lub inne osoby zgłaszały swoje propozycje.

Z czasem jednak mechanizmy stawały się coraz bardziej rozbudowane i w pewnym sensie niezależne od człowieka. Roboty wyszukiwarek(clawlery) zaczęły indeksować nowe dokumenty poprzez odnajdywanie odsyłaczy znajdujących się na stronach, które były już w ich bazach. I tak też dzieje się obecnie. Aby nowo powstały serwis został zindeksowany, wystarczy umieścić link na stronie odwiedzanej np. przez robota Google, a reszta procesu indeksacji odbędzie się bez naszego udziału. Oczywiście pomijając takie przypadki jak blokada przez twórcę strony dostępu dla wszystkich lub wybranych clawlerów, a także inne niestandardowe sytuacje.

Po odczytaniu strony przez robota, treść jest analizowana oraz oceniana przez różnorakie algorytmy, w wyniku czego po wpisaniu w wyszukiwarce danej frazy, w zależności od poziomu skorelowania jej z treścią dokumentu oraz istotności jaka została jemu nadana, link do zindeksowanego materiału zajmie odpowiednio wysoką lub niską pozycję.