Weblabor

Az igazi keresőkben lézetik egy a kereséstől független modul, a spider, crawler vagy akármi, ami egész nap oldalak forrását menti le és egy adatbázisba teszi. (ez az indexelés).

Az ilyen robotokra vonatkoznak bizonyos illemszabályok, például két kérés között legalább 30 másodpercnek el kell telnie, nem lenne fair, ha leterhelnéd a szervert annyi kéréssel, amennyi a csövön kifér.

A tényleges keresés már a kész adatbázisban történik, ahol már a kulcsszavakhoz vannak hozzárendelve az oldalak, soksok egyéb statisztikával körítve. Így ha például google-ben keresel nem a pármilliárd oldal szövegében indít el egy plaintext keresést, csak a kulcsszó-adatbázisból bányássza ki a szóba jövő oldalakat.

Egy regex kereséshez az eredeti forrásban kéne keresned. Pár dolgot persze lehetne gyorsítani rajta (például lehetne cache-elni, milyen betűk, betűkombinációk találhatók az oldalon), ha a regex tartalmaz mondjuk A betüt, de az adott fájl nem, akkor megspóroltál egy keresést abban a fájlban. - De mindet egybevéve rengeteg erőforrást igényelne a keresés maga is. Arrólnem is beszélve, hogy a spidernek rengeteg oldalt kéne beindexelnie.

Olyan formában tudnám elképzelni, hogy beírod a regex-edet és a "weblabor.hu" -t. Először keres a már beindexelt lapok között. Ha nincs beindelve semmi a weblabor.hu-ról megkapja a sider az url-t és beilleszti az ütembtervébe. Aztán mondjuk 10-20 óra múlva, amikor van már pár találat kap egy mail értesítőt a felhasználó, hogy rendelkezésre áll X darab találata. A következő kereséskor már rendelkezésre áll az indexben egy csomó weblaboros lap tartalma, tehát ott lehet, hogy azonnal lesz találat.