Weblabor

Gondold át, milyen feladatkörökkel kell foglalkoznia egy ilyesmi alkalmazásnak:

Az első és legfontosabb egység az adatok (url-ek) feldolgozása, a másik a keresések kiszolgálása.

Az adatfeldolgozásnál (url-ek) figyelned kell:
- a meglévő (már indexelt) tartalom változására
- az új tartalmak indexelésére
- már nemlétező tartalmak karbantartására

Ha már foglalkoztál vagy tanultál programozást, próbálj létrehozni elméleti egységeket és abból építs egy elméleti alkalmazást:

1. Tételezzük fel, hogy az url-eken található összes tartalmat szöveges változóknak tekintjük (azok tényleges beolvasása technikai részletkérdés, biztos, hogy találsz a php manual-ban példákat). Ha ezt elfogaodo, akkor
2. ezeket a szöveges változókat url-hez azonosíthatóan el kell menteni adatbázisba, majd
3. az elmentett tartalomra építeni kell egy szótár adatbázis. Fel kell építened egy olyan "tartalom<=>kapcsoló<=>szótár" struktúrát, amiből majd ki tudod szolgálni a kereséseket. Kicsit részletesebben, a kapcsoló táblába gyűjtögeted a tartalom<=>szó összefüggéseket, így egy szó keresése a szótárban megadja majd az összes url-t, ahol az a szó megtalálható (ez nagyon felületes, csak elméleti).

Ezek után már csak a naprakészen tartás a fontos, illetve az adott url-ekhez (persze ha domain-eket indexelsz, nem csak egy-egy adott oldalt) megjelenő új tartalmak indexelése, régiek kiürítése.

Így hát a programod azon része, amelyik meghatározott időközönként (cron-olva) begyűjti a megadott url-ek tartalmát, az lesz a robotod.

A keresés kiszolgálása sem sokkal egyszerűbb (talán programozástechnikailag igen), a keresési gyakoriság függvényében sokat bonyolódhat, amúgy meg egy átlagos bonyolultságú lekérdezés:

1. Kikeresed a szótárból a szót, amit keresnek,
2. Lekéred a kapcsoló táblából az összes tartalom azonosítót, amiben szerepel a keresőszó,
3. csinálsz az url-ekből egy találati listát.

Ha tovább bonyolítanánk:

- A keresőszavak nem minden esetben ragozatlan tőszavak, ezért a hasonlóságra is kell figyelmet szentelni (körte=>körte%)
- Keresőszó szinonimák, keresőszó egyéb összetett szavakban (körte=>körtefa | fa)
- Ha keresés után megszámolod, hogy a kapcsoló tábládban megtalált egyezések számszerűen hogyan oszlanak meg a találati lista tekintetében, mindjárt tudsz csinálni egy találati "értékességi" sorrendet (persze célszerű vizsgálni a teljes tartalomban előforduló szavak arányát is)

Hát nagyjából ennyi, és azt hiszen még lenne sok jó ötletem, de ezen már el lehet indulni!

Ami eddig nem volt kihangsúlyozva: gyakorlatilag meg kell írnod egy HTTP klienst.

a ragozott szavak problémáját lehet kezelni egy olyan függvénnyel, ami minden szóból valamilyen kódot készít, ami csak olyan szavakra egyezik meg, amiknek azonos a szótövük. hasonló függvény a soundex, viszont az a kiejtéssel csinálja meg ugyanezt (a hasonló kiejtésű szavak kódja megegyezik).
egyébként szerintem a web bejárása itt a legkisebb probléma. a megfelelő reprezentációt, amiben aza datokat tárolod, nehezebb megválasztani, valószínűleg nem egy egyszerű táblaszerkezet lesz.
ezen kívül ha valami komolyabb keresőt akarsz, akkor érdemes figyelembe venned (mint a google) a bejövő és a kimenő linkek számát és ez alapján döntenes. ha még jobbat akarsz, akkor peddig figyelheted a kattintások számát. abból tudod, hogy a felhasználónak mi tetszett a találatok közül. ha ezt valamilyen tanuló algoritmussal (pl neurális hálós dolgok) be tudod építeni a későbbi eredményekbe, azzal nem csak optimalizálni tudsz, hanem jobb is lesz a szolgáltatásod.

Mindenkinek köszönöm, akik segítettek! Az lenne még a kérdésem, hogy a kereső sima tárhelyre mehet vagy valami különleges spéci tárhelyre lenne szükség? Valamint kb. mekkora tárhelyre és MySQL -re lesz szükség?