ugrás a tartalomhoz

Naplózás és látogatottságszámlálás adatbázisban

kalamona · 2006. Már. 26. (V), 02.27
Sziasztok!

Tulajdonképpen két egymáshoz is kötődő problémám van. Szeretnék egy informatív, teherbíró naplózórendszert készíteni egy nagy látogatottságra törő oldal "alá".

Két célt szolgál majd:
- biztonság, nyomonkövethetőség
- tartalmak, oldalkomponensek népszerűsége, felhasználók oldalhasználati szokásainak figyelése

Arra gondoltam, hogy ez épülhetne ugyanazon adatokra, hiszen mindekettőhöz arra van szükség, hogy kicsoda, mikor, mit csinált az oldalon belül.
Viszont félek, hogy túl nagy terhet ró egy ilyen rendszer az adatbázisra, feleleges adattömeget generálhat, főleg ha a második célra is aktívan használva lesz. Az egész naplózás több szinten működhetne, az admin tudná eldönteni, milyen részleteket szeretne tárolni, milyen felhasználói csoportok esetében. (a be nem lépett vendégről nem kell annyi infó mint a regsztráltakról stb...)


kérdéseim:
- hogyan szokás a naplózásokat kivitelezni? (főleg a nagyobbakat) van ilyen tapasztalatotok?
- mekkora erőforrásprobléma akár többmillió rekordos táblák kezelgetése (majdnem minden reguestnél bővülne)
- esetleg érdemes e külön naplózószervert beállítani, ahol egy kicsi gyors adatbáziskezelő futna csak és rögzítene mindent, tehermentesítésként.
- működhet sima szöveges fájlba írva is? itt milyen gubancok lehetnek? miben jobb-rosszabb az adatbázisnál?
- segít e, ha bizonyos időközönként, vagy rekordszám elérésekor cron-nal exportálom a táblák tartalmát? ezt is úgy volna jó hogy a legújabb x ezer darab bejegyezés azért maradjon benn.



Egyelőre ennyi, majd még részletezem ha kell. :)

Minden érdekel a témával kapcsolatban. Főleg a szenélyes tapasztalatok, gyakorlati tanácsok, buktatókra figyelmeztetések jönnek jól.

Köszi mindent!
 
1

Személyes tapasztalat...

-zsolti- · 2006. Már. 26. (V), 11.02
...szerint nem érdemes saját statisztikát hegeszteni, ha van már erre megfelelő, pl. AWStats. Ezt ráengeditek a webhelyre, és pont azt csinálja amit te is szeretnél: megmutatja ki mit csinált az oldalon, honnan jött, merre ment, meddig időzött egy-egy címen, stb. Log szerepét is betölti, de ha ez sem elég, akkor írhatsz külön egy scriptet, ami a webszervered logját dolgozza fel (Apache-ban azt is fel tudod paraméterezni, hogy miket rögzítsen az access.log-ba), hiszen ott már "minden megvan" minek mégegyszer rögzíteni adatbázisba. Adatbázisba csak azokat az infókat tedd, amik a regisztrált felhasználókkal kapcsolatosak. És nyilván egy ilyen statisztika sem kell örök időre, pl. mindig egy bizonyos hónapig visszamenőleg tartsd meg, a többit archiváld ki fájlba, vagy egy erre fenntartott szerverre.
(Egyébként kicsit off, de ha a statisztikára reklámfelület-kiadás miatt van szükség, lehet érdemes lenne inkább a MedianWebauditon is elgondolkodni. Igaz havi 50.000 Ft, és ezért sokkal kevesebbet ad, mint pl. az AWStats, de az ügynökségek csak ezt fogadják el hitelesnek.)
2

uj oldalaknak

dOMiNiS · 2006. Már. 26. (V), 23.51
median ad max 50% kedvezmény ujonnan indulok vagy kislatogatottsagu oldalaknak.