ugrás a tartalomhoz

Piwik statisztika eltérés más statisztikázó programoktól

ecrazor · 2014. Jún. 8. (V), 14.42
Sziasztok,

Van-e esetleg valakinek Piwik-el tapasztalata, hogy hogyan lehetne az eredményeket pontosítani?

A probléma ott van, hogy a Piwik és az AWStat között jelentős különbség tapasztalható. Igaz az AWstat apache log alapján, míg a Piwik JavaScript alapú mérkőkód alapján statisztikáz, valamint JavaScript hiánya esetén egy rejtett képpel próbál mérni. Lehetséges a bot traffic miatt van az eltérés, amit a Piwik nem lát?

Nos néztem a Piwik Log Analytics eszközét, ami az apache logokból megpróbálja a látogatási adatokat feltölteni, rosszul. A probléma, hogy a látogatások száma túlságosan sok lesz, tehát valamiért nem veszi figyelembe a meglévő méréseket.

Vágjunk bele, akkor el is végzem az utolsó pár nap log fáljainak feltöltését, később mutatom az eredményt is:
{piwik_path}/misc/log-analytics/import_logs.py \
	--url=https://{piwik_url}/{piwik_webpath} \
	{log_path}/{log_file} \
	--idsite {piwik_site_id} \
	--recorders {cpu_count} \
	--enable-http-errors \
	--enable-http-redirects \
	--config={piwik_path}/config/config.ini.php
Kimenet:
Logs import summary
-------------------

    9015 requests imported successfully
    13462 requests were downloads
    27064 requests ignored:
        0 invalid log lines
        1246 requests done by bots, search engines, ...
        0 HTTP errors
        0 HTTP redirects
        25818 requests to static resources (css, js, ...)
        0 requests did not match any known site
        0 requests did not match any requested hostname
[...]
Aztán lefuttatok egy archíválást is, hogy a grafikonok frissüljenek.
{piwik_path}/console core:archive \
	--url=https://{piwik_url}/{piwik_webpath} \
	--force-idsites {piwik_site_id}
Nos az eredmény:

Piwik log import előtt


Piwik log import után


... kontra ...

AWstat statisztika


Valamiért nagyon nem akar passzolni a két mérés. Van-e valakinek ezzel tapasztalata, esetleg megoldása? Én szúrok el valamit a log importnál? Vagy a JavaScript alapú mérésen kívül tud másképp is mérni a Piwik?

A válaszokat előre is köszönöm!
 
1

Szerver

janoszen · 2014. Jún. 10. (K), 13.05
Az AWStats szerver oldalon naploz, amig a Piwik JavaScriptbol. Magyarul ami nem futtat JavaScriptet, az nem fog megjelenni a Piwikben.
3

Ami jelenleg a fő problémám,

ecrazor · 2014. Jún. 11. (Sze), 15.16
Ami jelenleg a fő problémám, hogy a JavaScript és az Apache2 log adatokat nem nagyon lehet Log Analytics-el "szinkronban" tartani. Csak logból nem dolgozhatok, mert akkor elég sok minden hiányozna (pl. képernyőméret, egyéb olyan adatok amik csak js-ből nyerhetőek ki...), JavaScript hiánya esetén egyébként egy láthatatlan kép van (szóval nem teljesen igaz, hogy JS hiánya esetén nem jelenik meg Piwikben). Viszont az igaz, hogy crawler/bot esetén a képes megoldás nagyjából semmit sem ér.

Valószínűleg egyfajta fallback funkciót fogok készíteni. Rászántam egy egész napot megoldás hajkurászására, és konkrétan nem nagyon találtam semmit. Így hirtelen a CustomLog jutott eszembe, amivel lehet pipe-ot csinálni a log kimenetről, ezért azon agyalok, hogy írok rá egy szűrőt.

Szűrés pl.: Ismert böngészőket JavaScript alapon mér, ismeretlen böngészőket pedig log alapon.

Ennek hátránya viszont, ha a crawler/bot ismert böngészőnek adja ki magát, akkor semmit sem ér. A listát naprakészen kellene tartani.

Másik megoldás a visszaellenőrzés, ami lehet elég erőforrásgyilkos megoldás. Mondjuk egy szkript óránként cron-ból lefutna és összevetné a Piwik JS vs Apache2 log statisztikát és ahol nem talál egyezést, azt felrakná adatbázisba. Az egyezést IP cím alapon és útvonal alapon lehetne meghatározni.

De ez még csak elképzelés, lehet ezek a megoldások zsákutcák. Mindenesetre ha találok megosztásra méltó megoldást, akkor megírom.

Update: A BotTracker plugin-t fogom nemsokára tesztelni, elvileg jó a bot/crawler/spider mérésére.
2

Ekkora mintavételnél a botok

Ajnasz · 2014. Jún. 10. (K), 21.24
Ekkora mintavételnél a botok simán torzítanak az eredményeken.