Piwik statisztika eltérés más statisztikázó programoktól
Sziasztok,
Van-e esetleg valakinek Piwik-el tapasztalata, hogy hogyan lehetne az eredményeket pontosítani?
A probléma ott van, hogy a Piwik és az AWStat között jelentős különbség tapasztalható. Igaz az AWstat apache log alapján, míg a Piwik JavaScript alapú mérkőkód alapján statisztikáz, valamint JavaScript hiánya esetén egy rejtett képpel próbál mérni. Lehetséges a bot traffic miatt van az eltérés, amit a Piwik nem lát?
Nos néztem a Piwik Log Analytics eszközét, ami az apache logokból megpróbálja a látogatási adatokat feltölteni, rosszul. A probléma, hogy a látogatások száma túlságosan sok lesz, tehát valamiért nem veszi figyelembe a meglévő méréseket.
Vágjunk bele, akkor el is végzem az utolsó pár nap log fáljainak feltöltését, később mutatom az eredményt is:Kimenet:Aztán lefuttatok egy archíválást is, hogy a grafikonok frissüljenek.Nos az eredmény:
Piwik log import előtt
Piwik log import után
... kontra ...
AWstat statisztika
Valamiért nagyon nem akar passzolni a két mérés. Van-e valakinek ezzel tapasztalata, esetleg megoldása? Én szúrok el valamit a log importnál? Vagy a JavaScript alapú mérésen kívül tud másképp is mérni a Piwik?
A válaszokat előre is köszönöm!
■ Van-e esetleg valakinek Piwik-el tapasztalata, hogy hogyan lehetne az eredményeket pontosítani?
A probléma ott van, hogy a Piwik és az AWStat között jelentős különbség tapasztalható. Igaz az AWstat apache log alapján, míg a Piwik JavaScript alapú mérkőkód alapján statisztikáz, valamint JavaScript hiánya esetén egy rejtett képpel próbál mérni. Lehetséges a bot traffic miatt van az eltérés, amit a Piwik nem lát?
Nos néztem a Piwik Log Analytics eszközét, ami az apache logokból megpróbálja a látogatási adatokat feltölteni, rosszul. A probléma, hogy a látogatások száma túlságosan sok lesz, tehát valamiért nem veszi figyelembe a meglévő méréseket.
Vágjunk bele, akkor el is végzem az utolsó pár nap log fáljainak feltöltését, később mutatom az eredményt is:
{piwik_path}/misc/log-analytics/import_logs.py \
--url=https://{piwik_url}/{piwik_webpath} \
{log_path}/{log_file} \
--idsite {piwik_site_id} \
--recorders {cpu_count} \
--enable-http-errors \
--enable-http-redirects \
--config={piwik_path}/config/config.ini.php
Logs import summary
-------------------
9015 requests imported successfully
13462 requests were downloads
27064 requests ignored:
0 invalid log lines
1246 requests done by bots, search engines, ...
0 HTTP errors
0 HTTP redirects
25818 requests to static resources (css, js, ...)
0 requests did not match any known site
0 requests did not match any requested hostname
[...]
{piwik_path}/console core:archive \
--url=https://{piwik_url}/{piwik_webpath} \
--force-idsites {piwik_site_id}
Piwik log import előtt
Piwik log import után
... kontra ...
AWstat statisztika
Valamiért nagyon nem akar passzolni a két mérés. Van-e valakinek ezzel tapasztalata, esetleg megoldása? Én szúrok el valamit a log importnál? Vagy a JavaScript alapú mérésen kívül tud másképp is mérni a Piwik?
A válaszokat előre is köszönöm!
Szerver
Ami jelenleg a fő problémám,
Valószínűleg egyfajta fallback funkciót fogok készíteni. Rászántam egy egész napot megoldás hajkurászására, és konkrétan nem nagyon találtam semmit. Így hirtelen a CustomLog jutott eszembe, amivel lehet pipe-ot csinálni a log kimenetről, ezért azon agyalok, hogy írok rá egy szűrőt.
Szűrés pl.: Ismert böngészőket JavaScript alapon mér, ismeretlen böngészőket pedig log alapon.
Ennek hátránya viszont, ha a crawler/bot ismert böngészőnek adja ki magát, akkor semmit sem ér. A listát naprakészen kellene tartani.
Másik megoldás a visszaellenőrzés, ami lehet elég erőforrásgyilkos megoldás. Mondjuk egy szkript óránként cron-ból lefutna és összevetné a Piwik JS vs Apache2 log statisztikát és ahol nem talál egyezést, azt felrakná adatbázisba. Az egyezést IP cím alapon és útvonal alapon lehetne meghatározni.
De ez még csak elképzelés, lehet ezek a megoldások zsákutcák. Mindenesetre ha találok megosztásra méltó megoldást, akkor megírom.
Update: A BotTracker plugin-t fogom nemsokára tesztelni, elvileg jó a bot/crawler/spider mérésére.
Ekkora mintavételnél a botok