ugrás a tartalomhoz

MongoDB-t használt valamelyikőtök?

mind1 valami név · 2021. Jún. 5. (Szo), 09.05
Megint elővettem Pató Pál utat (log ketrső/"elemző") és nézegetem, hogy mit tegyek alá: postgresql-t vagy mongodb-t.
Egy év alatt összegyűlt 2.5 millió sor.
Most postgresql van alatta.
Ha regex alapján válogatok belőle, az (értelemszerűen) iszonyat lassú.
De ha sima ... message like '%valami szöveg%' ...; van a selectben (a message egy index nélküli varchar), akkor meglepően gyors.
A mongot alig ismerem. Van benne hasonló lehetőség, hogy ne regex alapján keressen? Azt kipróbálni sem érdemes, pár tízezer sornál embertelen lassú. (Ugyanazon a gépen)
 
1

Elastic Search

Poetro · 2021. Jún. 5. (Szo), 09.58
Ilyen feladatra Elastic Search használatát javaslom. Havi 2-4 Gb adatot gyűjtve is szép teljesítményt nyújtott. Mondjuk nem nevezhető hagyományos adatbázisnak, de erre a feladatra tökéletes.
2

Köszi, e célra vannak jó

mind1 valami név · 2021. Jún. 5. (Szo), 10.37
Köszi, e célra vannak jó programok, de nekem most kifejezetten adatbázis kell, mert még életemben utoljara "programozok".
Szóval nem a funkció a lényeg, hanem a feladat, amit leprogramozok. :)
3

Feladat

Poetro · 2021. Jún. 5. (Szo), 10.58
Logok tárolására és elemzésére pedig pont megfelelő adatbázis az Elastic Search. Annyiban nem hagyományos, hogy HTTP-n keresztül működik, és ennek megfelelő az API is. Amire emlékszem még vagy 5-6 év távlatából, hogy az adatok újrastruktúrálása problémás volt, mert igazából át kellett „másolni” egy új „adatbázisba”.
4

De nekem nem az a lényeg,

mind1 valami név · 2021. Jún. 5. (Szo), 16.48
De nekem nem az a lényeg, hogy legyen ilyen programom, hanem az, hogy én irjam. :)
5

Kérdezek jobbat

mind1 valami név · 2021. Jún. 6. (V), 10.39
Más RDBMS esetében nem tudom, mi a helyzet, de a postgresql már évek óta képes kezelni json/jsonb típust. Akkor minek erőltessem a számomra ismeretlen mongodb-t?
Na jó, még nem néztem meg, mennyire gyors json adatokkal,de el tudom képzelni, hogy a postgres ebben is gyorsabb.
6

Tegnap megszállt a ...

mind1 valami név · 2021. Jún. 18. (P), 19.42
Tegnap megszállt a ... zihlet, feltettem dockerbe egy postgrest, másikba egy mongodb-t.
A 2.5millió sor lekérdezésében, ha a postgres-ben like-ot használok... Elsőre csak kb 20%-kal gyorsabb a postgres, másodikra... A mongo mindig ugyanannyi (6-8 mp), a postgres a második lekérdezésnél nem igazán mérhető. Gyakorlatilag azonnal visszaadja az eredményt.
Hát fura. Egyre kevésbé értem, mi értelme a legtöbb nosql-nek. O.K., a redis és hasonló eszközök nem igazi adatbázisok, azoknak látom a helyét, de a mongodb jellegűek? Biztosan van, de én nem látom.
7

Nem mindegy, hogyan működik

Poetro · 2021. Jún. 21. (H), 08.43
Nem mindegy, hogyan működik az olvasás, írás, replikáció több szerverre, lekérdezés típusa, adat struktúra. Ezen igények alapján érdemes adatbázist választani. Például szabad szavas keresésre Elastic Search szerű adatbázis javasolt.