ugrás a tartalomhoz

Archívum - Jan 2022

Dátum
  • Minden
  • Jan
  • Feb
  • Már
  • Ápr
  • Május
  • Jún
  • Júl
  • Aug
  • Szep
  • Okt
  • Nov
  • Dec
  • Minden
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31

január 8

Nagy mennyiségű adat szűrése + lapozgatás?

mind1 valami név · Jan. 8. (Szo), 13.14
Próbálom röviden, de így is hosszú lesz :)

Nagy tömegű adatból kell lekérdezést csinálni, lapokra osztva az eredményt.
A gond ott kezdődik, hogy regex alapú szűrést akarok végezni az adatokon.
Postgres esetében ez nem gond, de ha az a vágyam, hogy a program ne legyen driver függő, akkor azt hiszem, az adatbázis szerverek spéci szolgáltatásaira nem számíthatok.
Amíg mindent intézhetek adatbázis oldalon, addig no problem, a megcélzott keretrendszer (flask+sqlachemy) nyújt lapozós szolgáltatást egy paginate nevű függvény formájában.
De mi a bánatot lehet csinálni, ha olyan válogatást kell végezni, amire az adatbázis nem képes? A meglévő 5-6 millió sor betöltése kifekteti a szervert és a klienst is, részben timeout, részben out of memory képében.
Van erre valami megszokott, elfogadott algoritmus, hogy lehessen könnyen, gyorsan lapozgatni a találatok közt és ne bolonduljon meg az oldalszámozás?
Mert az még O.K., hogy az első lapot megjelenítem úgy, hogy addig olvasom a sorokat, amíg be nem jön egy oldalnyi a szűrésre illeszkedő sor.
De az utolsó (tehát nem a 123. oldalra, hanem általánosságban az utolsó) oldalra csak úgy tudnék lépni, ha végigolvasom a teljes táblát, ami iszonyat lassú.
Caching nem igazán jöhet szóba, mert ahhoz is kellene előbb egy teljes olvasás és ugyanott tartok.
De akkor hogy?
 

január 2

Keresők... no comment...

mind1 valami név · Jan. 2. (V), 10.27
Blogposzt, nem kérdés... ;)

Már legalább egy éve keresek olyan open source szoftvert, ami flask+sqlalchemy alapokra épül, nem túl régi és használják is, nem csak valami teszt vagy tutorial.
Persze nincs, max pár kiegészítő a flask-hez, nem önálló szoftver.

Az imént kínomban kitaláltam, hogy na majd a github, rákeresek a ".query." stringre a python programokban.
Hát a lónak a fasza az... Ugyanolyan ótvar, hulladék a kereső, mint a google: lehagyja a spec. karaktereket és feldob minden szemetet, amit így "megtalál". Mint egy stackoverflow posztból kiderült, nincs is lehetőség ennél precízebb keresésre.
Fejlődik ez a szép új világ... Vissza.
Ráadásul a nagyobb, komolyabb repok eleve ki vannak zárva a keresésből...
Azt nem tudom, hogy ez eredetileg is egy ekkora szarkupac volt, vagy csak a mikro$zoft áldásos tevékenységének eredménye mindez... :((