ugrás a tartalomhoz

Év eleji nagytakarítás

Joó Ádám · 2015. Jan. 27. (K), 21.41

A Weblabor megújításával nemcsak rendszerünket gondoljuk újra, másfél évtized alatt felépült adatbázisunkat is rendezzük, ennek pedig része felhasználói nyilvántartásunk átfésülése is.

Webhelyünkön régóta problémát okoznak a kéretlen regisztrációk és tartalmak, a regisztrációnál alkalmazott szűrőnk elégtelensége pedig az évek folyamán azt eredményezte, hogy amúgy is nagy felhasználói adatbázisunk valódi mérete többszörösére nőtt, mely felesleges erőforrásokat foglalt le és nehezítette az adminisztrációt. Nem volt ritka egyetlen nap alatt több száz, de akár több mint ezer új felhasználó sem.

A publikációval vagy hozzászólással rendelkező felhasználóinkról feltételezhetjük, hogy élő személyek, ők azonban a kisebbség, további automatikus szűréshez pedig nem volt támpontunk, így nyilvántartásunk nagyobbik részét kézzel – a folyamatot a lehető leghatékonyabbá tevő, kifejezetten erre a célra létrehozott felületen –, az ismert adatok alapján, intuitívan néztük át.

Ennek eredményeképpen több mint 88 ezer felhasználónkat töröltük. A nagyságrendre jellemző, hogy a Drupal API-n keresztül végzett művelet több mint 12 órán át futott.

Habár a lehetőségekhez képest a legnagyobb körültekintéssel jártunk el, a hibát kizárni lehetetlen, így azoktól, akik regisztrációját esetleg tévesen töröltük, elnézést kérünk a kényelmetlenségért, és kérjük őket, hogy regisztrálják újra felhasználójukat.

 
1

Hát azzal sok szopás

inf3rno · 2015. Jan. 28. (Sze), 03.21
Hát azzal sok szopás lehetett! Grat! :-)
A regisztrációs szűrőket hogyan fogod frissíteni? Vagy ne adjunk tippeket a botosoknak? :D
6

Hát azzal sok szopás

Joó Ádám · 2015. Jan. 29. (Cs), 05.45
Hát azzal sok szopás lehetett! Grat! :-)


Kösz :) Segít, ha van szemed a szöveg ritmusához. Meg pár jó album :)

A regisztrációs szűrőket hogyan fogod frissíteni?


A modul frissítése a legújabb verzióra és a szöveges CAPTCHA cseréje képalapúra eddig megoldani látszik a problémát, jelenleg pár naponta csúszik át egy-két robot, az kezelhető.

Utóbbi hangolásával mondjuk el lehet tölteni pár órát, és sajnos fájóan hiányosak a beállítási lehetőségek (fontos lenne például, hogy betűtípusonként adhasd meg a szóbajöhető karaktereket, hogy ne szívasd a felhasználóid a könnyen téveszthetőkkel), illetve néha mintha direkt meg akarnák könnyíteni az automata felismerést: nem követelhető meg, hogy minden betűtípusból kerüljön be karakter, a zajok csak színesek lehetnek, míg a karakterek egyszínűek…
9

reCAPTCHA

gabesz666 · 2015. Jan. 29. (Cs), 16.44
Google Recaptcha moduljára nem gondoltatok? Van hozzá drupal modul is.
11

Technikai oldalról ez tűnt a

Joó Ádám · 2015. Jan. 30. (P), 06.37
Technikai oldalról ez tűnt a legegyszerűbbnek, mert ugyanaz a modul biztosítja, mint a korábbi szövegeset. Így utólag lehet, hogy jobb választás lett volna, mert akkor megúszható a konfigurálás.
10

Engem legjobban az szokott

inf3rno · 2015. Jan. 29. (Cs), 17.09
Engem legjobban az szokott zavarni, hogy sehova sem írják ki, hogy számít e a kis és nagybetű között a különbség, illetve, hogy a 0 és o összecserélhető. A recaptcha-t szerintem is meg lehet próbálni, hátha. Bár ezek sem érnek valami sokat, ha valaki ráállítja a kínai bérmunkásokat a regisztrálásra.
12

Engem legjobban az szokott

Joó Ádám · 2015. Jan. 30. (P), 06.45
Engem legjobban az szokott zavarni, hogy sehova sem írják ki, hogy számít e a kis és nagybetű között a különbség, illetve, hogy a 0 és o összecserélhető.


Igen, ezért lehet órákig játszani a beállításokkal, hogy kivedd az összes párt, ami összetéveszthető, ráadásul az összes használt betűtípust figyelembe véve.

Bár ezek sem érnek valami sokat, ha valaki ráállítja a kínai bérmunkásokat a regisztrálásra.


Így van. Kérdés, hogy valóban megéri-e ez, figyelembe véve, hogy az egész modell gazdaságossága a nagy számokon alapszik.
2

Nem semmi, grat.

dragi · 2015. Jan. 28. (Sze), 09.23
Nem semmi, grat.
3

Van-e valamilyen lista,

spapp · 2015. Jan. 28. (Sze), 10.04
Van-e valamilyen lista, ütemterv a "Weblabor megújításával" kapcsolatban? Lehet-e tudni, hogy milyen funkciók fognak változni és milyen újak lesznek?
Esetleg a kommunikáció fog változni?
7

A funkciókkal és főleg az

Joó Ádám · 2015. Jan. 29. (Cs), 05.50
A funkciókkal és főleg az ütemmel kapcsolatban az irányelv továbbra is az, hogy nincsenek ígéretek.

Abból a szempontból azonban a kommunikáció fog változni, hogy ahogy egyre előrehaladottabb állapotban van a fejlesztés, már lesz mit mutatni, és így az újdonságok megjelenése is követhető lesz.

Ezzel kapcsolatban hamarosan bővebben.
15

módszer, eszközök, erőforrások?

EL Tebe · 2015. Jan. 30. (P), 14.33
Ezt egyébként személyesen egyeztetitek, vagy mi a menete a tervezésnek?
Milyen eszközöket használtok?

Csupán kíváncsi vagyok hogy csinálják a profik egy nem nulláról elkezdett project esetén..
17

A tervezés teljesen

Joó Ádám · 2015. Jan. 31. (Szo), 07.12
A tervezés teljesen informális :)
4

Az a Drupal API mit csinálhat,

megant · 2015. Jan. 28. (Sze), 17.19
ha a másik végén mezei 88.000 (nem 88 millió) rekordot kellett törölni, s ez 12 órát igényelt?
5

Tartalom

Poetro · 2015. Jan. 28. (Sze), 17.27
Amit csinál, hogy megnézi az adott felhasználónak milyen tartalmai vannak, a hozzászólásokat is beleértve. Ezután vagy törli azokat, vagy pedig hozzárendeli egy másik felhasználóhoz. Amikor viszont töröl, annak ugye újabb következményei vannak, például a hozzászólásra érkezett hozzászólások is törlésre kerülnek stb.
8

Tisztara izgi... olyan mint

city99 · 2015. Jan. 29. (Cs), 07.56
Tisztara izgi... olyan mint egy lancreakcios katasztrofafilm :D
13

rekurzív móka

EL Tebe · 2015. Jan. 30. (P), 14.19
..és persze a hozzászólás, hozzászólásának a hozzászólása is sokszor arról szól, hogy "már ezerszer volt téma a wl-en", keress rá :)

..és apáink-apáinak-apái is. És apáink-apáinak-apá..
:)
14

Ezek szerint nem vagyok robot :)

EL Tebe · 2015. Jan. 30. (P), 14.22
Jó kis meló.. Kalapemelés a kivitelezők irányába.

A törölt userek kapcsolódó hozzászólásait csak flag-gel törlitek vagy on delete cascade -el véglegesen?

Kellett előtte módosítani valamit a DB szerkezeten, vagy annyira profi volt a tervezés, hogy simán működött?
16

Durpal

Poetro · 2015. Jan. 30. (P), 15.17
Alapból az egész teljesen szoftveres a Drupal-ban, azaz az adatbázisnak nincs tudomása a táblázatok közötti kapcsolatról, és teljesen automatikus is.
18

A hozzászólással rendelkező

Joó Ádám · 2015. Jan. 31. (Szo), 07.25
A hozzászólással rendelkező felhasználók meg sem jelentek a folyamatban, mivel róluk feltételezhető, hogy élő személyek, lévén az automatizált hozzászólásokat a moderátorok törlik.

Sajnos az adatbázisunkban nincsenek külső kulcsok – ami lényegesen meggyorsítaná a hasonló műveleteket –, ezért kellett a Drupal API-n át törölni (hogy például a kapcsolódó profilmezők is eltűnjenek).

A szerkezethez nem kellett hozzányúlni, de egyszerűbb volna az élet adatbázisba szerializált tömbök nélkül…
19

Én nem vagyok egy tapasztalt progger

Mikulasche · 2015. Feb. 11. (Sze), 12.19
De amit én csináltam login rendszert abban egy ip-ről egy nap csak 2 reget engedek.
Robotok lehetőségei szépen korlátozódnak.
Kínai rabszolgáknak is több időt venne igénybe ip-t váltani.

Aztán meg a képes captch-am amit magam agyaltam ki és raktam össze
kérdést tartalmaz, és a zavar benne olyan, hogy szerintem robot meg nem fejti.

De még ember se könnyen -, kell hozzá ész...

print screen
20

Hát ilyen captcha

pythonozok · 2015. Feb. 11. (Sze), 16.04
Hát ilyen captcha kitalálásához valóban kell "ész". A captcha lényege nem az, hogy minél több potenciális tagot távol tartson az oldaltól.
21

De amit én csináltam login

Joó Ádám · 2015. Feb. 11. (Sze), 17.19
De amit én csináltam login rendszert abban egy ip-ről egy nap csak 2 reget engedek.


Ezzel rengeteg embert kizársz. Nézz utána, mi az a NAT.
22

Nem zárja ki őket, csak

inf3rno · 2015. Feb. 11. (Sze), 19.39
Nem zárja ki őket, csak limitálja a regisztrációt. A tartalmat attól még ugyanúgy olvashatják. Egy másik lehetőség a meghívó küldés, aminél minden ember x nap után kap csak további meghívót. Így lassabb a növekedés, de könnyebb kézben tartani az új regisztrációkat.
23

Azért az, hogy nézheted a

Joó Ádám · 2015. Feb. 11. (Sze), 19.49
Azért az, hogy nézheted a kirakatot vagy bemehetsz vásárolni, nem teljesen ekvivalens :)
26

Attól függ, hogy milyen a

inf3rno · 2015. Feb. 12. (Cs), 03.01
Attól függ, hogy milyen a valódi felhasználók és a botok aránya regisztráláskor. Ha kicsi az oldal forgalma és sok a bot, akkor szerintem teljesen reális ip cím alapján szűrni. Ha meg valaki botnettel áll neki spammelni az oldalt, akkor meg úgyis tökmindegy. Mindenesetre én nem vetném el alapból a koncepciót, csak tudni kell, hogy hol érdemes használni, és hol nem. Ezt log fájlokból (a meghiúsult regisztrációs próbálkozásokról) és látogatottsági statisztikákból szerintem le lehet szűrni.
27

Szerintem ez egy nagyon rossz

Joó Ádám · 2015. Feb. 12. (Cs), 10.33
Szerintem ez egy nagyon rossz megközelítés, mert az a felhasználó, akit azért nem engedsz regisztrálni, mert valaki más aznap már regisztrált ugyanabból a hálózatból, teljesen jogosan hagy ott téged a fenébe örökre. IP alapján egyedül akkor érdemes ideiglenesen szűrni, ha az erőforráshasználat indokolja, azt viszont már nem alkalmazás szinten.
24

Ezt jó hogy mondod

Mikulasche · 2015. Feb. 11. (Sze), 22.36
Sejtettem, hogy van ilyen - [NAT] -, bár még nem olvastam róla.
Igazad van, ezzel az ip limittel valóban nem a legjobb védekezni.
Át is állítom nagyobb értékre - meg nem szüntetem.
Mellesleg emellett - mert netto paraniás vagyok - az is benne van a korlátozásban, hogy ugyanazzal a session-nel is csak egy reg-et engedek.

Csak most meg azt ne mond, hogy a NAT megosztás esetén a session is ....

8-O}=
25

A session az böngészőhez

inf3rno · 2015. Feb. 12. (Cs), 02.55
A session az böngészőhez kötött, amiatt nem kell aggódnod.
28

Át is állítom nagyobb értékre

Joó Ádám · 2015. Feb. 12. (Cs), 10.41
Át is állítom nagyobb értékre - meg nem szüntetem.


Teljes cégek, de akár települések is lehetnek egy IP mögött (az utóbbinak voltam elszenvedője jó évtizede, szerencsére ilyen már talán nincs). Szerintem célszerűbb, ha az IP-t csak elmented, és utólag ezt is figyelembe veszed, ha el kell dönteni egy felhasználóról, hogy valós-e.

Mellesleg emellett - mert netto paraniás vagyok - az is benne van a korlátozásban, hogy ugyanazzal a session-nel is csak egy reg-et engedek.


Ha a be nem jelentkezett felhasználók is kapnak munkamenetet, akkor ezzel is kizárhatsz olyanokat, akik mondjuk egy családban vagy valamilyen közösségi helyen egy böngészőt használnak.

Mindkét óvintézkedésed olyan, ami egy hivatásos spammert nem fog távol tartani, viszont potenciális felhasználókat veszthetsz vele. (És további karbantartandó kód.)
29

(Én élek.)

Oregon · 2015. Már. 13. (P), 13.14
(Én élek.)
30

Gyanús vagy te nekem, a botok

inf3rno · 2015. Már. 13. (P), 14.35
Gyanús vagy te nekem, a botok is mindig ezzel jönnek! :D