ugrás a tartalomhoz

Robotok A-zs

Lomtár · 2011. Aug. 30. (K), 18.23
Hali!

Azt szeretném megtudni,hogy milyen fajta oldal felderítő robotok léteznek.
PL: A Google-nak a felderítő robotjai vagy a vírus kereső robotok.
Annak nagyon örülnék ha megmondanátok ,hogy hogyan lehet "egyedi robotokat" csinálni.

Üdv:
Windows 8 lomtára!
‹ Hogyan tudják meghackelik a weblapot? mitől vírus.... ›
 ■
1

A robotstxt.orgon van robot

kuka · 2011. Aug. 30. (K), 18.34
A robotstxt.orgon van robot adatbázis. Ugyanott találsz leírást robots.txt és a meta robots ügyben, ezt a kettőt kell ismertje a botod, ha sajátot akarsz írni.
2

crawler

Poetro · 2011. Aug. 30. (K), 19.36
Amit a robotodnak tudnia érdemes:
  • Kiadni a megfelelő HTTP fejléceket az oldalak letöltéséhez.
  • Követni a válaszokban levő fejléceket.
  • Fel kell dolgozni az oldalban lévő linkeket, és azokat követni.


Természetesen léteznek már robotok hasonló célra minden programozási nyelven. Például Node.js alá létezik 2 is: crawler és http-agent. Sajnos mindkettőt tovább kell fejleszteni, hogy megfeleljen a robotstxt követelményeinek, de legalább jó kiindulási pontok.