Rengeteg adat lekérése sok XML fájlból
Sziasztok!
Van egy tőzsdés oldal, ahol minden userről egy api segítségével statisztikát kell készíteni. A gond ott kezdődik, hogy XML fájlban kapom vissza az adatot, egy URL lekérés után. Ezt jelenleg úgy oldom meg, hogy egy for ciklussal futtatom végig a dolgot, de ez 50 felhasználónál 25-30 sec (közel 30 ezer felhasználó van). Nem lenne gond, ha 20-30 perces késéssel jelennek meg az adatok (és addig mysql-ben tárolni), de nekem böngészőben 20 percnél tovább nem futott, 502-es kódra hivatkozva.
Tudtok valami gyorsabb megoldást vagy van valami javaslatotok?
Előre is köszönöm.
Ui.: A kódom így néz ki jelenleg:
■ Van egy tőzsdés oldal, ahol minden userről egy api segítségével statisztikát kell készíteni. A gond ott kezdődik, hogy XML fájlban kapom vissza az adatot, egy URL lekérés után. Ezt jelenleg úgy oldom meg, hogy egy for ciklussal futtatom végig a dolgot, de ez 50 felhasználónál 25-30 sec (közel 30 ezer felhasználó van). Nem lenne gond, ha 20-30 perces késéssel jelennek meg az adatok (és addig mysql-ben tárolni), de nekem böngészőben 20 percnél tovább nem futott, 502-es kódra hivatkozva.
Tudtok valami gyorsabb megoldást vagy van valami javaslatotok?
Előre is köszönöm.
Ui.: A kódom így néz ki jelenleg:
function load_file($url){
$ch = curl_init($url);
//Return http response in string
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
$xml = simplexml_load_string(curl_exec($ch));
return $xml;
}
for ($i = 24950; $i <= 25000; $i++) {
$feedurl = 'http://www.zulutrade.com/webservices/api/tradehistoryindividual.ashx?pid='.$i.'&operation=th';
$TradeHistory = load_file($feedurl);
//$TradeHistory = load_file($feedurl);
?>
<div id="content">
<?php
foreach ($TradeHistory->Trades->Trade as $trade) {
echo "<h2>" . $trade->id . "</h2>";
echo "<p>" . $trade->buy . "</p>";
}
echo "<hr>";
}
curl_multi_exec
Abban is jobb mondjuk 100-as
másik program