Cio che vuoi fare tu ha attinenza con l'operazione di scansione di files e sottodirectories.
Apri la prima pagina di un sito web e ricavi i link ad altre pagine.
Cominciando dal primo link, effettui nuovamente l'operazione di apertura e scansione fino a quando non trovi altri link, passando a setaccio l'intero numero di link che hai ricavato.
Ti consiglio di acquistare <a href="http://www.apogeonline.com/libri/9788850326587/scheda">questo</a> libro prima di scaricare l'utilissimo codice PHP (Curl) che trovi <a href="http://www.apogeonline.com/2007/libri/88-503-2658-0/allegati/pubblic/2658_code.zip">qui</a>