Kako preveriti povezave na spletni strani

Uvod

Če imate na spletni strani veliko število povezav na zunanje strani, se zna kar hitro zgoditi, da boste postavljeni pred neprijetno vprašanje: kako preveriti, če so povezave še delujoče? Razni link checkerji so sicer zelo uporabni, vendar imajo večinoma omejitev števila povezav, ki jih pregledajo. Kako si lahko pomagate sami? Uporabite wget!

Kako začeti?

Najprej potrebujete nameščen wget. Popularne distribucije ga imajo v repozitorijih, lahko ga pa dobite tudi na uradni strani (na voljo je tudi Windows verzija).
Ko imate wget nameščen, se lotite povezav, ki bi jih radi preverili. Ustvarite datoteko povezave.txt in v vanjo shranite povezave, vsako v svojo vrstico. Recimo tako:

Če imate povezave shranjene v SQL tabeli, je opravilo preprosto, v nasprotnem primeru si pomagajte s PHP skripto

Sedaj odprite terminal in vpišite:

Ukaz ob vsakem času prekinete tako, da pritisnete kombinacijo

ali pa enostavno zaprete terminal

Kako deluje?

Ukaz pobere povezave iz datoteke povezave.txt (-i povezave.txt). Nato se poskuša povezati na stran. Ker wget v primeru, da je stran nedosegljiva, poskuša povezavo vzpostaviti 20 krat, smo nastavili, da naj to napravi le dvakrat (-t 2). Ker wget privzeto prenese spletne strani na disk, smo uporabili parameter --spider, ki tega ne napravi. S parametrom --save-headers smo shranili odziv strežnika, vse skupaj pa smo s pomočjo -o rezultat.txt zapisali v datoteko rezultat.txt

Rezultat je približno tak:

S preprostimi postopki (recimo s pomočjo orodja grep) lahko nato izluščite statusne kode, katerih pomen najdete tukaj: HTTP status codes

Pomembne opombe

Nekatere strani imajo blokiran wget in bodo dajale lažne rezultate. Zadevo se da prelisičiti, tako da uporabite drugačen user agent. Več o tem v uradni dokumentaciji (oglejte si user agent)