Araignée

Une araignée est un logiciel qui parcourt le Web (d'où le nom "araignée"), permettant de localiser et d'indexer des sites Web pour les moteurs de recherche. Tous les principaux moteurs de recherche, tels que Google et Yahoo !, utilisent des spiders pour créer et mettre à jour leurs index. Ces programmes naviguent constamment sur le Web, voyageant de l'un à l'autre lien hypertexte à un autre.

Par exemple, quand une araignée visite la page d'accueil d'un site Web, il peut y avoir des liens 30 sur la page. L'araignée suivra chacun des liens, en ajoutant toutes les pages trouvées à l'index du moteur de recherche. Bien sûr, les nouvelles pages trouvées par l'araignée peuvent également comporter des liens, que l'araignée continue de suivre. Certains de ces liens peuvent pointer vers des pages du même site Web (liens internes), tandis que d'autres peuvent mener à des sites différents (liens externes). Les liens externes forceront l'araignée à accéder à de nouveaux sites, indexant encore plus de pages.

En raison de la nature entrelacée des liens de sites Web, les araignées reviennent souvent sur des sites Web déjà indexés. Cela permet aux moteurs de recherche de savoir combien de pages externes sont liées à chaque page. Généralement, plus une page contient de liens entrants, plus elle sera classée dans les résultats des moteurs de recherche. Les araignées non seulement trouvent de nouvelles pages et gardent une trace des liens, elles suivent également les modifications apportées à chaque page, aidant ainsi les index des moteurs de recherche à rester à jour.

Les araignées sont également appelées robots et robots d'exploration, ce qui peut être préférable pour ceux qui n'aiment pas les arachnides. Le mot "araignée" peut également être utilisé comme verbe, tel que "Ce moteur de recherche a finalement spider mon site web la semaine dernière".