Qu'est-ce que le Web invisible?
Saviez-vous qu'il existe une grande quantité de données que les moteurs de recherche ne vous montreront pas sans recherche spécifique? Le terme "Web invisible" désigne principalement le vaste référentiel d'informations auquel les moteurs de recherche et les annuaires n'ont pas d'accès direct, comme les bases de données.
Contrairement aux pages du Web visible (c'est-à-dire le Web auquel vous pouvez accéder à partir de moteurs de recherche et de répertoires), les informations des bases de données sont généralement inaccessibles aux spiders et aux robots d'exploration de logiciels qui créent des index de moteurs de recherche. Les utilisateurs peuvent accéder à la plupart de ces informations, mais uniquement via des recherches spécifiques permettant de localiser ces informations.
Quelle est la taille du Web invisible?
On estime que le Web invisible est littéralementdes milliers de fois plus grande que le contenu Web trouvé avec les requêtes générales du moteur de recherche. Selon Bright Planet, société de recherche spécialisée dans l'extraction de contenu Web invisible, le Web invisible contient près de 550 milliards de documents individuels, contre un milliard sur le Web de surface.
Les principaux moteurs de recherche - Google, Yahoo, Bing - ne ramènent pas tout le contenu "caché" dans une recherche classique, tout simplement parce qu'ils ne peuvent pas voir ce contenu sans paramètres de recherche spécialisés et / ou savoir-faire en matière de recherche. Cependant, lorsqu'un chercheur sait comment accéder à ces données, une grande variété d'informations est disponible.
Pourquoi s'appelle-t-il "le Web invisible"?
Les araignées, qui sont essentiellement de petits logiciels, sillonnent le Web en indexant les adresses des pages qu’elles découvrent. Lorsque ces logiciels rencontrent une page du Web invisible, ils ne savent pas trop quoi en faire. Ces araignées peuvent enregistrer l'adresse, mais ne peuvent rien accéder aux informations contenues dans la page.
Pourquoi? Il y a beaucoup de facteurs, mais ils se résument principalement à des barrières techniques et / ou à des décisions délibérées du propriétaire du site pour exclure leurs pages des moteurs de recherche. Par exemple, les sites de bibliothèques universitaires qui nécessitent des mots de passe pour accéder à leurs informations ne seront pas inclus dans les résultats des moteurs de recherche, de même que les pages basées sur des scripts qui ne sont pas facilement lisibles par les robots des moteurs de recherche.
Pourquoi le Web invisible est-il important?
De nombreux utilisateurs pensent qu'il pourrait être plus facile de s'en tenir à ce que l'on peut trouver avec Google ou Yahoo. Cependant, il n'est pas toujours facile de trouver ce que vous cherchez avec un moteur de recherche, surtout si vous recherchez quelque chose d'un peu compliqué ou d'obscur.
Pensez au Web comme à une vaste bibliothèque. La plupart des gens ne s’attendent pas à se contenter de franchir la porte d’entrée et de trouver immédiatement des informations sur l’histoire des trombones posés à la réception; ils s'attendent à creuser pour cela. C’est là que les moteurs de recherche ne vous aideront pas nécessairement, mais le Web invisible le fera.
Le fait que les moteurs de recherche ne recherchent qu'une très petite partie du Web fait du Web invisible une ressource très tentante. Il y a beaucoup plus d'informations que nous pourrions imaginer.
Comment utiliser le Web invisible?
Il y a beaucoup d'autres personnes qui se sont posé exactement la même question et ont créé de grands sites qui servent de point de départ au Web invisible. Voici quelques passerelles pour différents sujets:
Sciences humaines
- Voice of the Shuttle: créée en 1994, la VoS est l’une des plus anciennes et des plus grandes bases de données sur les sciences humaines sur le Web, offrant un index exclusif de contenu pour des sujets allant de l’anthropologie à la technologie de l’écriture.
Spécifique au gouvernement américain
- Centre de documentation du gouvernement de l’Université du Michigan: Vous trouverez ici des rapports, des statistiques et d’autres documents émanant de tous les niveaux du gouvernement des États-Unis. Les bases de données proposées comprennent les arts, les sciences de la santé, les sciences sociales et les études internationales.
- USA.gov: Un portail sur le tapis rouge dans les profondeurs de nombreuses entités du gouvernement des États-Unis. Comprend les emplois du gouvernement, une liste de A à Z des agences gouvernementales et des informations sur la recherche de subventions, de prêts et d’assistance financière.
Santé et Science
- PsycNET: utilisez cette base de données de l’American Psychological Association pour trouver des résumés et des revues complètes sur divers sujets liés à la psychologie (des frais s’appliquent pour les entrées complètes de journaux, les résumés étant généralement gratuits).
- Healthfinder: informations professionnellement vérifiées provenant de plus d'un millier de bases de données sur la santé sur le Web. Un large éventail de ressources sur un éventail vertigineux de sujets liés à la santé est disponible ici.
- RXList: Si vous recherchez des informations fiables sur les médicaments, cette base de données sur les médicaments sur ordonnance, les médicaments et les identifications de pilules est pour vous. Offre un index de A à Z, des collections d’images et un dictionnaire de termes.
Méga-portails
- La bibliothèque virtuelle est simple et facile à utiliser, avec des liens de sujet annotés. J'apprécie tout particulièrement les annotations car elles permettent d'éviter les temps de recherche superflus.
Qu'en est-il des autres ressources Web invisibles?
Il existe de très nombreux sites configurés pour explorer le Web invisible. La plupart des informations sur le Web invisible sont gérées par des institutions universitaires et sont de meilleure qualité que les résultats des moteurs de recherche. Il existe des "passerelles universitaires" qui peuvent vous aider à trouver cette information. Pour trouver presque n'importe quelle ressource éducative sur le Web, tapez simplement cette chaîne de recherche dans votre moteur de recherche préféré:
site: .edu "sujet que je cherche"
Votre recherche renverra avec uniquement des sites liés au .edu.Si vous souhaitez effectuer une recherche dans une école en particulier, utilisez l'URL de cette école dans votre recherche:
site: www.school.edu "sujet que je cherche"
Cadrez votre sujet entre guillemets s'il y a plus de deux mots; Cela indique au moteur de recherche que vous utilisez que vous voulez trouver ces deux mots l'un à côté de l'autre. En savoir plus sur les astuces de recherche pour mieux maîtriser vos recherches sur le Web.
La ligne de fond sur le Web invisible
Le Web invisible offre une vaste gamme de ressources sur tout ce à quoi vous pouvez penser. Les liens mis en évidence dans cet article commencent à peine à toucher les vastes ressources disponibles sur le Web invisible. Avec le temps, le Web invisible ne fera que grandir, c'est pourquoi il est judicieux d'apprendre à l'explorer maintenant.
