¿Sabes como surgió la Deep Web?

Deep Web

Inicialmente, dejaré en claro que la deep web no la creó nadie. Existe cierta confusión al diferenciar entre la “web profunda” y las redes como Tor. Este tipo de redes, se llaman “dark net” o “web oscura”.

Internet o Web profunda, es aquella fracción del internet a la que los buscadores comunes como Google o Bing no pueden intervenir , esto es debido a que la información contenida (por muy simple que sea), se crea en el momento que alguien la consulta y se destruye inmediatamente que esta consulta se acaba. Esta es la razón del difícil acceso con falta de conocimientos.

Ahora bien, ¿sabes qué es un crawler o araña de web?

Normalmente, un crawler dispone de un conjunto inicial de URLs, conocidas como semillas, y va descargando las páginas Web asociadas a las semillas y buscando dentro de éstas otras URLs.

Cada nueva URL encontrada se añade a la lista de URLs que la araña Web debe visitar. Es decir, recoleta URL’s para posteriormente procesarlas. Así, el motor de búsqueda creará un índice de las páginas descargadas para proporcionar búsquedas más rápidas.

Cuando un crawler visita un sitio web opta por una de estas dos alternativas:

  • Buscar el archivo robots.txt y la meta etiqueta robots para ver las reglas que se han estipulado.
  • Elaborar un índice de las páginas web que hay en su sitio. ¿Cómo? Explorando el contenido del texto visible, de varias etiquetas HTML y los hipervínculos en listados en la página.

Esas webs son dinámicas y su información va a depender de aquellos parámetros que se introduzcan. Las arañas de los buscadores no están pensados para recorrer páginas dinámicas sino por el contrario páginas estáticas. Ahora imagina la gran cantidad de páginas que cuentan con un contenido específico dependiendo de los datos que introduces, como aquella información de productos en tiendas online, libros, enciclopedias, música, películas.

Por otro lado, existe otra parte de la web que se oculta a los buscadores de manera premeditada por alguna razón; desde el cumplimiento de la Ley del Derecho al Olvido (es una vertiente del derecho a la cancelación y forma parte del derecho a ser ‘desindexado’ de lo públicamente disponible), o simplemente querer mantener cierta información exclusiva, no al público en general (por ejemplo, información de alguna asociación civil, club, generación escolar, deportistas, etc).

Esta web solo es una pequeñísima parte de la Deep Web total.

Para poder evitar el trabajo del buscador existen mandatos concretos que se utilizan en la web para impedir que las arañas investiguen como se usa la etiqueta meta en la sección <HEAD> de la plantilla de algún blog:

  • <META NAME=”ROBOTS” CONTENT=”NOINDEX, NOFOLLOW”>

Y también hay otros métodos más sofisticados, como guardar los contenidos con algún tipo de encriptación, de modo que solo sea comprensible a quien sepa desencriptarlo.

Para complementar el contenido de este articulo te voy a compartir los siguientes enlaces y un video:

Te recomendamos seguirnos en nuestras redes para estar al tanto de noticias, cursos gratuitos y memes: Clic aquí para seguirnos en Facebook | Clic aquí para seguirnos en Instagram | Clic aquí para seguirnos en YouTube.

Descargar este artículo en PDF

Lo sentimos, esta opción solo está disponible para los socios. Más información de nuestro grupo de socios.


cinthiaRH
Concluí la Lic. en Criminalística, actualmente estudio la Ing. Mecatrónica, cuento con diversos cursos y capacitaciones afines a ambas áreas. Interés prioritario por la robótica y mecánica. Actualmente colaboro para diversas Asociaciones con giro de investigación centífica y tecnológica. Así como desempeño mis labores profesionales como criminalista particular.

Déjanos un comentario:

Deja un comentario

LO MAS HOT DE AZUL WEB

¿Quieres aprender a programar o a trabajar con base de datos?