Inicialmente, dejaré en claro que la deep web no la creó nadie. Existe cierta confusión al diferenciar entre la «web profunda» y las redes como Tor. Este tipo de redes, se llaman «dark net» o «web oscura».
Internet o Web profunda, es aquella fracción del internet a la que los buscadores comunes como Google o Bing no pueden intervenir , esto es debido a que la información contenida (por muy simple que sea), se crea en el momento que alguien la consulta y se destruye inmediatamente que esta consulta se acaba. Esta es la razón del difícil acceso con falta de conocimientos.
Ahora bien, ¿sabes qué es un crawler o araña de web?
Normalmente, un crawler dispone de un conjunto inicial de URLs, conocidas como semillas, y va descargando las páginas Web asociadas a las semillas y buscando dentro de éstas otras URLs.
Cada nueva URL encontrada se añade a la lista de URLs que la araña Web debe visitar. Es decir, recoleta URL’s para posteriormente procesarlas. Así, el motor de búsqueda creará un índice de las páginas descargadas para proporcionar búsquedas más rápidas.
Cuando un crawler visita un sitio web opta por una de estas dos alternativas:
- Buscar el archivo robots.txt y la meta etiqueta robots para ver las reglas que se han estipulado.
- Elaborar un índice de las páginas web que hay en su sitio. ¿Cómo? Explorando el contenido del texto visible, de varias etiquetas HTML y los hipervínculos en listados en la página.
Esas webs son dinámicas y su información va a depender de aquellos parámetros que se introduzcan. Las arañas de los buscadores no están pensados para recorrer páginas dinámicas sino por el contrario páginas estáticas. Ahora imagina la gran cantidad de páginas que cuentan con un contenido específico dependiendo de los datos que introduces, como aquella información de productos en tiendas online, libros, enciclopedias, música, películas.
Por otro lado, existe otra parte de la web que se oculta a los buscadores de manera premeditada por alguna razón; desde el cumplimiento de la Ley del Derecho al Olvido (es una vertiente del derecho a la cancelación y forma parte del derecho a ser ‘desindexado’ de lo públicamente disponible), o simplemente querer mantener cierta información exclusiva, no al público en general (por ejemplo, información de alguna asociación civil, club, generación escolar, deportistas, etc).
Esta web solo es una pequeñísima parte de la Deep Web total.
Para poder evitar el trabajo del buscador existen mandatos concretos que se utilizan en la web para impedir que las arañas investiguen como se usa la etiqueta meta en la sección <HEAD> de la plantilla de algún blog:
- <META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»>
Y también hay otros métodos más sofisticados, como guardar los contenidos con algún tipo de encriptación, de modo que solo sea comprensible a quien sepa desencriptarlo.
Para complementar el contenido de este articulo te voy a compartir los siguientes enlaces y un video:
- Deep Web – La verdad de la Red Profunda. (Una explicación más detallada de lo que es la Deep Web y un tutorial de como entrar a la Red Tor).
- ¿Por qué navegar en la Deep Web es tan jodidamente lento? (Una explicación de como se estructura las red Tor y porque estas son muy lentas).
- Y como plus te dejamos este articulo, una app web de la Red Tor que muestra si alguna de tus contraseñas están en las base de datos de los datos que han sido expuestos en internet: Cómo buscar tus contraseñas en la Deep Web.
