¿Cómo crear un archivo Robots.txt para un sitio web? Parte II

Antes de lanzar una nueva web mayormente cometemos estos típicos error de SEO
Hoy te voy a enseñar cómo crear un robots.txt de manera fácil y funcional.
robots.txt sirve, básicamente, para decirle al robot (ya sea del buscador que sea) qué le recomiendas que visite y qué no.
Tu web no funcionará mejor o peor por tenerlo, aunque los buscadores (especialmente Google) sí te verán con mejores ojos a la hora de valorar tu posicionamiento si lo tienes.

¿Qué es Robots.txt y para qué sirve? Parte I 

Cómo crear un robots.txt

 ╔═══════ ≪ °❈° ≫ ═══════╗

╚═══════ ≪ °❈° ≫ ═══════╝

Si tu ya estas convencido que las  web debe tener un robots.txt funcional y efectivo. Antes de nada, debo decirte que tener un archivo robots.txt en tu web no una obligación, es también una recomendación.
Crear un archivo robots.txt es muy sencillo, incuso aunque nunca hayas creado uno.

Para crear un robots.txt simplemente tendrás que:
Crear un archivo de texto.
renómbralo como “robots.txt”

Crea las instrucciones que creas necesarias con un editor de texto (te recomiendo Notepad++, que además es gratuito, o en un bloc de notas )

Subirlo a tu hosting y alojarlo en la raíz de tu web , comprobarlo en Search Console (antes Webmaster tools, por si no lo sabías) .El proceso, como ves, es muy muy sencillo.

Pero, como siempre, debes saber antes qué quieres hacer con él.
Abre el archivo que acabas de crear y al que has llamado “robots.txt” y añade este código:
Disallow
Este código se refiere a las partes de la web a las que queremos restringir el acceso del robot.

Las opciones son las siguientes:
Disallow: 
Con el código anterior acabas de decirle a cualquier buscador que tiene acceso a toda la web.

Disallow: /
Así, tal cual, no dejas que el robot pueda entrar en ninguna parte de la web.

Disallow: /directorio o archivo
Si cambias la palabra directorio o archivo por la carpeta o archivo que tú creas conveniente de tu web, estarás dejando entrar al robot por donde quiera menos por el directorio que le has dicho.

Por ejemplo. Yo no quiero que el robot llegue hasta una carpeta donde tengo mis archivos javascript, pues usaría este código:
Disallow: /js

Si quisiera denegar el acceso a la página “Quién soy” de mi web
Disallow: /quien-soy.html
Fácil, verdad

Allow
Por defecto, todo lo que no está restringido por Disallow es que está abierto. ¿Entonces para que quiero el comando Allow (permitir)?
Aunque no se suele usar mucho, ya que hay algunos robots que no entienden esta orden, puede ser útil para forzar la visita del robot a una parte concreta de la web.

User-agent
Se refiere a los robots que puedan llegar a tu web.

User-agent: *
Al usar el asterisco (un comodín que sirve para cualquier contenido), te estas refiriendo a cualquier robot.

Podrías especificar a qué robot quieres darle las consignas simplemente refiriéndote a él.
Por ejemplo, si quieres referirte sólo al bot de Google puedes usar este código:
User-agent: Googlebot

Su funcionalidad es exactamente igual pero inversa a la de Disallow, es decir, que si quiero que los robots visiten sí o sí mi blog, puedo forzarlo escribiendo:
Allow: /blog

Antes te comentaba que mediante User-agent, puedes dirigirte a un robot en concreto y darle órdenes a ese robot en concreto. Por lo tanto, en el mismo archivo robots.txt puede especificar dónde puede ir o no a cada robot que llegue a tu web.

Nota:En algunos casos, la cantidad de código que se puede generar en un sólo robots.txt puede ser considerable y por eso es muy práctico hacer uso de los comentarios para saber que es cada cosa.
Los comentarios son parte del código que no se ejecuta ni se visualiza y se usa exclusivamente para escribir notas aclaratorias, comentarios sobre el código y otros contenidos que puedan ayudar al programador a entender el código.⇜✫⇝✫⇜✫

Para crear un comentario sólo debes iniciar la línea de texto con el símbolo: #
Por ejemplo:
# Dejo pasar a todos los robots
User-agent: *
Disallow:

El texto “# Dejo pasar a todos los robots “ no lo verá nadie más que el programador.

Comodines
También puedes usar los comodines. Los comodines sirven para sustituir texto por un criterio más amplio.
Asterisco (*)
Lo has usado con “User-Agent” para referirte a cualquier robot. Por lo tanto lo usarás para referirte a cualquier texto.
Veamos un ejemplo.
Si quieres limitar el acceso a cualquier archivo que esté dentro de la carpeta de lo publicado en 2019, puedes hacer:
Disallow: /2019/*

Dólar($)
El símbolo del dólar ($) lo usarás cuando quieras referirte a algo en concreto.
Para usarlo siempre se pone al final de la orden.
Por ejemplo, quieres que no se acceda a la carpeta /2019 exclusivamente, puedes usar este código:
Disallow: /2019$

También puedes combinar ambos.
Por ejemplo, quieres bloquear el acceso a todos los archivos CSS, pero sólo a esos sin que afecte a los demás de la carpeta o directorio.
Disallow: /*.css$

☆・。。Estarás de acuerdo conmigo en que es muy práctico, útil y muy fácil.・゜゜・。。・

Conclusiones

 ╔═══════ ≪ °❈° ≫ ═══════╗ 

╚═══════ ≪ °❈° ≫ ═══════╝

El uso de robots.txt es una muy buena práctica para limitar el acceso a robots de diferentes buscadores en tu web.
Como has podido ver, el proceso es muy sencillo y sólo necesita de un buen conocimiento de tu web y algunos comandos que limiten o no según qué partes de tu web.
¿Qué es Robots.txt y para qué sirve? Parte I 
 ⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫⇜✫⇝✫

█▌│▌║▌ │█│║││█│

 

ADVERTENCIA: NO INTENTE HACER UN ATAQUE SIN EL PERMISO DE PROPIETARIO DEL SITIO WEB. ES UN PROPÓSITO EDUCATIVO SOLAMENTE. 

NO ES RESPONSABLE DE NINGÚN TIPO DE PROBLEMA ILEGAL. 

PERMANECE LEGAL. GRACIAS! 

Si tienes algún problema, deja un comentario. Follow @LPericena