Como crear archivo robots.txt

Por -

Cuando tenemos una página web tenemos que cuidar los diferentes aspectos dentro de ella, y uno de ellos que también puede llegar a ser muy importante a la hora de que los robots rastreen nuestra página y la incluyan en sus índices, como el de Google, Yahoo, Bing, entre otros.

Para bloquear la entrada o el guardado de estas páginas, se utiliza un archivo llamado robots.txt que va en la raíz de nuestro sitio, y este archivo debe contener los siguientes elementos:

User-agent: * (Esta línea quiere decir que ningún robot puede entrar a las páginas que en seguida especifiquemos)
Disallow: / (Esta es para que no rastree ninguna de nuestras páginas, de lo contrario, si queremos que únicamente no rastree alguna en específico, tiene que ser como la siguiente línea)
Disallow: hola.html (Así únicamente no rastrearía la página hola.html)

Como pueden ver, no tiene mucha ciencia, y de todos modos, si quieren saber más, les recomiendo visitar la página robotstxt.org.

Omar Cruz

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *

Puedes usar las siguientes etiquetas y atributos HTML: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>