Crear archivo robots.txt con Google

carlos29 Marzo 2008 - 4:16am 4 comentarios
Enviar por Email Imprimir

Hasta ahora era difícil entender cómo es que Google Sitemaps tenía una herramienta para analizar el estado de los ficheros robots.txt, pero no una que permita crear o guardarlos. Sin embargo, y seguro que a requerimiento de los usuarios, Google Webmaster Tools acaba de lanzar una herramienta que nos permite crear los archivos robots.txt fácilmente y comprobar así, que nuestro sitio es accesible por todos los buscadores, o sólo por aquellos que permitamos.

robot-txt-google-sitemaps

Para acceder a la herramienta, hay que Iniciar sesión en GWT -> Ingresar en el dominio respectivo -> Menú Herramientas -> Generar archivo robots.txt.

La herramienta es muy intuitiva y fácil de manejar. Luego de descargar el archivo robots.txt, no olviden subirlo al directorio raíz de su site.

Artículo relacionado: Generador de robots.txt

Comentarios

Imagen de mi sitio aqui
Imagen de mago en madrid
Imagen de andres42

Interesante, aunque yo pensaba que hoy en dia las arañas de google no precisaban de los robots sino que ellos solos rastreaban link tras link. De otro modo como era antes, si le facilitabas links en robots.txt probablemente fueran links descolgados sin valor, por eso google decidio desechar el uso de los robots.

Imagen de JP. Franco | Crear Tienda Online

Y como puedo proteger el fichero para que no se puedan ver directorios protegidos que se indican en la sección disallow ?

Dejar comentario

Tutoriales

Cómo descargar videos de VK.com
En este artículo voy a explicar como descargar videos y películas...
Descargar Facebook Móvil Gratis
Por si aún no lo han hecho, es posible descargar Facebook Móvil...
Cómo generar tráfico web con las redes sociales - Paso a Paso
Muchas empresas están publicando contenidos como la forma de crear...

Artículo Recomendado

3 Tips cruciales para recuperar archivos eliminados
¿Te imaginas perder el trabajo de toda una semana en tan solo unos segundos? Todos hemos pasado por este problema. Quizás eliminamos por error un archivo importante o lo borramos sin pensar que era valioso para otro... más