Generador de robots .txt

baluart5 Mayo 2007 - 1:07pm 4 comentarios
Enviar por Email Imprimir

Un fichero robots.txt es utilizado en los sitios web para indicar a los buscadores que páginas web y directorios indexar y cuales no. Más recientemente, se ha añadido una nueva utilidad a estos ficheros, la de indicar la ruta de nuestro archivo sitemap.xml.

Para no entrar en muchos detalles, y si uno tiene problemas de indexación con Google, es bueno recordar las dos maneras de permitir a Google que indexe todo nuestro sitio, sin prohibición alguna:

User-agent: *
Disallow:
ó
User-agent: *
Allow: /

Introduciendo cualquiera de estos dos textos (no ambos juntos), en un archivo de texto (extensión .txt) llamado "robots" y subido a nuestro servidor en el directorio raíz, estamos permitiendo que cualquier buscador escanee e indexe cualquier página web de nuestro sitio. Es sencillo, pero si tienes dificultades, te presentamos una interesante herramienta.

Robots.txt Builder

Robots.txt builder es una sencilla aplicación que nos permite de una manera rápida y hasta gráfica, la correcta creación de nuestro fichero robots.txt.

En la aplicación, debemos introducir el dominio de nuestro sitio web y pulsar en “import”, el sistema automáticamente nos mostrará nuestros paths principales (según Yahoo Site Explorer).

Generador de robots.txt

De ellos, seleccionamos a los paths que queramos no sean indexados ó lo añadimos directamente desde un campo de texto. Ahora bien, si no queremos bloquear ningún directorio, damos click en el checkbox.

Robots.txt Builder

Luego, copiamos el texto producido en el formulario de arriba y lo pegamos en un archivo texto llamado “robots”,

Crea tus ficheros Robots.txt online

Finalmente, subimos el fichero robots.txt al directorio raiz del sitio web.

Enlace | Robots.txt builder

Comentarios

Imagen de Angel
Angel

Que tal buen articulo, me di cuenta que el Robots.txt builder solo aplica a carpetas, me pregunto si tengo archivos en la raiz (ala altura del index) fuera de carpetas, archivos que contienen codigo para los procesos y no quiero que los indexe google, como seria en ese caso ya que yo queria anular la indexacion de unos 3  archivos en raiz pero al importar no me muestran ningun archivo de raiz , sino solo capertas. Gracias.

Imagen de baluart

Hola Angel, cuando no aparece un directorio o fichero lo que debes hacer es añadir la ruta al fichero. En este caso c

Imagen de dell

Buenas tardes, muy bueno el artículo, quisiera saber si el código robots.txt de mi pagina esta correcto es el siguiente, no tiene restriciones

User-Agent: *
Allow: /

es necesario colocar algo mas, me parede muy poco código pero no se.

Estoy urgido por que google reconosca mi pagina, llevo un mes y nada.

Imagen de jdrcomputer

Tutoriales

Cómo descargar videos de VK.com
En este artículo voy a explicar como descargar videos y películas...
Descargar Facebook Móvil Gratis
Por si aún no lo han hecho, es posible descargar Facebook Móvil...
Cómo generar tráfico web con las redes sociales - Paso a Paso
Muchas empresas están publicando contenidos como la forma de crear...

Artículo Recomendado

3 Tips cruciales para recuperar archivos eliminados
¿Te imaginas perder el trabajo de toda una semana en tan solo unos segundos? Todos hemos pasado por este problema. Quizás eliminamos por error un archivo importante o lo borramos sin pensar que era valioso para otro... más