# Ejemplo archivo robots.txt 
User-agent:* 
Disallow: /dibujos/imagenes 
#La primera línea corresponde a un comentario (#).

#La segunda línea indica a que robot se le hace la solicitud; en este caso, la orden es7 #para todos (*).

#La tercera línea muestra a que ruta se le quita el acceso, conjuntamente con los #directorios que le siguen en orden jerárquico.

#Si se desea indicar una orden específica para un robot:

# Ejemplo archivo robots.txt

User-agent:*

Disallow: /dibujos/imagenes

Disallow: /en_contruccion

User-agent:Scooter

Disallow:

#En el ejemplo, el robot Scooter tiene acceso ilimitado dentro del sitio, pero prohibe a #otros a ingresar a las rutas especificadas. [Scooter es el robot de AltaVista].

#Si desea prohibir el acceso de cualquier robot a su sitio:

# Ejemplo archivo robots.txt

User-agent: *

Disallow: / 

#Crea un archivo llamado robots.txt con el siguiente contenido, este arhivo lo tienes #que poner en el directorio raiz del dominio, es decir, en donde se encuentra la página #principal del dominio.

# Copia este código en el directorio raiz y llámalo robots.txt
# Robots.txt creado por http://www.contadorwap.com
# All robots will spider the domain
User-agent: *
Disallow: