# Google
User-agent: Googlebot
Crawl-delay: 1  # Espera 1 seg. entre cada acceso.
Disallow: /WebResource.axd 

# Yahoo
User-agent: Slurp
Crawl-delay: 2  # Espera 2 seg. entre cada acceso. Se podria poner 0.5
Disallow: /Login
Disallow: /Favoritos
Disallow: /Mensajeria
Disallow: /Flechazo
Disallow: /fin.htm
Disallow: /WebResource.axd

# Live Microsoft
User-agent: Msnbot
Crawl-delay: 1  # Espera 1 seg. entre cada acceso.
Disallow: /Login
Disallow: /Favoritos
Disallow: /Mensajeria
Disallow: /Flechazo
Disallow: /fin.htm
Disallow: /WebResource.axd

# Alexa
User-agent: ia_archiver
Crawl-delay: 5  # Espera 5 seg. entre cada acceso
Disallow: /Login
Disallow: /Favoritos
Disallow: /Mensajeria
Disallow: /Flechazo
Disallow: /Citas
Disallow: /Amigos
Disallow: /mantenimiento.htm
Disallow: /WebResource.axd

# Adwords landing page quality
User-agent: Adsbot-Google
Crawl-delay: 1  # Espera 1 seg. entre cada acceso.
Disallow: /Login
Disallow: /busqueda
Disallow: /WebResource.axd

# AdSense content
User-agent: Mediapartners-Google
Crawl-delay: 1  # Espera 1 seg. entre cada acceso
Disallow: /Login
Disallow: /busqueda
Disallow: /WebResource.axd

# Deshabilitar otros Agentes
User-agent: *
Disallow: /