# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio

User-agent: webcrawler
Disallow:

# En cambio Pepitoskfkg y Manolitofghju
# tiene prohibido integramente el acceso

User-agent: Pepitoskfkg
User-agent: Manolitofghju
Disallow: /

# El resto de bots (señalado mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.

User-agent: *
Disallow: /tmp
Disallow: /logs

User-agent: * 
Disallow: /*.PDF$ 
Disallow: /*.jpeg$ 
Disallow: /*.exe$
Disallow: /*.gif$

#Mediante las directivas "Disallow" especificamos los directorios o archivos #concretos que deseamos excluir. Por ejemplo:

Disallow: /help  # afecta a /help.html y a  /help/index.html
Disallow: /help/ # afecta a /help/index.html  pero no a  /help.html.