O que é ficheiro robots.txt

O que é ficheiro robots.txt