Exibir/Esconder NavegadorSeja bem vindo visitante!
 |
Olá seja bem vindo ao Verdinhas. Somos uma comunidade jovem e vibrante. Rapidamente estamos nos tornando referência nacional e internacional para webmasters, investidores e empreendedores online - algo singular para língua portuguesa. |
|
|
|
|
 |
Robots.txt, Comande os robots |
 Oct 5 2006, 02:30 AM
Post
#1
|
||
|
Aprendiz  Grupo: Membro Posts: 162 Registrado: 28-July 06 Membro N°: 217 iTrader: 0 (0%) Pontos: $0 Verdinhas Exibir inventário  |
O Robots.txt é uma ferramenta útil e muito fácil para definir quais pastas (e arquivos) os robots podem indexar, ou não, em seu site.
Existem algumas definições básicas e você pode adaptar ao seu caso: QUOTE User-agent: * # Esse símbolo representa TODOS os robots Disallow: /cgi-bin/ # Assim nenhum robot vai indexar o diretório "cgi-bin" Disallow: /pastatal/paginatal.html # Assim bloqueia só a "paginatal" dentro da "pastatal" User-agent: Scooter # Esse nome vai bloquear o robot do Altavista Disallow: /paginatal.asp # Agora o AltaVista não vai indexar a "paginatal" mas todo o resto do site User-agent: Googlebot-Images # Isso bloqueia o robot de imagens do Google Disallow: /imagens/ # Ele não indexará a pasta "imagens" Disallow: /minhasfotos.html # Nem a página "minhasfotos.html" User-agent: WebCrawler # Assim você bloqueia o WebCrawler robot Disallow: / # Agora o WebCrawler não vai indexar nenhuma página do seu site Vale lembrar que alguns robots podem ser meio "rebeldes". Mas o exemplo acima cobre os comandos básicos. Crie seu arquivo de texto e envie para seu diretório web com o nome "robots.txt". -------------------- --------------------
|
|
 |
 
|
|
|
1 usuário(s) está(ão) lendo este tópico (1 visitantes e 0 usuários anônimos)
0 membros:
|
Versão Simples | Horário: 19th May 2013 - 07:33 AM |
Skin designed by IPB Forum Skins
|
|
|