Rede Social

Navegação


Links Patrocinados


Links Recomendados


Outros Links


Bem-vindo, visitante ( Entrar | Registrar )


Seja bem vindo visitante!

Olá seja bem vindo ao Verdinhas. Somos uma comunidade jovem e vibrante. Rapidamente estamos nos tornando referência nacional e internacional para webmasters, investidores e empreendedores online - algo singular para língua portuguesa.

Em pouco tempo atingimos a marca de mais de 7.000 usuários registrados e acima de 1.500 visitas únicas diárias. Temos PageRank 3 e estamos entre os 6.000 sites mais visitados e ativos do Brasil e entre os 4.000 em Portugal.

Junte-se a nossa comunidade! NÓS QUEREMOS VOCÊ!


 
Reply to this topicNew Topic
Robots.txt, Comande os robots
Gaguinho
post Oct 5 2006, 02:30 AM
Post #1


Aprendiz
Ícone do grupo

Grupo: Membro
Posts: 162
Registrado: 28-July 06
Membro N°: 217
iTrader: 0 (0%)
Pontos: $0 Verdinhas
Exibir inventário


O Robots.txt é uma ferramenta útil e muito fácil para definir quais pastas (e arquivos) os robots podem indexar, ou não, em seu site.

Existem algumas definições básicas e você pode adaptar ao seu caso:
QUOTE
User-agent: * # Esse símbolo representa TODOS os robots
Disallow: /cgi-bin/ # Assim nenhum robot vai indexar o diretório "cgi-bin"
Disallow: /pastatal/paginatal.html # Assim bloqueia só a "paginatal" dentro da "pastatal"
User-agent: Scooter # Esse nome vai bloquear o robot do Altavista
Disallow: /paginatal.asp # Agora o AltaVista não vai indexar a "paginatal" mas todo o resto do site
User-agent: Googlebot-Images # Isso bloqueia o robot de imagens do Google
Disallow: /imagens/ # Ele não indexará a pasta "imagens"
Disallow: /minhasfotos.html # Nem a página "minhasfotos.html"
User-agent: WebCrawler # Assim você bloqueia o WebCrawler robot
Disallow: / # Agora o WebCrawler não vai indexar nenhuma página do seu site





Vale lembrar que alguns robots podem ser meio "rebeldes". Mas o exemplo acima cobre os comandos básicos.
Crie seu arquivo de texto e envie para seu diretório web com o nome "robots.txt".


--------------------
Espaço ocioso. Eu não.

TEVEZONA
--------------------
Go to the top of the page
 
+Quote Post

Reply to this topicNew Topic
1 usuário(s) está(ão) lendo este tópico (1 visitantes e 0 usuários anônimos)
0 membros:

 

Skin designed by IPB Forum Skins

Verdinhas PageRank