• ¡Como Iniciar un Negocio con lo que Ud sabe
• ¿Tiene Ud Un buen Sponsor
• Archivos de Firma de Email
• Aumente Su Popularidad Con Value Exchange
• Automatic Responders o Contestadores Automáticos
• Banners o Carteles Publicitarios en Internet
• Comercio Electronico Por E mail
• Como Calcular El Precio
• Como Crear Popularidad Con Vinculos
• Como Crear Una Pagina Web
• Como Escribir Avisos Que Generen Ventas
• Como Escribir Encabezados Que Venden
• Como Mejorar su Oportunidad de Negocios
• Como Mejorar Su Vinculo de Afiliado al ClickBank
• Como Pedir Vinculos Reciprocos
• Como Recibir el Correo Deseado
• Como Vender Creando Presencia en Internet Parte 1
• Como Vender Creando Presencia en Internet Parte 2
• Como Vender Creando Presencia en Internet Parte 3
• Como Vender Creando Presencia en Internet Parte 4
• Construya Un Sitio Web Que Vende
• Cuidado Con Los Anti Spam
• El Comercio Electrónico
• El Costo De NO Ganar Dinero En Internet Esta Aumentando Parte 1
• El Costo de NO Ganar Dinero en Internet Esta Aumentando Parte 2
• Entendiendo el Flujo del Tráfico en Internet Parte 1
• Entendiendo el Flujo del Trafico en Internet Parte 2
• Entendiendo El Uso De Las Meta Claves
• Intercambio de Links
• La Creación de la Primer Pagina Web
• La Verdad Acerca de los Motores de Busqueda Parte 1
• La Verdad Acerca de los Motores de Busqueda Parte 2
• La Verdad Acerca del Cambio de Vinculos
• Las Etapas de un Negocio en Internet
• Los Anillos Web
• Los Archivos Robots txt
• Los Robots de Internet
• Los Sitios Top
• Los Trofeos De La Web o Web site awards
• Marketing por Recomendación
• Marketing y Publicidad Automaticos
• Motores de Busqueda con Pago Por Clic
• Nichos de Mercado
• No Tire Su Dinero A La Basura
• Optimizacion De Paginas Web
• Paginas FFA
• Paginas Web de Acceso o Doorway Pages
• Palabras Que Venden
• Programas de afiliados
• Programas de Trueque de Clics
• Ranking de Paginas en Google
• Recursos Para Generar Trafico En Internet
• Revistas Electronicas o Ezines
• Segmentacion Del Mercado
• Sitio Web Favorito
• Targeted traffic o Visitantes seleccionados
• Tenga Su Propio Libro Electronico
• Tenga Su Propio Sitio de Remates
• Trafico Que Vuelve
• Un Automatizador de Mercadeo Directo
• Un Buen Plan De Negocio
• Un Buen Sitio Web
• Un Trabajo Fácil En Casa
• Una Buena Estrategia de Ventas
|
Los Archivos Robots.txt
MANTENGA A LOS ROBOTS LEJOS DE SU SITIO WEB
Ud. sabe que los motores de búsqueda han sido creados para ayudarle a la gente a encontrar información fácilmente en Internet, y los motores de búsqueda adquieren mucha de la información que proporcinan, por medio de robots (también conocidos como arañas), que buscan páginas para ellos.
Los robots araña exploran la red buscando y grabando toda clase de informacion. Ellos generalmente comienzan a partir de una URL que les ha sido enviada por un usuario, o desde los links (enlaces o vínculos) desde otros sitios web, la páginas índice (o sitemaps), o el nivel superior de un sitio.
Una vez que el robot accede a la página de inicio, entonces continúa accediendo a todas las páginas que son mencionadas en la misma. Pero los robots también pueden encontrar todas las páginas que se encuentran en un determinado servidor.
Cuando un robot encuentra una página web, comienza a indexar su título, palabras clave, texto, etc. Pero algunas veces, Usted deseará evitar que algunas de sus páginas web sean encontradas, como por ejemplo páginas de noticias o páginas de afiliados, pero que los robots satisfagan o no sus deseos, queda sujeto a la voluntad de ellos.
PROTOCOLO DE EXCLUSION DE ROBOTS
Por lo tanto si Ud. desea que los robots se mantengan apartados de algunas de sus páginas, puede pedirles que ignoren las páginas que no desea que visiten, y para poder hacerlo deber crear un archivo llamado robots.txt y colocarlo en la raiz del servidor de sus sitio web.
Por ejemplo si tiene Ud. una carpeta o directorio llamado e-books y desea que los robots se mantengan apartados de la misma, su archivo robots.txt debe decir:
User-agent: * Disallow: e-books/
Cuando Ud. no tiene suficiente control sobre su servidor como para colocarle un archivo robots.txt, entonces puede agregarle META etiquetas a la sección head de cualquier documento HTML.
Por ejemplo, una etiqueta como la siguiente le dice a los robots que no indexen y no miren los links que se encuentran en una página en particular:
meta name="ROBOTS" content="NOINDEX, NOFOLLOW"
El hecho de leer y aceptar el contenido de las META etiquetas, no se encuentra tan difundido como el protocolo para la exclusion de robots, pero la mayoría de los grandes motores de búsqueda lo tienen.
COLOCANDO NOTICIAS EN USENET
Si Ud. desea que los motores de búsqueda se mantengan alejados de las noticias que publica en USENET, puede crear una línea en el encabezado de sus archivos con el siguiente contenido:
X-no-archive: yes
Pero aunque los clientes de noticias conocidos le permiten agregar una línea X-no-archive a los encabezados de las noticias que se publican; algunos de ellos no permiten hacerlo.
El problema está en que la mayoría de los motores de búsqueda asumen que toda la información que encuentran es pública, salvo que se les indique lo contrario.
Asi que tenga cuidado, puesto que aunque los protocolos estandard para la exclusión de robots pueden proteger su material a salvo de los grandes motores de búsqueda, existen muchos otros que no respetan esas reglas.
Si a Ud. le preocupa mucho la privacidad de sus publicaciones en Usenet, debe utilizar algunos de los re-enviadores de email anónimos. Puede leer al respecto aqui:
http://www.well.com/user/abacard/remail.html http://www.io.com/~combs/htmls/crypto.html
http://world.std.com/~franl/pgp/
Aún si no se encuentra particularmente preocupado por la privacía de sus contenidos, recuerdeq que cualquier cosa que escriba puede ser indexada y archivada en algun lugar para toda la eternidad, asi que le aconsejo que utilice el archivo robots.txt tanto como lo necesite.
Escrito por el Dr. Roberto A. Bonomi
|
|
