Cómo bloquear o eliminar páginas con un archivo robots.txt
Los
archivos robots.txt restringen el acceso a un sitio por parte de los robots de motores de búsqueda que rastrean la Web. Estos robots están automatizados y, antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les impida el acceso a determinadas páginas
El archivo robots.txt solo es necesario si tu sitio incluye contenido que no deseas que los motores de búsqueda indexen. Si vas a permitir la indexación de su sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).
Para usar un archivo robots.txt, necesitarás tener acceso al directorio raíz de tu dominio (si no estás seguro, consúltalo con tu proveedor de alojamiento web). Si no tienes acceso al directorio raíz de un dominio, puedes restringir el acceso al mismo utilizando la
metaetiqueta "robots".
Para evitar que cualquier robot indexe una determinada página de su sitio, deberá insertar la metaetiqueta que le indicamos a continuación en la sección <head> de su página:
<meta name="robots" content="noindex">
Para que todos los robots, excepto los de Google, indexen una página determinada de su sitio:
<meta name="googlebot" content="noindex">
Si Google detecta una metaetiqueta "noindex" en una página, elimina la página por completo de los resultados de búsqueda.
