Файл robots.txt

Файл robots.txt предназначен для заперта индексации некоторых страниц, содержимое которых не представляет никакого интереса для пользователей, приходящих на сайт с поисковых систем, либо дублирует содержимое других страниц, а также чтобы не вводить в заблуждение поисковых роботов. Файл robots.txt должен находиться в корневой директории сайта, независимо от того, в какой папке установлен интернет-магазин.

Рекомендуется запретить индексацию поисковыми системами файлов sort.php, search.php, pages.php.
Файл sort.php - те же страницы с товарами, только в другой последовательности.
search.php - результаты поиска.
pages.php - не информативные страницы, такие как: регистрация, вход, восстановление пароля, оформление заказа.

Если магазин установлен в корне сайта (т.е. является главной страницей сайта, например, http://www.example.com/ или http://shop.example.com/ ), по умолчанию файл robots.txt уже присутствует в папке со скриптом. Если же магазин установлен не в корне сайта, а в отдельную папку (т.е. НЕ является главной страницей сайта, например, http://www.example.com/shop/ ), то Вы можете создать файл robots.txt в корне сайта, со следующим текстом:

User-Agent: *
Disallow: /shop/sort.php
Disallow: /shop/search.php
Disallow: /shop/pages.php

где shop - имя папки, в которую установлен магазин, если магазин установлен в корне сайта, то вместо /shop/ пишите /