User-agent: *

# Закрываем от индексации служебные страницы
Disallow: /search/
Disallow: /manager/
Disallow: /login/
Disallow: /register/
Disallow: /profile/
Disallow: /admin/

# Запрещаем индексацию параметров
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?utm_

# Разрешаем индексировать основные разделы
Allow: /

# Разрешаем ботам получать стили и скрипты
Allow: *.css
Allow: *.js
Allow: *.png
Allow: *.jpg
Allow: *.jpeg
Allow: *.gif

# Указываем карту сайта
Sitemap: https://asteria.moscow/sitemap.xml

# Настройки скорости обхода
Crawl-delay: 10