Infrastructure

###############################################################

# TheDressOutlet.com

# Enterprise Robots.txt

# Version: 1.0

#

# PURPOSE

# • Protect crawl budget

# • Reduce duplicate URL crawling

# • Prevent indexing of private/customer pages

# • Allow search engines to fully render pages

# • Improve crawling efficiency for large Shopify catalogs

#

# NOTE

# • Comments are ignored by search engines.

# • Only the rules below affect crawling.

###############################################################


###############################################################

# APPLY TO ALL SEARCH ENGINES

#

# Includes:

# Google

# Bing

# Yahoo

# DuckDuckGo

# GPTBot

# ClaudeBot

# PerplexityBot

# AppleBot

# Yandex

# Baidu

#

# Any crawler without its own section follows these rules.

###############################################################


User-agent: *


###############################################################

# ALLOW IMPORTANT STATIC ASSETS

#

# Google must be able to load CSS, JavaScript and Shopify CDN

# assets to correctly render pages and evaluate Core Web Vitals.

###############################################################


Allow: /*.css$

Allow: /*.js$

Allow: /cdn/shop/


###############################################################

# FACETED NAVIGATION & FILTER PARAMETERS

#

# These URLs generate millions of duplicate combinations.

# They rarely provide unique SEO value.

#

# Blocking them preserves crawl budget for:

# • Products

# • Collections

# • Blogs

# • Pages

###############################################################


# SOBooster filter parameter

Disallow: /*?uff_*


# Shopify sorting

Disallow: /*?*sort_by=


# Generic filtering

Disallow: /*?*filter=


# Color filtering

Disallow: /*?*color=


# Size filtering

Disallow: /*?*size=


# Price filtering

Disallow: /*?*price=


# SOBooster AJAX parameter

Disallow: /*?*usf_take=


# Alternative collection view

Disallow: /*?*view=

# url collection with atom

Disallow: /*.atom


# blog url with tag 

Disallow: /blogs/*/tagged

###############################################################

# SHOPIFY VIDEO ASSETS

#

# Prevent crawlers from accessing video asset URLs under this

# path, including preview and playback parameter URLs.

###############################################################


Disallow: /assets/mp4/v/


###############################################################

# DUPLICATE COLLECTION URLS

#

# Prevent crawling of duplicate collection URLs created by

# "+" and encoded "%2B" characters.

###############################################################


Disallow: /collections/*+*

Disallow: /collections/*%2b*

Disallow: /collections/*%2B*


###############################################################

# BLOG TAG ARCHIVES

#

# Tag archive pages often duplicate existing blog content

# and usually provide little SEO value.

###############################################################


Disallow: /blogs/*/tagged


###############################################################

# CUSTOMER PAGES

#

# These pages are private and should never appear in search.

###############################################################

# Keeps the shopping cart page out of search indexes

Disallow: /cart

# Secures the checkout process from being crawled

Disallow: /checkout   

# Prevents indexing of customer order history 

Disallow: /orders   

# Blocks the entire customer account directory (and all subfolders)  

Disallow: /account    

# Blocks Shopify Web Pixels Manager backend scripts 

Disallow: /wpm      

# Blocks Shopify Web Pixels tracking endpoints  

Disallow: /wpm-pixels  

# Blocks dynamically generated Web Pixel JavaScript files

Disallow: /wpm/*.js 

###############################################################

# INTERNAL SEARCH

#

# Search result pages create thousands of thin URLs and should

# not consume crawl budget.

###############################################################


Disallow: /search


###############################################################

# AUTHORIZATION URLS

#

# Prevent login/payment authorization endpoints from being

# crawled.

###############################################################


Disallow: /*/authorize?


###############################################################

# FEEDS

#

# Atom feeds are intended for feed readers rather than search

# indexing.

###############################################################


Disallow: /*.atom


###############################################################

# XML SITEMAP

#

# Helps search engines discover indexable pages efficiently.

###############################################################


Sitemap: https://www.thedressoutlet.com/sitemap.xml