#
# Welcome to Niche
#
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNWXK0OkxxxxxxxxkkOKXNWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNWN0kdocclloddxxxxxddoolcloxOKNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNWXOdlcldk0KXNWNNNNNNNNNWWNK0kdlclx0NNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNN0dccokKNWNNNNNNNNNNNNNNNNNNNNNWN0xl:lxKWNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNOl:lxKWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN0dccd0WNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNW0o:ckXWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNWKxc:dXNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNkc:dXWNNNNNNXWNNNNNNNNNNNNNNNNNNNNNWNWNNNNNWKo:l0WNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNXd:cOWNNNNNNXdcoONNNNNNNNNNNNNNNNNNNNxcxNNNNNNNNkc:kNNNNNNNNNNNNNNN
#NNNNNNNNNNNNXd;l0WNNNNNNNKl;;:dKWNNNNNNNNNNNNNNNNXo;lKNNNNNNNWOc:kNNNNNNNNNNNNNN
#NNNNNNNNNNNNx;cOWNNNNNNNNKl;:c:cxXNNNNNNNNNNNNNNNXo;lKNNNNNNNNWk::OWNNNNNNNNNNNN
#NNNNNNNNNNWO::kWNNNNNNNNNKl;oOd:;lONNNNNNNNNNNNNNXo;lKNNNNNNNNNNd;lKNNNNNNNNNNNN
#NNNNNNNNNNXo;lKNNNNNNNNNNKl;dXN0o::o0WNNNNNNNNNNNXo;lKNNNNNNNNNN0c;kWNNNNNNNNNNN
#NNNNNNNNNN0c;xWNNNNNNNNNNKl;oXNNNkl;cxXWNNNNNNNNNXo;lKNNNNNNNNNNNd;oXNNNNNNNNNNN
#NNNNNNNNNWO::ONNNNNNNNNNNKl;oXNNNWXxc;lkKNNNNNNNNXo;lKNNNNNNNNNNWx;c0NNNNNNNNNNN
#NNNNNNNNNWk::0NNNNNNNNNNNKl;oXNNNNNW0o:::o0WNNNNNXo;lKNNNNNNNNNNWk;c0NNNNNNNNNNN
#NNNNNNNNNNO::ONNNNNNNNNNNKl;oXNNNNNNNNOl:;:dKWNNNXo;lKNNNNNNNNNNWx;lKNNNNNNNNNNN
#NNNNNNNNNNKc;xWNNNNNNNNNNKl;oXNNNNNNNNNX0xc;ckNNNXo;lKNNNNNNNNNNXo;oXNNNNNNNNNNN
#NNNNNNNNNNNd;lKNNNNNNNNNNKl;oXNNNNNNNNNNNWKd::lONXo;lKNNNNNNNNNWO::kWNNNNNNNNNNN
#NNNNNNNNNNN0c;xNNNNNNNNNNKl;oXNNNNNNNNNNNNNNOl;:dOo;lKNNNNNNNNNXo;oXNNNNNNNNNNNN
#NNNNNNNNNNNWk::OWNNNNNNNNKl;oXNNNNNNNNNNNNNNNXkc;::;lKNNNNNNNNNx;c0NNNNNNNNNNNNN
#NNNNNNNNNNNNNx:cOWNNNNNNNKl;oXNNNNNNNNNNNNNNNNWKd:;;lKNNNNNNNNx:cOWNNNNNNNNNNNNN
#NNNNNNNNNNNNNNk::xNNNNNNNXdckNNNNNNNNNNNNNNNNNNNW0ocxNNNNNNWKd:cOWNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNW0l:o0WNNNNNWNWNNNNNNNNNNNNNNNNNNNNNWNWNNNNNNOl:oKWNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNXxc:dKWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNOo:lONNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNWKxc:oONWNNNNNNNNNNNNNNNNNNNNNNNNNNNWXkl:lkXWNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNWXkocldOXWNNNNNNNNNNNNNNNNNNNNWNKkoccdONNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNWKkdlcldk0KXNNWWWWWWWNXXKOxdlcldOXWNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNWX0OxolllllooooooollllodxOKNWNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNWNXKK0OOOOOO00KXNWWNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#NNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNNN
#
# We dig it when people read our code! Check out the jobs while you're here.
# https://www.niche.com/about/jobs/
#
# Or check out our YouTube channel for our latest
# https://www.youtube.com/@Nichesocial/videos

Sitemap: https://www.niche.com/sitemap/index.xml

User-agent: *

# API Delivered Content
Disallow: /api/
Disallow: /website-api/

# Account Pages
Disallow: /account/

User-agent: Yandex
Crawl-delay: 3.6

User-agent: Cliqzbot
Crawl-delay: 3.6

# Block all known AI crawlers from using content for training AI models.
User-agent: ClaudeBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: AI2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Diffbot
Disallow: /

User-agent: PanguBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: FriendlyCrawler
Disallow: /

User-agent: iaskspider/2.0
Disallow: /

User-agent: ICC-Crawler
Disallow: /

User-agent: ImagesiftBot
Disallow: /

User-agent: img2dataset
Disallow: /

User-agent: ISSCyberRiskCrawler
Disallow: /

User-agent: Kangaroo Bot
Disallow: /

User-agent: omgili
Disallow: /

User-agent: omgilibot
Disallow: /

User-agent: Webzio-Extended
Disallow: /

User-agent: Scrapy
Disallow: /

User-agent: Sidetrade indexer bot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /