# 默认屏蔽所有爬虫访问网站内容
User-agent: *
Disallow: /

# 允许百度蜘蛛访问全站
User-agent: Baiduspider
Disallow:

# 屏蔽谷歌爬虫
User-agent: Googlebot
Disallow: /

# 屏蔽Bing爬虫
User-agent: Bingbot
Disallow: /

# 屏蔽搜狗爬虫
User-agent: Sogou web spider
Disallow: /

# 屏蔽360搜索爬虫
User-agent: 360Spider
Disallow: /

# 屏蔽神马搜索
User-agent: YisouSpider
Disallow: /

# 屏蔽Ahrefs爬虫（站点分析工具）
User-agent: AhrefsBot
Disallow: /

# 屏蔽Semrush爬虫
User-agent: SemrushBot
Disallow: /

# 屏蔽MJ12bot（SEO工具爬虫）
User-agent: MJ12bot
Disallow: /

# 屏蔽Yandex（俄罗斯搜索引擎）
User-agent: Yandex
Disallow: /