# robots.txt for www.sdjky.net # 声明所有搜索引擎爬虫(* 表示通配所有爬虫) User-agent: * # 禁止抓取网站根目录及所有子目录下的内容 Disallow: / # 可选:明确声明禁止抓取的特定文件类型或目录(如果需要更细粒度控制) # Disallow: /images/ # 禁止抓取图片目录 # Disallow: /admin/ # 禁止抓取后台管理目录 # Disallow: *.pdf # 禁止抓取所有PDF文件(部分爬虫支持通配符)