# robots.txt —— 91在线吃瓜官网 # 允许所有搜索引擎蜘蛛抓取全站公开内容 User-agent: * Allow: / # 搜索引擎抓取频率建议 Crawl-delay: 1 # 站点域名 Host: https://www.91zaixianchigua.com