响应状态代码999是什么意思？

999是雅虎网站用来限制请求的自定义响应状态代码。尝试使用下载延迟来降低爬行速度 ​2​ （或更高）在你的蜘蛛：

class MySpider(CrawlSpider):

    name = 'myspider'

    download_delay = 2

    # [ ... rest of the spider code ... ]

或者通过在项目中设置全局下载延迟 DOWNLOAD_DELAY 设置。