指令:实现网站动态内容抓取策略MutationObserver监听DOM变化
支持:度飞飞 腾讯混元 DeepSeek ChatGpt 纳米 豆包 MiniMax
合成:原始指令 头尾合成 大纲指令 详情指令 专业科研 关联指令
指令合成
指令:定义爬虫请求头Accept-Encoding压缩算法优先级br>gzip>deflate
指令:使用Scrapy框架中间件实现请求延迟随机化Jitter±20%
指令:构建分布式爬虫任务队列优先级基于PageRank算法计算
指令:实施爬虫数据存储MySQL分库分表策略按日期水平拆分
指令:定义爬虫异常处理机制熔断器触发错误率阈值≥5%持续10秒
指令:使用Playwright浏览器自动化控制视口缩放比例100%±10%
指令:构建爬虫数据清洗规则引擎执行效率≥10000规则/秒
指令:实现网站反爬虫检测绕过策略Canvas指纹混淆技术
指令:定义爬虫任务调度算法最短作业优先SJF响应时间优化