在线名词解释大全

专业、全面、易懂的全领域名词百科

以下哪些说法是正确的？

题型：多选题

选项

A. 只要撰写了 robots.txt，爬虫就不会爬取未经允许的页面

B. 爬虫不一定会遵循 sitemap.xml 来执行爬取工作

C. 降低访问频率可以从一定程度绕开常规反爬机制

D. SEO 通常属于恶意爬虫行为

正确答案：B,C

名词解析

robots.txt 并不是强制要求；SEO 通常属于善意的接受爬虫行为