为了避免 URL 被爬虫攻击，可以采取以下措施：
使用 robots.txt 文件限制爬虫访问：在网站根目录下创建 robots.txt 文件，指定哪些页面可以被爬虫访问，哪些页面需要禁止爬虫访问。
使用 rel="nofollow" 属性防止爬虫跟踪链接：在需要防止爬虫跟踪的链接上添加 rel="nofollow" 属性，这样搜索引擎就不会将该链接的权重计入页面排名。
使用验证码：在需要防止爬虫攻击的页面添加验证码，只有输入正确的验证码才能访问页面。
使用 IP 黑名单：对于频繁访问或者恶意攻击的 IP 地址，可以将其添加到 IP 黑名单中，禁止其访问网站。
使用反爬虫技术：如用户行为分析、IP 地址限制、动态页面渲染等技术，可以有效防止爬虫攻击。
综上所述，为了保护网站的安全，我们应该采取多种方式防止 URL 被爬虫攻击。