|
|
1
1
最明显的是:不要把它链接到任何地方。 第二个最明显的问题:提出了身份验证要求( basic , digest ) http://www.robotstxt.org/ ,特别是 http://www.robotstxt.org/faq/prevent.html
正如他们所说,请注意
|
|
|
2
1
谷歌搜索robots.txt。这是一个由所有主要搜索引擎支持的标准,允许你善意地请求一个网络爬虫忽略你的部分或全部网站。 |
|
|
3
0
你需要在完成之前把它放到网上吗?为什么不保持当地的发展? |
|
|
vatsal chauhan · 即使在字体预加载时,文本加载也很慢 1 年前 |
|
|
Loopy Momy · 当我尝试制作动画时,CSS可见性和块不起作用 2 年前 |
|
dds · Bootstrap下拉菜单导航栏 2 年前 |
|
|
IITU Yernur · Angular 18中不显示图像 2 年前 |
|
|
ahmed ahmedx · 如何正确居中放置卡片 2 年前 |