robots.txt不允许空白PHP页面并包含?[已关闭]

我是否应该禁止robots.txt中的某些PHP页面,这些页面不是用来向用户显示内容的,而是运行一个脚本并返回空白或输出很少的代码,以便在其他地方使用?

示例:

• 显示为空白的PHP页面。示例是发送电子邮件的PHP页面
• Ajax调用的PHP页面,不输出任何内容。
• Ajax调用的PHP页面,并输出JSON或XML等响应代码。
• 包括页面标题或配置文件的模板等页面。
• 只需重定向到另一个页面的PHP页面。

我感谢你们的帮助。