谷歌爬虫找到robots.txt，但无法下载

2025-06-09 17:53:25

看起来它正在读取robots.txt OK，但是您的robots.txt随后声明http://bizup.cloudapp.net/robots.txt也是您的XML的URL，而实际上它是http://bizup.cloudapp.net/sitemap.xml。该错误似乎来自谷歌试图将robots.txt解析为可扩展标记语言网站地图。您需要将robots.txt更改为

代码语言：javascript运行复制User-agent: *

Allow: /

Sitemap: http://bizup.cloudapp.net/sitemap.xml编辑

它实际上比这更深入一点，Googlebot根本不能在你的网站上下载任何页面。这是当Googlebot请求robots.txt或主页时返回的异常：

此应用程序不支持

无Cookieless窗体身份验证。

异常详细信息:此应用程序不支持System.Web.HttpException:无Cookieless窗体身份验证。

代码语言：javascript运行复制[HttpException (0x80004005): Cookieless Forms Authentication is not supported for this application.]

AzureBright.MvcApplication.FormsAuthentication_OnAuthenticate(Object sender, FormsAuthenticationEventArgs args) in C:\Projectos\AzureBrightWebRole\Global.asax.cs:129

System.Web.Security.FormsAuthenticationModule.OnAuthenticate(FormsAuthenticationEventArgs e) +11336832

System.Web.Security.FormsAuthenticationModule.OnEnter(Object source, EventArgs eventArgs) +88

System.Web.SyncEventExecutionStep.System.Web.HttpApplication.IExecutionStep.Execute() +80

System.Web.HttpApplication.ExecuteStep(IExecutionStep step, Boolean& completedSynchronously) +266FormsAuthentication正在尝试使用无cookies模式，因为它认识到Googlebot不支持cookies，但FormsAuthentication_OnAuthenticate方法中的某些内容随后抛出异常，因为它不想接受无cookies身份验证。

我认为最简单的方法是在web.config中更改以下内容，这将阻止FormsAuthentication尝试使用无cookieless模式……

代码语言：javascript运行复制

...