详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码作用
发布时间：2021-11-07 16:42:54 所属栏目：教程 来源：互联网
导读：其实我们做seo网站优化的一般来说都是一个全知全能的职位，因为做优化做排名影响的因素太多了，就比如我们今天要讲的课题，日志的分析如果不会分析看不懂蜘蛛的爬行轨迹，那么在优化的过程中出现问题，就很有可能思路是错的而不自知。 IIS日志的用途就是能够
|
其实我们做seo网站优化的一般来说都是一个全知全能的职位，因为做优化做排名影响的因素太多了，就比如我们今天要讲的课题，日志的分析如果不会分析看不懂蜘蛛的爬行轨迹，那么在优化的过程中出现问题，就很有可能思路是错的而不自知。 IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的HTTP状态码，为我们带来清晰的分析便利。 一、各大搜索引擎的蜘蛛名称： 百度(Baidu)爬虫名称(Baiduspider) 谷歌(Google)爬虫名称(Googlebot) 雅虎(Yahoo)爬虫名称(YahooSlurp) 有道(Yodao)蜘蛛名称(YodaoBot) 搜狗(sogou)蜘蛛名称(sogouspider) MSN的蜘蛛名称：msnbot 二、IIS分析： 案例日志：61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1.htmlHTTP/1.1"2008450"-""Baiduspider(+http:-www-baidu-com/search/spider.htm)" 分析： 1、61.135.168.22是访问了是服务器IP为这个的网站. 2、11/Jan/2009:04:02:45表示蜘蛛爬行时间 3、GET/thread-7303-1-1.htmlHTTP，表示蜘蛛抓取了这个页面。 4、200状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。 5、8450表示此次抓取了8450个字节 6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称 三、基本状态码： 200：请求已经完成，蜘蛛访问页面正常 301：已经移动，永久重定向 302：临时重定向 304：蜘蛛爬取后发现，页面没有修改 305：使用代理 400：请求错误 404：找不到页面 四、IIS详细状态码含义： 100-表示已收到请求的一部分，正在继续发送余下部分。 101-切换协议。 2XX-成功服务器成功地接受了客户端请求。(只要是2XX的状态，都表示成功) 200-确定。客户端请求已成功。 201-已创建。 202-已接受。 203-非权威性信息。 204-无内容。 205-重置内容。 206-部分内容。 300-针对收到请求，服务器可执行多种操作。 301-永久移动转移，请求的内容已永久移动其他新位置。 302-临时移动转移，请求的内容已临时移动新的位置 304-未修改。自从上次请求后，请求的内容未修改过。 307-临时重定向。服务器目前从不同位置响应请求，但请求者应继续使用原有位置来进行以后的请求。 400-错误的请求。 401-访问被拒绝。IIS定义了许多不同的401错误，它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示，但不在IIS日志中显示： 401.1-登录失败。 401.2-服务器配置导致登录失败。 401.3-由于ACL对资源的限制而未获得授权。 401.4-筛选器授权失败。 401.5-ISAPI/CGI应用程序授权失败。 401.7-访问被Web服务器上的URL授权策略拒绝。这个错误代码为IIS6.0所专用。 403-禁止访问：IIS定义了许多不同的403错误，它们指明更为具体的错误原因： 403.1-执行访问被禁止。 403.2-读访问被禁止。 403.3-写访问被禁止。 403.4-要求SSL. 403.5-要求SSL128. 403.6-IP地址被拒绝。 403.7-要求客户端证书。 403.8-站点访问被拒绝。 403.9-用户数过多。 403.10-配置无效。 403.11-密码更改。 403.12-拒绝访问映射表。 403.13-客户端证书被吊销。 403.14-拒绝目录列表。 403.15-超出客户端访问许可。 403.16-客户端证书不受信任或无效。 403.17-客户端证书已过期或尚未生效。 403.18-在当前的应用程序池中不能执行所请求的URL.这个错误代码为IIS6.0所专用。 403.19-不能为这个应用程序池中的客户端执行CGI.这个错误代码为IIS6.0所专用。 403.20-Passport登录失败。这个错误代码为IIS6.0所专用。 404-未找到请求的内容。 404.0-未找到文件或目录。 404.1-无法在所请求的端口上访问Web站点。 404.2-Web服务扩展锁定策略阻止本请求。 404.3-MIME映射策略阻止本请求。 405-用来访问本页面的HTTP谓词不被允许(方法不被允许) 406-客户端浏览器不接受所请求页面的MIME类型。 407-要求进行代理身份验证。 412-前提条件失败。 413-请求实体太大。 414-请求URI太长。 415-不支持的媒体类型。 416-所请求的范围无法满足。 417-执行失败。 423-锁定的错误。 500-服务器内部错误。 500.12-应用程序正忙于在Web服务器上重新启动。 500.13-Web服务器太忙。 500.15-不允许直接请求Global.asa. 500.16-UNC授权凭据不正确。这个错误代码为IIS6.0所专用。 500.18-URL授权存储不能打开。这个错误代码为IIS6.0所专用。 500.100-内部ASP错误。 501-服务器无法完成请求的功能。 502-服务器用作网关或代理服务器时收到了无效响应。 502.1-CGI应用程序超时。 502.2-CGI应用程序出错。 503-服务不可用。这个错误代码为IIS6.0所专用。 504-网关超时。 505-HTTP版本不受支持。  （编辑：常州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
