了解搜索蜘蛛的爬行動向，實時要查看iis訪問記錄，這也是一個優(yōu)化師所必須了解的知識！
　　很多網(wǎng)站目前使用的都是虛擬空間，都能夠提供日志。從虛擬主機后臺登錄，點擊下載訪問日志。

　　日志是指在網(wǎng)站根目錄下的logfiles或W3SVC文件夾里面日期.txt文本文件

　

　　開始幾行:

　　#Software: Microsoft Log Parser

　　#Version: 1.0

　　#Date: 2008-09-30 23:57:04

　　#Fields: LogFilename RecordNumber ComputerName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName

　　說明用的軟件,版本,創(chuàng)建日期,字段說明

　　舉例說明：

2010-10-28 15:55:29 W3SVC183 180.86.38.51 GET /shownew.asp newid=861 80 - 220.181.108.173 Baiduspider+(+http://www.baidu.com/search/spider.htm) 200 0 64 7620　　分別表示：
　　訪問日期：2010-10-28 15:55:29

　　客戶端IP：220.181.108.173 (客戶端IP很重要，有的IP是搜索引擎爬蟲的IP)

　　服務(wù)器IP：180.86.54.92　　服務(wù)端口：80

　　模式：GET

       協(xié)議返回狀態(tài)：200 (這個很重要，200是成功的應(yīng)答碼)

　　記錄的內(nèi)容大小：7620

　　訪問頁面： /shownew.asp newid=861 (這點是站長分析和以后努力的方向)

　　都是這種格式的日志如何去分析了，一個一個看的頭都大了。

　　現(xiàn)在網(wǎng)上很多網(wǎng)站日志分析工具，其實你只要打開日志“CRTL+F”查找?guī)讉€你最關(guān)心的IP就OK了。

　　各類蜘蛛IP收集，不一定完全準(zhǔn)確。

　　序號 IP 注釋

　　1 202.106.186.* 163蜘蛛

　　2 202.108.36.* 163蜘蛛

　　3 202.108.44.* 163蜘蛛

　　4 202.108.45.* 163蜘蛛

　　5 202.108.5.* 163蜘蛛

　　6 202.108.9.* 163蜘蛛

　　7 220.181.12.* 163蜘蛛

　　8 220.181.13.* 163蜘蛛

　　9 220.181.14.* 163蜘蛛

　　10 220.181.15.* 163蜘蛛

　　11 220.181.28.* 163蜘蛛

　　12 220.181.31.* 163蜘蛛

　　13 222.185.245.* 163蜘蛛

　　14 202.165.100.* 3721蜘蛛

　　15 220.181.19.* 百度蜘蛛

　　16 159.226.50.* 百度蜘蛛

　　17 202.108.11.* 百度蜘蛛

　　18 202.108.22.* 百度蜘蛛

　　19 202.108.23.* 百度蜘蛛

　　20 202.108.249.* 百度蜘蛛

　　21 202.108.250.* 百度蜘蛛

　　22 61.135.145.* 百度蜘蛛

　　23 61.135.146.* 百度蜘蛛

　　24 64.124.85.* become.com

　　25 61.151.243.* china蜘蛛

　　26 202.165.96.* gais.cs.ccu.edu.tw

　　27 216.239.33.* google蜘蛛

　　28 216.239.35.* google蜘蛛

　　29 216.239.37.* google蜘蛛

　　30 216.239.39.* google蜘蛛

　　31 216.239.51.* google蜘蛛

　　32 216.239.53.* google蜘蛛

　　33 216.239.55.* google蜘蛛

　　34 216.239.57.* google蜘蛛

　　35 216.239.59.* google蜘蛛

　　36 64.233.161.* google蜘蛛

　　37 64.233.189.* google蜘蛛

　　38 66.102.11.* google蜘蛛

　　39 66.102.7.* google蜘蛛

　　40 66.102.9.* google蜘蛛

　　41 66.249.64.* google蜘蛛

　　42 66.249.65.* google蜘蛛

　　43 66.249.66.* google蜘蛛

　　44 66.249.71.* google蜘蛛

　　45 66.249.72.* google蜘蛛

　　46 72.14.207.* google蜘蛛

　　47 61.135.152.* iask蜘蛛

　　48 65.54.188.* msn蜘蛛

　　49 65.54.225.* msn蜘蛛

　　50 65.54.226.* msn蜘蛛

　　51 65.54.228.* msn蜘蛛

　　52 65.54.229.* msn蜘蛛

　　53 207.46.98.* msn蜘蛛

　　54 207.68.157.* msn蜘蛛

　　55 194.224.199.* noxtrumbot

　　56 220.181.8.* Outfox

　　57 221.239.209.* Outfox

　　58 217.212.224.* psbot

　　59 219.133.40.* QQ蜘蛛

　　60 202.96.170.* QQ蜘蛛

　　61 202.104.129.* QQ蜘蛛

　　62 61.135.157.* QQ蜘蛛

　　63 219.142.118.* sina蜘蛛

　　64 219.142.78.* sina蜘蛛

　　65 61.135.132.* sohu蜘蛛

　　66 220.181.26.* sohu蜘蛛

　　220.181.19.*

　　67 61.135.158.* tom蜘蛛

　　68 66.196.90.* yahoo蜘蛛

　　69 66.196.91.* yahoo蜘蛛

　　70 68.142.249.* yahoo蜘蛛

　　71 68.142.250.* yahoo蜘蛛

　　72 68.142.251.* yahoo蜘蛛

　　73 202.165.102.* yahoo中國蜘蛛

　　74 202.160.178.* yahoo中國蜘蛛

　　75 202.160.179.* yahoo中國蜘蛛

　　76 202.160.180.* yahoo中國蜘蛛

　　77 202.160.181.* yahoo中國蜘蛛

　　78 202.160.183.* yahoo中國蜘蛛

　　79 72.30.101.* yahoo蜘蛛

　　80 72.30.102.* yahoo蜘蛛

　　81 72.30.103.* yahoo蜘蛛

　　82 72.30.104.* yahoo蜘蛛

　　83 72.30.107.* yahoo蜘蛛

　　84 72.30.110.* yahoo蜘蛛

　　85 72.30.111.* yahoo蜘蛛

　　86 72.30.128.* yahoo蜘蛛

　　87 72.30.129.* yahoo蜘蛛

　　88 72.30.131.* yahoo蜘蛛

　　89 72.30.133.* yahoo蜘蛛

　　90 72.30.134.* yahoo蜘蛛

　　91 72.30.135.* yahoo蜘蛛

　　92 72.30.216.* yahoo蜘蛛

　　93 72.30.226.* yahoo蜘蛛

　　94 72.30.252.* yahoo蜘蛛

　　95 72.30.97.* yahoo蜘蛛

　　96 72.30.98.* yahoo蜘蛛

　　97 72.30.99.* yahoo蜘蛛

　　98 74.6.74.* yahoo蜘蛛

　　99 202.108.4.* 中搜蜘蛛

　　100 202.108.4.* 中搜蜘蛛

　　101 202.108.33.* 中搜蜘蛛

　　102 202.96.51.* 中搜蜘蛛

　　103 219.142.53.* 中搜蜘蛛

轉(zhuǎn)發(fā)請注明：丁丁貓

• 上一篇
• 下一篇