通過網(wǎng)站日志可以清楚的得知用戶在什么IP、什么時間、用什么操作系統(tǒng)、什么瀏覽器、什么分辨率顯示器的情況下訪問了你網(wǎng)站的哪個頁面，是否訪問成功。對于專業(yè)從事搜索引擎優(yōu)化工作者而言，網(wǎng)站日志可以記錄各搜索引擎蜘蛛機器人爬行網(wǎng)站的詳細情況，例如：哪個IP的百度蜘蛛機器人在哪天訪問了網(wǎng)站多少次，訪問了哪些頁面，以及訪問頁面時返回的HTTP狀態(tài)碼。

常見的蜘蛛名稱：

Baiduspider：百度蜘蛛

Baiduspider-Image：百度圖片蜘蛛

Googlebot：谷歌機器人

Googlebot-Image：谷歌圖片機器人

360Spider：360蜘蛛

sogou spider：搜狗蜘蛛

網(wǎng)站日志數(shù)據(jù)分析

1、網(wǎng)站日志中數(shù)據(jù)量過大，所以我們一般需要借助網(wǎng)站日志分析工具來查看。常用的日志分析工具有：光年日志分析工具、web log exploer、愛站工具包等。

117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE 8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"

分析：

117.26.203.167訪問ip

02/May/2011:01:57:44 -0700訪問日期 -時區(qū)

GET/index.php HTTP/1.1根據(jù)HTTP/1.1協(xié)議抓取(域名下)/index.php這個頁面(GET表示服務(wù)器動作)

500服務(wù)器響應(yīng)狀態(tài)碼

服務(wù)器響應(yīng)狀態(tài)碼通常狀態(tài)碼有以下幾種：200,301,302,304,404,500等。200代表用戶成功的獲取到了所請求的文件，如果是搜索引擎，則證明蜘蛛在這次爬行中順利的發(fā)現(xiàn)了一些新的內(nèi)容。而301則代表用戶所訪問的某個頁面url已經(jīng)做了301重定向(永久性)處理，302則是暫時性重定向。404則代表所訪問的頁面已經(jīng)不存在了，或者說訪問的url根本就是個錯誤的。500則是服務(wù)器的錯誤。

19967表示抓取了19967個字節(jié)

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar表示訪問者使用火狐瀏覽器及Alexa Toolbar等訪問端信息

2、如果你的日志里格式不是如此，則代表日志格式設(shè)置不同。

3、很多日志里可以看到 200 0 0和200 0 64則都代表正常抓取。

4、抓取頻率是通過查看每日的日志里百度蜘蛛抓取次數(shù)來獲知。抓取頻率并沒有一個規(guī)范的時間表或頻率數(shù)字，我們一般通過多日的日志對比來判斷,當然，我們希望百度蜘蛛每日抓取的次數(shù)越多越好。

5、有時候我們的路徑不統(tǒng)一出現(xiàn)帶斜杠和不帶斜杠的問題，蜘蛛會自動識別為301跳轉(zhuǎn)到帶斜杠的頁面，這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的，所以我們要對我們的目錄進行統(tǒng)一。

6、我們分析日志分析時間長了，我們能夠看出蜘蛛的抓取規(guī)律，同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來，這些抓取頻率間隔時間是蜘蛛根據(jù)網(wǎng)站權(quán)重和網(wǎng)站更新頻率來自動確定的。

7、蜘蛛對于我們的頁面的抓取是分等級的，是根據(jù)權(quán)重依次遞減的，一般順序為首頁、目錄頁、內(nèi)頁。

通過網(wǎng)站日志我們能知道什么？

1、我們買的空間是否能夠穩(wěn)定?

2、蜘蛛對我們的那些頁面比較喜歡而對哪些不喜歡?

3、蜘蛛什么時候抓取我們的網(wǎng)站頻繁，我們需要什么時候更新內(nèi)容。