編輯點評:網站管理分析工具
日志蜘蛛分析大師是一款非常好用的網站管理分析工具,能夠幫助站長分析服務器日志的蜘蛛爬行紀錄的軟件,一鍵就能開始統計數據,并且還能用于執行導出,我們就可以以此為基礎對網站進行優化,以提高曝光率
軟件功能
該程序支持分析服務器日志得到關于IP/PV和各種蜘蛛的爬行記錄,支持六大蜘蛛,支持24小時分析。
您可以直接導入.log日志文件進行分析。
來訪PV統計,可以自動對來訪的PV進行統計。
來訪IP統計,可以自動對來訪IP進行統計。
來訪蜘蛛統計,可自動統計來訪蜘蛛。
如何分析蜘蛛日志?
蜘蛛日志分析
什么是蜘蛛日志?
所謂的蜘蛛日志就是當搜索引擎向服務器發送請求時產生的訪問記錄文件。
每個網站都會有日志文件,但是很多時候,日志文件只有在網站出現問題的時候才會被查閱。在seo方面,日志文件是更容易被忽略的一塊,但是日志文件對于seo來說事非常重要的,我們可以在日志文件中獲取各種信息并發現網站存在的一些問題。
日志可以去哪里拿到?
日志文件一般是在wwwlog或者log這樣的文件夾里面可以下載。
分析主要用什么工具?
python和loghao
在日志中可以查看哪些數據?
1.客戶端的IP地址
2.訪問時間
3.查看http狀態碼
4.請求方式等等
查看蜘蛛日志常用的一些命令
1.cat access.log | grep Baiduspider 命令來獲取百度蜘蛛的詳細爬取記錄
2.cat access.log | grep Baiduspider | wc -l 命令來統計百度蜘蛛的爬取次數
3.cat access.log | grep Baiduspider | grep "GET url" 來統計百度蜘蛛爬取某個頁面的記錄,命令中的url為頁面的相對地址。
grep指令用于查找內容包含指定的范本樣式的文件,如果發現某文件的內容符合所指定的范本樣式,預設grep指令會把含有范本樣式的那一列顯示出來。若不指定任何文件名稱,或是所給予的文件名為-,
則grep指令會從標準輸入設備讀取數據。在分析日志的時候使用該工具,可以精確找出我們想看的日志內容,減少篩選時間,提升自身的工作效率。可以根據我們實際的場景,輸入關鍵詞來過濾日志。
蜘蛛日志有何作用?
1.通過對蜘蛛日志的分析,我們可以知道蜘蛛是否對站點進行了抓取,以及抓取是否成功,判斷抓取資源是否被浪費,也可以判斷我們的網站是否符合搜索引擎的抓取規范,找到抓取失敗的原因。
2.如果某個頁面被蜘蛛頻繁地抓取,我們可以對這個頁面做一些調整(比如布局),可以在頁面中添加一些鏈接。但有些頻繁地抓取是蜘蛛惡意的抓取,如果蜘蛛的訪問頻率過高,很可能會影響正常服務的運行,
通過對蜘蛛日志的分析,可以發現惡意蜘蛛的足跡,然后可以限制蜘蛛的訪問頻率來保證服務器的穩定。
3.通過分析日志文件,我們可以發現蜘蛛的訪問路徑,有次我們可以優化我們的站點結構。
總結:利用日志我們可以挖掘到很多的信息,我們可以通過日志中的狀態碼來分析網站是否存在問題,如是否存在死鏈,頁面失效等錯誤。我們通過日志可以發現用戶對整站頁面的訪問次數、
訪問時間以及訪問路徑,通過這些可以分析用戶的行為習慣。通過日志我們甚至可以防范惡意攻擊,因此,日志分析在做網站的過程中是必不可少的。
loghao如何分析蜘蛛抓取首頁次數呢?
如果你是iis日志,你的首頁文件名稱是“index.html”
在搜索區域,第一個輸入“ /index.html ”,第二個輸入蜘蛛名稱“Baiduspider”,或蜘蛛留下的網址。
點擊糾正即可。
如果你是apache日志,第一個輸入“ / ”即可,第二個按照iis日志輸入。
點擊糾正即可。
同樣,如果你要分析其他頁面的抓取情況,也可以在這里根據你的需求輸入,然后糾正。
你也可以點擊其他權重蜘蛛,查看輸入框的變化,根據輸入框的變化,修改你要的個性分析數據。
Baiduspider蜘蛛=220.181.108權重首頁+123.125.71低權重+123.125.68沙盒+220.181.68沙盒+220.181.7預備抓取+123.125.66預備抓取+121.14.89新站考察+203.208.60網站異常+210.72.225巡邏
123.125.68沙盒=404頁面;
220.181.68沙盒=404頁面;
123.125.71低權重=低質量內容;
220.181.108權重首頁=高質量內容;
.html>.htm>.shtml>.php>.asp>.jpg>.gif>.png>.css>.js;
200>304>301>302>404>500;
220.181.108權重首頁>123.125.71低權重>220.181.7預備抓取>123.125.68沙盒+220.181.68沙盒
熱門評論
最新評論