今天給大家介紹一個可能大家不太熟悉，功能卻非常強大的，只流傳于SEO大神之間的一個工具：ScreamingFrogSEOSpider，ScreamingFrogSEOSpider官網(wǎng)&下載地址：

http://www.screamingfrog.co.uk/seo-spider/

ScreamingFrogSEOSpider功能簡介

 ScreamingFrogSEOSpider搜索引擎蜘蛛爬行工具&報告如下：

    HTTP錯誤代碼——客戶端錯誤等失效鏈接&服務(wù)器錯誤(5沒有反應(yīng),4 xx,xx)。

    重定向——永久或臨時重定向(3 xx響應(yīng))。

    外部鏈接，外部鏈接和他們的狀態(tài)碼。

    協(xié)議- url是否安全(HTTPS)或不安全的(HTTP)。

    URI問題——非ASCII字符,下劃線,大寫字符,參數(shù),或長url。

    重復(fù)的頁面-散列值/ MD5checksums算法檢查準(zhǔn)確復(fù)制頁面。

    頁面標(biāo)題——失蹤的,重復(fù)的,超過65個字符,短,像素寬度截斷,h1一樣,或多個。

    元描述——失蹤,重復(fù),超過156個字符,短,截斷或多個像素寬度。

    元關(guān)鍵字——主要是供參考,因為他們沒有使用谷歌、必應(yīng)(Bing)或者雅虎。

    文件大小——網(wǎng)址和圖片的大小。

    響應(yīng)時間。

    last – modified頭。

    頁面深度的水平。

    字?jǐn)?shù)。

    H1 -失蹤、復(fù)制、超過70個字符,多個。

    H2 -失蹤、復(fù)制、超過70個字符,多個。

    noindex元機器人——指數(shù),效仿,nofollow,noarchive,nosnippet,noodp,noydir等等。

    Meta刷新——包括目標(biāo)頁面和時間延遲。

    規(guī)范link元素和規(guī)范的HTTP標(biāo)頭。

    X-Robots-Tag。

    rel = “下一個”和rel = “上一頁”。

    AJAX的SEO AJAX爬行蜘蛛遵循谷歌的計劃。

    Inlinks——所有頁面鏈接到一個URI。

    Outlinks——所有頁面鏈接到URI。

    錨文本,鏈接文本。Alt文本圖像的鏈接。

    遵循& Nofollow——在頁面和鏈接(真/假)。

    圖像——所有uri與圖像&所有圖像從一個給定的頁面的鏈接。圖片大小超過100 kb,丟失的alt文本,alt文本超過100個字符。

    用戶代理切換器——Googlebot爬行,Bingbot,雅虎!發(fā)出聲音,移動用戶代理或您自己的自定義UA。

    重定向鏈,發(fā)現(xiàn)重定向鏈和循環(huán)。

    自定義源代碼搜索——搜索引擎蜘蛛可以找到任何你想要在一個網(wǎng)站的源代碼!無論是谷歌分析代碼,具體的文本,或代碼等。(請注意,這不是一個數(shù)據(jù)提取或刮特性。)

    XML網(wǎng)站地圖生成器——你可以創(chuàng)建一個XML站點地圖和圖像地圖使用SEO蜘蛛。

ScreamingFrogSEOSpider使用方法

ScreamingFrogSEOSpider使用起來非常方便，只需要輸入你網(wǎng)站首頁的URL，然后點Start就行了，靜待爬取完成，就可以看各種詳細(xì)的數(shù)據(jù)了。

下圖以提取我博客的整站URL為例子，給大家展示一下效果：

紅框1處這些選項卡，依次給大家翻譯一下吧：內(nèi)部鏈接、外部鏈接、HTTP協(xié)議（HTTP或者HTTPS）、HTTP狀態(tài)碼（200、3XX、4XX、5XX）、URI（注意不是URL，URI是Uniform Resource Identifier，統(tǒng)一資源標(biāo)識符；URL：Uniform Resource Locator，統(tǒng)一資源定位符；想知道更多自己百度去）、頁面title標(biāo)簽、頁面description標(biāo)簽、頁面keywords標(biāo)簽、頁面H1標(biāo)簽、頁面H2標(biāo)簽、站內(nèi)圖像、頁面鏈接指向、使用了AJAX技術(shù)的鏈接、用戶自定義的過濾規(guī)則。

紅框2處：點擊之后，會看到我們首頁的一些信息，比如紅框4處的，首頁上的導(dǎo)入鏈接有哪些，紅框3處，是ScreamingFrogSEOSpider提取到的整站的鏈接數(shù)量，結(jié)合site指令，就能知道我們網(wǎng)站的大概整站收錄情況了。

通過上面的解釋，相信你已經(jīng)了解這個工具的強大之處了吧！那么接下來你關(guān)心的可能是這個工具是收費的還是免費的呢？

通過官網(wǎng)的介紹，我們知道了，我們可以自由下載使用該軟件，只不過免費版本只能爬取整站的500個URL，如果是小企業(yè)站，已經(jīng)是足夠了，如果是大站，可以考慮購買一個，一年收費99英鎊起，約合人民幣972元（感謝seolabs留言指正：）），對于玩大站的朋友來說，簡直是太便宜了，哈哈！

你以為文章寫到這兒就該結(jié)束了是嗎？如果你這樣想，那就錯了！方法博客只為分享有價值的文章而生，所以，今天就送一個價值694元的大禮給有幸看到這篇文章的朋友！那就是：（瞪大眼睛了！）

ScreamingFrogSEOSpider注冊碼！可以使用一年！

為方便大家COPY，我粘到這兒來：

Username：gn168

Licence Key:20D8E5C5AF-1467881526-81359030D5

揚揚編輯，來自：http://seofangfa.com/seo-tool/screaming-frog-seo-spider.html