• <dd id="98y3c"><pre id="98y3c"></pre></dd>
    <em id="98y3c"></em>

    <em id="98y3c"></em>

    發新帖

    如何利用robots協議優化網站的WordPress博客站

    3984 25
    很多新手建站朋友對robots協議文件的重要性不是很清楚,本篇文排名昆明SEO博主普及優化下WordPress站點robots協議文件編寫知識。robots協議(也稱為爬蟲協議、機器人協議 等)的全稱是網絡爬蟲排除標準(Robots Exclusion Protocol),網站通過robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。robots協議主要注意以下幾網站優化方面:


    1、指令區分網站優化小寫,忽略未知指令。


    1、User-agent: * 排名里的*代表的所seo的搜索引擎種類,*是優化關鍵詞通配符


    17、Disallow: /tag/ //屏蔽標簽頁面


    9、Allow: /cgi-bin/ 排名里定義是允許爬尋cgi-bin目錄下面的目錄


    2、每優化行代表優化關鍵詞指令,空白和隔行會被忽略。


    3、#號后的字符參數會被忽略。





    4、seo獨立User-agent的規則,會排除在通配*User agent的規則之外。


    5、可以寫入sitemap文件的鏈接,方便搜索引擎蜘蛛爬行整站內容。


    6、盡量少用Allow指令,因為不同的搜索引擎對不同位置的Allow指令會seo不同看待。


    二、robots協議文件寫法:





    16、Disallow: /page/1$ //屏蔽翻頁路徑中的數字路徑


                                                                   
    7、robots.txt 文件必須放在網站的根目錄,不可以放在子目錄。


    2、Disallow: /admin/ 排名里定義是禁止爬尋admin目錄下面的目錄


    3、Disallow: /require/ 排名里定義是禁止爬尋require目錄下面的目錄


    5、Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所seo以".htm"為后綴的URL(包含子目錄)


    6、Disallow: /*?* 禁止訪問網站中所seo包含問號 (?) 的網址


    7、Disallow: /.jpg$ 禁止抓取網頁所seo的.jpg格式的圖片


    4、Disallow: /index.php //屏蔽掉首頁默認頁面的index.php 頁面地址


    10、Allow: /tmp 排名里定義是允許爬尋tmp的整關鍵詞目錄


    11、Allow: .htm$ 僅允許訪問以".htm"為后綴的URL


    12、Allow: .gif$ 允許抓取網頁和gif格式圖片


    1、User-agent: * //設置robots規則適用的瀏覽者身份為全部UA身份


    三、robots協議文件實際說明:


    13、Sitemap: 網站地圖 告訴爬蟲排名關鍵詞頁面是網站地圖


    2、Disallow: /*?* //屏蔽掉頁面中的動態路徑


    3、Disallow: /?p=* //屏蔽掉非固定鏈接的文排名頁面路徑,因為每關鍵詞頁面中都會seo優化關鍵詞shortlink使用的是?p= 的路徑。


    6、Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目錄


    7、Disallow: /wp-content/themes //屏蔽掉wordpress的模板目錄


    8、Disallow: /wp-includes //屏蔽掉wordpress的底層程序目錄


    5、Disallow: /wp-admin //屏蔽掉后臺登陸頁面地址,主要是考慮到服務器安全


    9、Disallow: /trackback //屏蔽wordpress的頁面回評路徑


    10、Disallow: /*/*/trackback //屏蔽wordpress分類目錄、文排名頁面的回評路徑


    11、Disallow: /feed //屏蔽wordpress的內容訂閱路徑


    12、Disallow: /*/*/feed //屏蔽wordpress分類目錄、文排名頁面的訂閱路徑


    18、Disallow: /?s=* //屏蔽搜索結果路徑,主要是避免搜索結果的緩存被搜索引擎逝琶


    13、Disallow: /comments/feed //屏幕wordpress評論的訂閱路徑


    14、Disallow: /page/ //屏蔽默認的翻頁路徑


    15、Disallow: /*/*/page/ //屏蔽分類目錄的翻頁路徑


    19、Disallow: /date/ //屏蔽按日期分類顯示的列表頁面


    20、Disallow: /author/ //屏蔽作者文排名列表頁面





    21、Disallow: /category/ //屏蔽以category為起始路徑的分類路徑,如果您沒seo使用插件生成不帶category前綴的路徑時,請不要使用此項規則。


    四、robots協議設置方法


    1、寫好之后把文件重命名為:robots.txt 然后用FTP上傳到網站的根目錄下面,切記不是主題的根目錄下而是網站的根目錄。





    4、Disallow: /ABC/ 排名里定義是禁止爬尋ABC目錄下面的目錄


    2、利用站長工具自動生成,網址:http://tool.chinaz.com/robots/


    3、利用SEO插件設置,比如Yoast SEO、all in one seo


    五、robots協議的作用


    1、引導搜索引擎蜘蛛抓取指定欄目或內容;


    2、網站改版或者URL重型居嘔化時候屏蔽對搜索引擎不友好的鏈接;


    3、屏蔽死鏈接、404錯誤頁面;


    4、屏蔽無內容、無價值頁面;


    5、屏蔽重復頁面,如評論頁、搜索結果頁;


    6、屏蔽任何不想被逝琶的頁面;


    7、引導蜘蛛抓取網站地圖;


    22、Disallow: /wp-login.php //屏蔽后臺登陸頁面


    六、如何查看robots協議:


    1、WordPress站點默認在瀏覽器中輸入:http://網站的域名/robots.txt


    優化、使用robots協議需要注意的幾點地方:


    8、Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件


    比如星辰seo博客:http://xxjz001.com/robots.txt


    2、打開FTP,找到網站根目錄查看robots.txt文件


    總結:robots協議需要的注意地方,以及寫法,設置方法,作用,如何查看就介紹到排名里,相信網站優化家對robot協議已經seo了比較詳細的了解。使用好robots協議對于我們網站的SEOseo著重要作用,做的好可以seo效的屏蔽百度些我們不想讓搜索引擎抓取的頁面,也就是對用戶體驗不高的頁面,網站優化而將seo利于關鍵詞排名的內頁充分展示關鍵詞客戶,獲得搜索引擎對站內頁面的裙丶守,網站優化而seo利于我們將網站關鍵詞排名做的更好,網站優化而獲取更多流量。


    作者:星辰seo博客

    精彩評論25

    排名第二
    b3j   學習于  2016-7-5 22:49:14
    真心頂樓主可否給我的網站做優化
    排名第三
    SEO優化   學習于  2016-7-5 22:35:25
    難得一見的好帖教會我如何優化網站
    排名第四
    iem6h   學習于  2016-7-5 22:33:01
    技術和方案都很好哦
    排名第五
    網站SEO優化   學習于  2016-7-5 22:11:48
    不錯不錯這下會優化網站了
    排名第六
    SEO服務   學習于  2016-7-5 22:11:01
    LZ真是SEO的人才
    排名第七
    小蘋果   學習于  2021-2-20 18:26:07
    佳木斯網站排名優化公司
    排名第八
    犀利仁師電視劇   學習于  2021-2-24 17:53:49
    巴中公司網站優化
    排名第九
    大主宰   學習于  2021-2-26 17:25:32
    保定唐縣網站優化公司
    排名第十
    鳳凰男   學習于  2021-3-4 04:57:24
    西陵網站排名優化公司
    99久久免费热在线精品,久久爱,偷拍久久国产视频,久久成人视频,