<blockquote id="22ud3"><u id="22ud3"></u></blockquote>
  • <label id="22ud3"></label>

    <small id="22ud3"><delect id="22ud3"></delect></small>

  • SEO

    了解最新SEO技術,學習前沿互聯網營銷干貨

    立即咨詢

    robots文件的內容都代表什么?(robot是什么文件)

    • 瀏覽:509
    • 時間:2022-07-18
    • 作者:SEO網站優化
    很對站長朋友在對網站開始進行優化之前,會忽略非常重要的一點,就是網站上的robots文件,robots文件的作用是告訴搜索引擎蜘蛛,這個網站上什么內容是可以抓取的,哪些內容是禁止抓取的。當robots文件制作完成之后,放在網站ftp的跟目錄之下,就搞定了。那么,robots文件里寫的各種內容,都是代表了什么樣的含義呢?下面我們就來了解一下吧!User-agent禁止訪問抓取系列:User-agent:*這里的*好是通配符,意指所有的搜索引擎都可以抓取,包括百度、搜狗、360等等Disallow:/意思是禁止蜘蛛抓取該網站的任何目錄Disallow:/123意思是禁止蜘蛛抓取該網站的123以及123層級之下的所有內容Disallow:/123/意思是禁止蜘蛛抓取123層級之下的所有內容,但是可以抓取123頁面的內容Disallow:/*.png意思是禁止蜘蛛抓取網站上所有png格式的圖片,想要禁止抓取其它格式也是這樣書寫,比如想要禁止抓取網站jpg格式的圖片,書寫方式為Disallow:/*.jpgDisallow:/123/*.png禁止蜘蛛訪問123層次下的png圖片,其他格式也是同樣的書寫方式Disallow:/*?*禁止蜘蛛抓取網站上所有的動態url頁面Disallow:/123/*?*禁止蜘蛛抓取網站上123目錄下的所有動態頁面,不影響抓取網站123目錄中的其它內容Allow允許抓取訪問系列:Allow的意思是允許蜘蛛訪問抓取的意思,在寫robots文件的時候一定要注意一件事,就是在書寫的時候,一定要將allow放在disallow前面,才能不受disallow的影響,其它的寫法參考disallow的書寫方式,這里就不湊字數了。有一點注意事項,大家在使用的時候一定要注意,robots文件名稱一定要小寫的,不要大寫。有了完整的robots文件,搜索引擎在抓取的時候才會更加的方便,利于對網站的提升。


    電話咨詢
    18181772335
    QQ咨詢
    45919655
    微信咨詢
    回到頂部
    中文中文字字幕在线无码