*
您的位置:鄭州SEO網站優化 > SEO術語 > 內容詳情

什麽是robots.txt

发布时间:2016-04-17 00:00 來源:互聯網 編輯:本站編輯 浏覽次數:61人

在網站建設過程中我們會有一部分內容不希望被搜索引擎抓取到或者不希望其在互聯網中出現,那麽要怎麽辦呢?我要怎麽跟搜索引擎說你不要抓取我的xx內容呢?這時候robots就派上用場了。

Robots.txt是存放于網站根目錄下用于規定搜索引擎對網站內容抓取範圍的文本文件,就這麽一句話可以解釋robots.txt是什麽,但是我們需要注意的幾點:

1.robots.txt必須存放在網站的根目錄下。

2.其命名必須爲robots.txt

3.Robots.txt是搜索引擎訪問網站的第一個頁面

4.Robots.txt中必須指明user-agent

以上是關于什麽是robots的說明,如果你想了解robots要多久生效,可以查看:http://seo.aizhan.com/qa/92.html

最新文章

  • 1使用自媒體平台做SEO優化成未來趨勢
  • 2直播都那麽火爲什麽還一直堅持做
  • 3百度將近一個月的瘋狂更新,今天終
  • 4洛陽優化公司教你關于搜索引擎優化
  • 5SEO從業者學習免費自助建站的三個思
  • 6洛陽seo教你怎樣才能做好SEO管理者?
  • 7图片外链有什么用 可以提高网站的排
  • 8驚爆!有關SEO文章收錄的問題,詳情
  • 9數據庫遷移造成網站兩三天內打不開
  • 10新鄉SEO感想篇:SEO基礎五要素回顧
  • 11教你通過逆向思維實施SEO達成目的
  • 12新鄉網站優化網站一直不收錄怎麽辦
  • 13新鄉SEO告訴你網站如何進行圖片搜索
  • 14新鄉SEO告訴你新站怎樣快速獲得百度
  • 15開封裝修公司案例-開封漢東裝飾設計
  • 16開封SEO案例-開封婚紗攝影工作室
  • 17開封SEO案例-蔬菜大棚,大棚骨架
  • 18開封SEO優化案例-開封大衆婚慶公司
  • 19開封優化案例-開封大衆搬家公司
  • 20開封SEO案例-開封美的空調維修