網站robots文件是放在網站根目錄下的一個txt文檔文件。這個文件的作用就是規定搜索引擎蜘蛛不能抓取我們網站的哪些東西/哪些文件。（默認是全部抓取，robots寫的規則大部分都是規定蜘蛛不讓抓取什麼東西）
當搜索引擎蜘蛛來到我們網站的時候，robots文件是蜘蛛第一個訪問的文件。
需要注意：robots文件寫入後不會馬上生效，生效週期大約1個月左右！
【夜行SEO：90後Seoer，正在學習階段，不定期發佈學習後的感想和知識經驗，歡迎大家一起交流學習。】
分享到:
閱讀更多 IT界的小白 的文章
