Robots文件寫法+3個(gè)實(shí)戰(zhàn)經(jīng)驗(yàn)分享 小白看過來
  • 更新時(shí)間:2024-10-28 00:18:38
  • 建站經(jīng)驗(yàn)
  • 發(fā)布時(shí)間:2年前
  • 411

最近看到高端SEO社群里有同學(xué)討論Robots相關(guān)問題,我們從實(shí)戰(zhàn)的角度,給大家講講怎么寫Robots寫法,以及在實(shí)戰(zhàn)中可能遇到的問題,都給大家講一下!希望可以幫助更多不懂的同學(xué)!

Robots定義

什么是Robots,簡(jiǎn)單來講,其實(shí)Robots就是放在網(wǎng)站根目錄下的一個(gè)TXT文件,但是這個(gè)TXT文件對(duì)搜索引擎規(guī)定,哪些頁面可以訪問,哪些頁面不行。

Robots一般放在網(wǎng)站根目錄下,文件名固定為robots.txt的(全部小寫)、當(dāng)搜索引擎要爬取我們網(wǎng)站的時(shí)候,會(huì)先讀一下robots.txt里面的內(nèi)容,判斷哪些URL可以訪問,哪些不行,然后進(jìn)行爬取、收錄。


Robots規(guī)則

常用的幾類語法:

User-agent: 定義搜索引擎的類型

google蜘蛛:googlebot

百度蜘蛛:baiduspider

yahoo蜘蛛:slurp

alexa蜘蛛:ia_archiver

msn蜘蛛:msnbot

Disallow: 定義禁止搜索引擎收錄的地址

舉個(gè)例子來講:User-agent: * Disallow: /

禁止所有搜索引擎訪問網(wǎng)站,(*)為通配符

Allow: 定義允許搜索引擎收錄的地址

User-agent: * Disallow: /a/ Allow: /a/b

如上面例子,限制搜索引擎抓取a目錄,但允許搜索引擎抓取a目錄下的b目錄

$通配符

User-agent: * Allow: .htm$

匹配URL結(jié)尾的字符。如下面代碼將允許蜘蛛訪問以.htm為后綴的URL:

*通配符

User-agent: * Disallow: /*.htm

告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止所有蜘蛛抓取所有htm文件:

Sitemaps位置

Sitemap: http://www.xxx.com/sitemap.xml

Robots心得

1、許多朋友都喜歡讓搜索引擎不抓取自己的后臺(tái),于是將自己的后臺(tái)地址寫到robots.txt里面,其實(shí)個(gè)人不建議這樣做,因?yàn)榭紤]到網(wǎng)絡(luò)安全,許多Hack都喜歡通過robots.txt看大家的后臺(tái),方便攻擊!

2、網(wǎng)站必須要有robots.txt,如果網(wǎng)站沒有robots.txt,搜索引擎隨意抓取的話,可能會(huì)抓取到一些低質(zhì)量頁面,從而導(dǎo)致網(wǎng)站收錄、流量受到影響,如上圖是沒有robots.txt。

3、當(dāng)我們做完robots.txt后,一定要去【百度站長(zhǎng)工具平臺(tái)】抓取、測(cè)試robots.txt,以及測(cè)試URL是否可以抓取。


我們專注高端建站,小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開發(fā)、各類API接口對(duì)接開發(fā)等。十余年開發(fā)經(jīng)驗(yàn),每一個(gè)項(xiàng)目承諾做到滿意為止,多一次對(duì)比,一定讓您多一份收獲!

本文章出于推來客官網(wǎng),轉(zhuǎn)載請(qǐng)表明原文地址:https://www.tlkjt.com/experience/7521.html
推薦文章

在線客服

掃碼聯(lián)系客服

3985758

回到頂部