網(wǎng)站建設(shè)過程中那些情況可能會(huì)導(dǎo)致死鏈接
  • 更新時(shí)間:2024-12-23 15:38:48
  • 建站經(jīng)驗(yàn)
  • 發(fā)布時(shí)間:2年前
  • 458

新手站長(zhǎng)在網(wǎng)站建設(shè)的時(shí)候,因?yàn)橐恍┎僮鳎瑢?dǎo)致正常的網(wǎng)站無法被搜索引擎爬蟲訪問,進(jìn)而使搜索引擎認(rèn)為該頁面是死鏈接。除了頁面無法打開,一下的幾個(gè)點(diǎn)都可以導(dǎo)致網(wǎng)站死鏈的產(chǎn)生。


以下小編就給出一些死鏈的產(chǎn)生情況,本次文章素材來自百度公開課搜索引擎課程,具備相對(duì)的權(quán)威性。其他搜索引擎同樣可以參考該篇文章來進(jìn)行設(shè)置。


減少死鏈的產(chǎn)生,是從事SEO工作工作者必修課。

HTTP/HTTPS設(shè)置不當(dāng)引起死鏈

問題場(chǎng)景:

1.HTTP可訪問 ,HTTPS不可訪問

2.HTTP不可訪問 ,HTTPS可訪問

建議:

整站行為一致,保證所有的URL正常訪問,另外百度方面不建議HTTP與HTTPS共生。

封禁引起死鏈


問題場(chǎng)景:

1.用戶可以正常訪問,爬蟲不能。(爬蟲抓取的是錯(cuò)誤的頁面)

一些網(wǎng)站因?yàn)樘厥庑裕瑢?dǎo)致用戶可以正常訪問,但是當(dāng)爬蟲訪問時(shí),卻返回一個(gè)錯(cuò)誤的頁面。


2.PC端可訪問,搜索引擎APP不能訪問

搜索引擎爬蟲可以訪問PC端頁面,但是不能訪問APP。百度官方的公開課說到這個(gè)APP訪問,暗指是支持APP內(nèi)訪問的一個(gè)分析,來作為一個(gè)綜合評(píng)估參考。所以,不屏蔽百度APP對(duì)網(wǎng)站的訪問。


3.DNS封禁

有些特定的DNS服務(wù)商會(huì)封禁搜索引擎爬蟲來抓取域名的內(nèi)容。這種在少數(shù),畢竟目前主流域名廠商,已經(jīng)主流的DNS廠商都沒有做DNS封禁。


4.服務(wù)器站點(diǎn)策略封禁

有些服務(wù)器自帶的安全策略會(huì)屏蔽百度蜘蛛的抓取,這種情況會(huì)產(chǎn)生死鏈(網(wǎng)頁URL鏈接,但是無內(nèi)容)。當(dāng)這種情況在整個(gè)網(wǎng)站出現(xiàn),會(huì)導(dǎo)致搜索引擎判斷網(wǎng)站為一個(gè)劣質(zhì)網(wǎng)站。會(huì)被降權(quán)。


建議:

合理的使用站長(zhǎng)資源工具,來診斷站點(diǎn)是否能正常抓取

識(shí)別百度爬蟲(雙向DNS解析認(rèn)證)解除封禁

對(duì)spider不公開內(nèi)容設(shè)置robots協(xié)議封禁/設(shè)置死鏈,導(dǎo)致返回404

不建議使用額外的技術(shù)手段封禁百度爬蟲。

對(duì)百度APP可以訪問

DNS變更引起死鏈


問題場(chǎng)景:

站點(diǎn)更新DNS解析,將域名的IP變更,IP1變?yōu)镮P2,中間有時(shí)間差。

當(dāng)站點(diǎn)的更換域名解析的IP后,因?yàn)橛行〥NS并不能做到立即響應(yīng)解析(一般為24小時(shí))。我們拿24小時(shí)為例,中間有曾時(shí)間差,導(dǎo)致搜索引擎蜘蛛無法抓取,會(huì)評(píng)定為死鏈。

這個(gè)時(shí)候可以預(yù)留4-5天的緩存期,讓爬蟲來更新這個(gè)DNS


建議:

更換DNS后,使用站長(zhǎng)資源平臺(tái)工具來抓取測(cè)試,查看網(wǎng)站是否能正常抓取。

不建議頻繁更換DNS的IP,如必須變更請(qǐng),給爬蟲抓取預(yù)留緩沖時(shí)間。


我們專注高端建站,小程序開發(fā)、軟件系統(tǒng)定制開發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開發(fā)、各類API接口對(duì)接開發(fā)等。十余年開發(fā)經(jīng)驗(yàn),每一個(gè)項(xiàng)目承諾做到滿意為止,多一次對(duì)比,一定讓您多一份收獲!

本文章出于推來客官網(wǎng),轉(zhuǎn)載請(qǐng)表明原文地址:https://www.tlkjt.com/experience/7503.html
推薦文章

在線客服

掃碼聯(lián)系客服

3985758

回到頂部