建站知識(shí)

百度VIP大講堂QA：抓取、建庫(kù)、解析

推薦：棗莊網(wǎng)站制作,棗莊seo,棗莊網(wǎng)絡(luò)公司

答：對(duì)IP，但1000萬是我舉例，不是實(shí)際的數(shù)據(jù)，這個(gè)數(shù)據(jù)不會(huì)分享出來的。

問：現(xiàn)在我的網(wǎng)站被很多蜘蛛爬，我想只讓百度蜘蛛爬，百度蜘蛛IP多少？能設(shè)白名單么？

答：百度蜘蛛IP是不斷變的，現(xiàn)在網(wǎng)上的確有一些白名單的說法，暫時(shí)是有較的，但不保證今后不會(huì)變，所以建議站點(diǎn)還是通過ua進(jìn)行判斷，我們百度站長(zhǎng)平臺(tái)上有相關(guān)的文章，你可以找一下。

問：如果我寫robots只想禁掉動(dòng)態(tài)鏈接的話，會(huì)不會(huì)影響動(dòng)態(tài)參數(shù)前面正常鏈接的抓取？

答：不會(huì)的，你原來的頁(yè)面還在，肯定會(huì)抓。

問：比如我們一個(gè)域名www.abcde.com，我們想把帶？號(hào)的url全部禁掉，首頁(yè)我們不要禁掉，怎么弄？

答：?前面有個(gè)*，后面再有個(gè)*就可以了。

問：我想了解，如果我現(xiàn)在收錄有5萬，大概多長(zhǎng)時(shí)間才能把我原來收錄5萬重新抓取一遍？

答：不同站點(diǎn)不好說，一個(gè)是你站點(diǎn)做的很好，知名度很響更新很快質(zhì)量很好就會(huì)快；如果你的站點(diǎn)默默無聞，貢獻(xiàn)很少，可能就會(huì)很慢。

（接上個(gè)問題）

問：就是差不多的情況，大概。

答：這個(gè)沒有人能估出來。

問：百度站長(zhǎng)平臺(tái)上有數(shù)據(jù)提交的工具，我們實(shí)時(shí)提交，你們也會(huì)實(shí)時(shí)抓取嗎？

答：不會(huì)，他會(huì)有一層判斷。現(xiàn)在只是通知你提交成功，后面什么時(shí)候抓，什么時(shí)候建庫(kù)沒有，我們正在研究要不要把這個(gè)分享出來。

問：我網(wǎng)站有一些列表頁(yè)，都沒有鏈接，擔(dān)心百度抓不到

答：現(xiàn)在百度站長(zhǎng)平臺(tái)的站內(nèi)搜索工具有一個(gè)綠色收錄通道，在那里提交種子頁(yè)，我們就知道的。

（接上個(gè)問題）

問：提交種子頁(yè)面必須要用站搜？

答：是的。

問：如果說頁(yè)面里url特別多的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取？

答：不會(huì)，他都會(huì)一個(gè)不漏給你提出來，但會(huì)把JS、CSS這樣的鏈接給過濾掉。但請(qǐng)注意，全部抓取過來之后會(huì)進(jìn)行篩選，并不是所有都會(huì)建庫(kù)。

問：現(xiàn)在很多網(wǎng)站都有自己的站內(nèi)搜索，都會(huì)產(chǎn)生站內(nèi)搜索結(jié)果頁(yè)，百度不喜歡搜索結(jié)果頁(yè)的話，我們用這個(gè)會(huì)不會(huì)對(duì)我們有影響？只是不喜歡還是對(duì)我們網(wǎng)站會(huì)有懲罰

答：蜘蛛會(huì)去抓，抓完之后重要是提取里面的鏈接。如果只有一兩條這樣的頁(yè)面質(zhì)量不好問題不大，如果整體質(zhì)量較差，有可能受到懲罰。


上一頁(yè) [1] [2] [3] 下一頁(yè)

錄入時(shí)間：2014/12/16 Hits:11779