加載中...
首頁專利查詢專利詳情

*來源于國家知識(shí)產(chǎn)權(quán)局?jǐn)?shù)據(jù)，僅供參考，實(shí)際以國家知識(shí)產(chǎn)權(quán)局展示為準(zhǔn)

爬蟲種子獲取方法與設(shè)備及爬蟲爬取方法與設(shè)備

發(fā)明專利有效專利
  • 申請(qǐng)?zhí)枺?/span>
    CN201110232595.X
  • IPC分類號(hào)：H04L29/08;G06F17/30
  • 申請(qǐng)日期：
    2011-08-15
  • 申請(qǐng)人：
    北京星網(wǎng)銳捷網(wǎng)絡(luò)技術(shù)有限公司
著錄項(xiàng)信息
專利名稱爬蟲種子獲取方法與設(shè)備及爬蟲爬取方法與設(shè)備
申請(qǐng)?zhí)?/td>CN201110232595.X申請(qǐng)日期2011-08-15
法律狀態(tài)授權(quán)申報(bào)國家暫無
公開/公告日2012-02-15公開/公告號(hào)CN102355488A
優(yōu)先權(quán)暫無優(yōu)先權(quán)號(hào)暫無
主分類號(hào)H04L29/08IPC分類號(hào)H;0;4;L;2;9;/;0;8;;;G;0;6;F;1;7;/;3;0查看分類表>
申請(qǐng)人北京星網(wǎng)銳捷網(wǎng)絡(luò)技術(shù)有限公司申請(qǐng)人地址
北京市海淀區(qū)復(fù)興路29號(hào)中意鵬奧酒店東塔A座12層 變更 專利地址、主體等相關(guān)變化，請(qǐng)及時(shí)變更，防止失效
權(quán)利人北京星網(wǎng)銳捷網(wǎng)絡(luò)技術(shù)有限公司當(dāng)前權(quán)利人北京星網(wǎng)銳捷網(wǎng)絡(luò)技術(shù)有限公司
發(fā)明人吳濱華;王祖海
代理機(jī)構(gòu)北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司代理人李勇
摘要
本發(fā)明提供一種爬蟲種子獲取方法與設(shè)備及爬蟲爬去方法與設(shè)備。爬蟲種子獲取方法包括：根據(jù)預(yù)設(shè)檢索詞詞典和目標(biāo)導(dǎo)航網(wǎng)站的URL特性，構(gòu)造動(dòng)態(tài)頁面請(qǐng)求；將動(dòng)態(tài)頁面請(qǐng)求發(fā)送給目標(biāo)導(dǎo)航網(wǎng)站的服務(wù)器；根據(jù)預(yù)設(shè)提取策略，從服務(wù)器根據(jù)動(dòng)態(tài)頁面請(qǐng)求返回的檢索結(jié)果頁面中提取目標(biāo)URL，目標(biāo)URL為檢索結(jié)果頁面中的URL的主域名地址；對(duì)目標(biāo)URL進(jìn)行唯一化處理，獲取唯一化目標(biāo)URL，將唯一化目標(biāo)URL作為爬蟲種子。本發(fā)明技術(shù)方案能夠提供大量的、離散度大的爬蟲種子，從而縮短形成主流URL的時(shí)間，提高主流URL的覆蓋性，降低爬蟲系統(tǒng)進(jìn)行爬取時(shí)的時(shí)間成本。

我瀏覽過的專利

    專利服務(wù)由北京酷愛智慧知識(shí)產(chǎn)權(quán)代理公司提供