本發(fā)明提供一種面向用戶(hù)生成內容的分布式采集方法,包括:1)根據采集頁(yè)面的采集量和采集難度劃分頁(yè)面類(lèi)型,基于頁(yè)面類(lèi)型構建采集任務(wù)并將其加入采集隊列;其中,所述采集任務(wù)包括復合采集任務(wù),所述復合采集任務(wù)根據采集量和采集難度將多個(gè)同類(lèi)型的采集頁(yè)面劃入;2)并發(fā)地從所述采集任務(wù)隊列取出采集任務(wù),執行該采集任務(wù)并返回所采集的信息。本發(fā)明還提供了相應的分布式采集系統,包括主控節點(diǎn)和多個(gè)子節點(diǎn),主控節點(diǎn)用于構建并維護采集任務(wù)隊列;各個(gè)所述子節點(diǎn)用于并發(fā)地執行采集任務(wù)。本發(fā)明的采集速度快,顯著(zhù)地提高了UGC新聞采集的實(shí)時(shí)性;可以適用于各種不同類(lèi)型頁(yè)面的采集,執行多樣化的采集任務(wù);能夠規避采集對象的監控措施。
- 網(wǎng)站首頁(yè)Home
-
新聞資訊
News
歡迎訪(fǎng)問(wèn)我們網(wǎng)站
-
科技資源
Resources
-
科技服務(wù)
Service
-
交易公示
Publicity
-
合作伙伴
Partner
-
我要發(fā)布
Release
-
風(fēng)采大廳
Events
-
聯(lián)系我們
Contact
江蘇淮海技術(shù)產(chǎn)權交易中心是由江蘇淮?？萍汲?、徐州市科技局和中國礦業(yè)大學(xué)國家大學(xué)科技園聯(lián)合出資設立的，專(zhuān)業(yè)從事技術(shù)成果轉化、轉移與技術(shù)產(chǎn)權交易的服務(wù)機構。
發(fā)明專(zhuān)利
-
專(zhuān)利名稱(chēng)：一種面向用戶(hù)生成內容的分布式采集方法與系統專(zhuān)利類(lèi)型：發(fā)明專(zhuān)利專(zhuān)利號：CN201510102980.0發(fā)布日期：2025-12-19授權公告日：
-
詳細內容
掃描訪(fǎng)問(wèn)手機版 科技與知識產(chǎn)權
友情鏈接
關(guān)于我們
電話(huà)：0516-83896168 傳真：0516-83896168 郵箱：jshtec@163.com 網(wǎng)址：www.jshtec.com 地址：江蘇徐州市金山東路中國礦業(yè)大學(xué)國家大學(xué)科技園科技大廈
