文章採集系統

系統開發

系統的開發工具使用.Net的C#進行系統的開發，資料庫採用SQL Server 2000。

軟體系統總體設計要求

1.當網站搜尋深度為5層，網站搜尋廣度為50個網頁時，數據查全率達到98%。

2.當網站搜尋深度為5層，網站搜尋廣度為50個網頁時，數據查準率大於97%。

3.數據儲存能力：存儲量≥100G。

4.當在單個網站搜尋時，網站搜尋深度：最大第5層網頁；網站搜尋廣度：最多搜尋50個網頁。超過60秒沒結果則自動放棄搜尋。

5.並發搜尋強度：可以同時10個執行緒並發搜尋。

6.5億個漢字的信息平均查詢時間少於3秒。

套用系統設計要求

1.要求系統能進行多執行緒採集信息；

2.能自動分類索引記錄；

3.自動過濾重複、自動標引記錄；

套用系統功能的詳細描述

實時網上採集(內容抓取模組) 快速：網頁抓取採用多執行緒並發搜尋技術，並可設定並發執行緒的最大個數。靈活：可以同時跟蹤抓取多個網站，能夠提供靈活的網站、欄目或頻道的採集策略，以及利用邏輯關係定位採集內容。準確：不多抓與少抓，可自定義需要抓取的檔案格式，能夠抓取圖片和表格信息，抓取過程成熟可靠，容錯性強，完成初始設定後可長時間穩定運行。高效自動分類支持機檢分類――能夠利用預定義的關鍵字和規則方法判定類別；支持自動分類――通過機器自動學習或預學習自動分類，並達到80%以上的準確率。（這條比較麻煩，可以考慮不做）支持多種分類標準――比如按地域（華北、華南等）、內容（政治、科技、軍事、教育等）、來源（新華網、人民網、新浪網等）等。自動網頁分析內容過濾――能夠過濾掉廣告、導航信息、著作權等無用信息，能夠剔除反動、色情內容。內容排重――對於不同網站相同或雷同的內容，能夠自動判別並標註為雷同，判別的方法可以由用戶定義的規則判定及自動按內容的相似度判定。格式轉換――自動將HTML格式轉換為文本檔案。自動標引――對網頁自動提取標題、版次、日期、作者、欄目、分類等信息。系統管理整合的單一界面――系統提供基於Web的用戶使用界面和管理員界面，滿足系統管理員和用戶雙重需求，可利用瀏覽器遠程管理分類目錄、用戶許可權並調整、加強分類結果。完整的目錄維護――提供完整的對分類目錄進行新增、移動、修改、刪除等管理維護許可權管理，可設定管理目錄和單一檔案使用許可權，加強安全管理。實時的檔案管理――可以瀏覽每個目錄分類結果，並實時進行移動、更名等調整。

功能詮釋

用文章採集系統，整個系統可以線上自動安裝，後台有新版本可自動升級；如果系統檔案損壞也能自動修復，站長從此無憂

自動建設功能

強大的關鍵字管理系統

可自動批量獲取指定關鍵字的常見相關詞語，輕鬆掌控用戶搜尋行為

文章採集系統

基本介紹

系統開發

功能詮釋

相關詞條

熱門詞條