web挖礦

A. web挖掘怎麼實現

截止到今天為止，我尚不知道有什麼有價值的web挖掘系統存在，不過您可以參考檢索引擎的挖掘演算法，比如Apache的lucene等

http://lucene.apache.org/java/docs/index.html

-------------
並為您附錄以下信息：

近年來，隨著 Internet/Web技術的快速普及和迅猛發展，使各種信息可以以非常低的成本在網路上獲得，由於Internet/WWW在全球互連互通，可以從中取得的數據量難以計算，而且Internet/WWW的發展趨勢繼續看好，特別是電子商務的蓬勃發展為網路應用提供了強大支持，如何在WWW這個全球最大的數據集合中發現有用信息無疑將成為數據挖掘研究的熱點。
Web挖掘指使用數據挖掘技術在WWW數據中發現潛在的、有用的模式或信息。Web挖掘研究覆蓋了多個研究領域，包括資料庫技術、信息獲取技術、統計學、人工智慧中的機器學習和神經網路等。
2．Web挖掘流程
與傳統數據和數據倉庫相比，Web上的信息是非結構化或半結構化的、動態的、並且是容易造成混淆的，所以很難直接以Web網頁上的數據進行數據挖掘，而必須經過必要的數據處理。典型Web挖掘的處理流程如下[3]：
1．查找資源：任務是從目標Web文檔中得到數據，值得注意的是有時信息資源不僅限於在線Web文檔，還包括電子郵件、電子文檔、新聞組，或者網站的日誌數據甚至是通過Web形成的交易資料庫中的數據。
2．信息選擇和預處理：任務是從取得的Web資源中剔除無用信息和將信息進行必要的整理。例如從Web文檔中自動去除廣告連接、去除多餘格式標記、自動識別段落或者欄位並將數據組織成規整的邏輯形式甚至是關系表。
3．模式發現：自動進行模式發現。可以在同一個站點內部或在多個站點之間進行。
4．模式分析：驗證、解釋上一步驟產生的模式。可以是機器自動完成，也可以是與分析人員進行交互來完成。
Web挖掘作為一個完整的技術體系，在進行挖掘之前的信息獲得IR（Information Retrieval）和信息抽取IE(Information Extraction)相當重要。信息獲得（IR）的目的在於找到相關Web文檔，它只是把文檔中的數據看成未經排序的片語的集合，而信息抽取(IE)的目的在於從文檔中找到需要的數據項目，它對文檔的結構合表達的含義感興趣,它得一個重要任務就是對數據進行組織整理並適當建立索引。
信息獲得（IR）和信息抽取(IE)技術的研究已近有很長時間，隨著Web技術的發展，基於Web技術的IR、 IE得到了更多的重視。由於Web 數據量非常大，而且可能動態變化，用原來手工方式進行信息收集早已經力不從心，目前的研究方向是用自動化、半自動化的方法在Web上進行IR和IE。在 Web環境下既要處理非結構化文檔，又要處理半結構化的數據，最近幾年在這兩方面都有相應的研究成果和具體應用，特別是在大型搜索引擎中得到了很好的應用。
3．Web挖掘分類及各自的研究現狀及發展
根據對Web數據的感興趣程度不同，Web挖掘一般可以分為三類：Web內容挖掘（Web Content mining）、 Web結構挖掘（ Web structure mining）、 Web 用法挖掘（Web usage Mining）
3．1、Web內容挖掘：
指從Web內容/數據/文檔中發現有用信息，Web上的信息五花八門，傳統的Internet由各種類型的服務和數據源組成，包括WWW、FTP、Telnet等，現在有更多的數據和埠可以使用，比如政府信息服務、數字圖書館、電子商務數據，以及其他各種通過 Web可以訪問的資料庫。Web內容挖掘的對象包括文本、圖象、音頻、視頻、多媒體和其他各種類型的數據。其中針對無結構化文本進行的Web挖掘被歸類到基於文本的知識發現（KDT）領域，也稱文本數據挖掘或文本挖掘，是Web挖掘中比較重要的技術領域，也引起了許多研究者的關注。最近在Web多媒體數據挖掘方面的研究成為另一個熱點。
Web內容挖掘一般從兩個不同的觀點來進行研究。從資源查找（IR）的觀點來看，Web內容挖掘的任務是從用戶的角度出發，怎樣提高信息質量和幫助用戶過濾信息。而從DB的角度講Web內容挖掘的任務主要是試圖對Web上的數據進行集成、建模，以支持對Web數據的復雜查詢。
3．1．1從資源查找（Information Retrival）的觀點挖掘非結構化文檔：
非結構化文檔主要指Web上的自由文本，包括小說、新聞等。在這方面的研究相對比較多一些，大部分研究都是建立在詞彙袋（bag of words）或稱向量表示法（vector representation）的基礎上，這種方法將單個的詞彙看成文檔集合中的屬性，只從統計的角度將詞彙孤立地看待而忽略該詞彙出現的位置和上下文環境。屬性可以是布爾型，根據詞彙是否在文檔中出現而定，也可以有頻度，即該詞彙在文檔中的出現頻率。這種方法可以擴展為選擇終結符、標點符號、不常用詞彙的屬性作為考察集合。詞彙袋方法的一個弊端是自由文本中的數據豐富，詞彙量非常大，處理起來很困難，為解決這個問題人們做了相應的研究，採取了不同技術，如信息增益，交叉熵、差異比等，其目的都是為了減少屬性。另外，一個比較有意義的方法是潛在語義索引（Latent Semantic Indexing），它通過分析不同文檔中相同主題的共享詞彙，找到他們共同的根，用這個公共的根代替所有詞彙，以此來減少維空間。例如： 「informing」、「information」、「informer」、「informed」可以用他們的根「inform」來表示，這樣可以減少屬性集合的規模。
其他的屬性表示法還有詞彙在文檔中的出現位置、層次關系、使用短語、使用術語、命名實體等，目前還沒有研究表明一種表示法明顯優於另一種。
用資源查找（Information Retrival）的觀點挖掘半結構化文檔：
與非結構化數據相比，Web上的半結構化文檔挖掘指在加入了HTML、超連接等附加結構的信息上進行挖掘，其應用包括超連接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。
3．1．2從資料庫（Database）的觀點挖掘非結構化文檔：
資料庫技術應用於Web挖掘主要是為了解決Web信息的管理和查詢問題。這些問題可以分為三類：Web信息的建模和查詢；信息抽取與集成；Web站點建構和重構。
從資料庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型並加以集成，以支持復雜查詢，而不止是簡單的基於關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web數據倉庫或Web知識庫或虛擬資料庫來實現。相關研究主要是基於半結構化數據進行的。
資料庫觀點主要利用OEM(Object Exchange Model)模型將半結構化數據表示成標識圖。OEM中的每個對象都有對象標識（OID）和值，值可以是原子類型，如整型、字元串型、gif、html 等，也可以是一個復合類型，以對象引用集合的形式表示。由於Web數據量非常龐大，從應用的角度考慮，很多研究只處理辦結構化數據的一個常用自集。一些有意義的應用是建立多層資料庫（MLDB），每一層是它下面層次的概化，這樣就可以進行一些特殊的查詢和信息處理。對於在半結構化數據上的查詢語言研究也得到了人們的重視並做了專題研究。
由於在資料庫觀點下數據的表示方法比較特殊，其中包含了關系層次和圖形化的數據，所以大部分建立在扁平數據集合之上的數據挖掘方法不能直接使用，目前已經有人針對多層資料庫挖掘演算法進行研究。
3．2、Web結構挖掘：
Web結構挖掘的對象是Web本身的超連接，即對Web文檔的結構進行挖掘。對於給定的Web文檔集合，應該能夠通過演算法發現他們之間連接情況的有用信息，文檔之間的超連接反映了文檔之間的包含、引用或者從屬關系，引用文檔對被引用文檔的說明往往更客觀、更概括、更准確。
Web結構挖掘在一定程度上得益於社會網路和引用分析的研究。把網頁之間的關系分為incoming連接和 outgoing連接，運用引用分析方法找到同一網站內部以及不同網站之間的連接關系。在Web結構挖掘領域最著名的演算法是HITS演算法和 PageRank演算法。他們的共同點是使用一定方法計算Web頁面之間超連接的質量，從而得到頁面的權重。著名的Clever和Google搜索引擎就採用了該類演算法。
此外，Web結構挖掘另一個嘗試是在Web數據倉庫環境下的挖掘，包括通過檢查同一台伺服器上的本地連接衡量 Web結構挖掘Web站點的完全性，在不同的Web數據倉庫中檢查副本以幫助定位鏡像站點，通過發現針對某一特定領域超連接的層次屬性去探索信息流動如何影響Web站點的設計。
3．3、Web用法挖掘（Web usage Mining）：
即Web使用記錄挖掘，在新興的電子商務領域有重要意義，它通過挖掘相關的Web日誌記錄，來發現用戶訪問 Web頁面的模式，通過分析日誌記錄中的規律，可以識別用戶的忠實度、喜好、滿意度，可以發現潛在用戶，增強站點的服務競爭力。Web使用記錄數據除了伺服器的日誌記錄外還包括代理伺服器日誌、瀏覽器端日誌、注冊信息、用戶會話信息、交易信息、Cookie中的信息、用戶查詢、滑鼠點擊流等一切用戶與站點之間可能的交互記錄。可見Web使用記錄的數據量是非常巨大的，而且數據類型也相當豐富。根據對數據源的不同處理方法，Web 用法挖掘可以分為兩類，一類是將Web使用記錄的數據轉換並傳遞進傳統的關系表裡，再使用數據挖掘演算法對關系表中的數據進行常規挖掘；另一類是將Web 使用記錄的數據直接預處理再進行挖掘。Web 用法挖掘中的一個有趣的問題是在多個用戶使用同一個代理伺服器的環境下如何標識某個用戶，如何識別屬於該用戶的會話和使用記錄，這個問題看起來不大，但卻在很大程度上影響著挖掘質量，所以有人專門在這方面進行了研究。通常來講，經典的數據挖掘演算法都可以直接用到Web 用法挖掘上來，但為了提高挖掘質量，研究人員在擴展演算法上進行了努力，包括復合關聯規則演算法、改進的序列發現演算法等。
在[4]中，根據數據來源、數據類型、數據集合中的用戶數量、數據集合中的伺服器數量等將Web 用法挖掘分為五類：
●個性挖掘：針對單個用戶的使用記錄對該用戶進行建模，結合該用戶基本信息分析他的使用習慣、個人喜好，目的是在電子商務環境下為該用戶提供與眾不同的個性化服務。
●系統改進：Web服務（資料庫、網路等）的性能和其他服務質量是衡量用戶滿意度的關鍵指標，Web 用法挖掘可以通過用戶的擁塞記錄發現站點的性能瓶頸，以提示站點管理者改進Web緩存策略、網路傳輸策略、流量負載平衡機制和數據的分布策略。此外，可以通過分析網路的非法入侵數據找到系統弱點，提高站點安全性，這在電子商務環境下尤為重要。
●站點修改：站點的結構和內容是吸引用戶的關鍵。Web 用法挖掘通過挖掘用戶的行為記錄和反饋情況為站點設計者提供改進的依，比如頁面連接情況應如何組織、那些頁面應能夠直接訪問等。
●智能商務：用戶怎樣使用Web站點的信息無疑是電子商務銷售商關心的重點，用戶一次訪問的周期可分為被吸引、駐留、購買和離開四個步驟，Web用法挖掘可以通過分析用戶點擊流等Web日誌信息挖掘用戶行為的動機，以幫助銷售商合理安排銷售策略。
●Web特徵描述：這類研究跟關注這樣通過用戶對站點的訪問情況統計各個用戶在頁面上的交互情況，對用戶訪問情況進行特徵描述。
4．結束語
盡管Web挖掘的形式和研究方向層出不窮，但我認為隨著電子商務的興起和迅猛發展，未來Web挖掘的一個重要應用方向將是電子商務系統。而與電子商務關系最為密切的是用法挖掘（Usage Mining），也就是說在這個領域將會持續得到更多的重視。另外，在搜索引擎的研究方面，結構挖掘的研究已經相對成熟，基於文本的內容挖掘也已經有許多研究，下一步將會有更多的研究者把多媒體挖掘最為研究方向。

B. 論文 工作 web挖掘

相當有用 論文就是人力資源部主要看面試者的東西
他表示了一個人的研究能力 方向等

一篇好的論文是你從其他研究生裡面脫穎而出的有力工具

C. 如何高效挖掘Web漏洞

善用已有工具，比如awvs ，burp，subdomainburte等等。大牛好像都鄙視工具黨，不過如果你只是想高效挖洞或者節省時間，用工具輔助無疑是最佳選擇。

創造適合自己的小工具，有時候已有的工具滿足不了自己的需求，就需要開發適合自己的小工具。比如openssl 心臟出血漏洞，有利用exp了，你可以在這個基礎上寫個批量對url進行測試的小工具。

brup大法好，一個網站從注冊到用戶中心按照功能，測試一遍。過程就是各種功能都進行抓包，然後針對不同的功能改包測試越權，注入，上傳等等。

能想到的大概以上幾點，挖的多了就能找到偷懶自動化的解決方案了。舉個例子:

1，自己寫個或者去github上找個烏雲廠商域名獲取工具；
2，利用lijiejie大師傅的子域名爆破工具subdomainburte，對獲取的所有域名進行批量的子域名爆破；
3，利用寫好的openssl批量檢測工具，對所有的子域名進行測試。

都是比較簡單的python腳本就能搞定。。然後一覺醒來坐等漏洞。

另外用用sebug的框架寫點通用的漏洞，它支持對所有url進行批量漏洞的檢測，只要你的poc和url足夠多。

總體來說想高效挖洞，還是得有工具，自己寫的或者自己有的，能使用起來挖到漏洞就是靠譜的。

D. 學習web數據挖掘需要哪些基礎

數據挖掘的起點很高——
1、統計學
2、機器學習
3、數學——圖論，最優化理論等。
WEB上的數據結構更加復雜。
python語言————應該學習

E. Web數據挖掘的方法

(1)協同過濾：協同過濾技術採用最近鄰技術，利用客戶的歷史、喜好信息計算用戶之間的距離，目標客戶對特點商品的喜好程度由最近鄰居對商品的評價的加權平均值來計算。

(2)關聯規則：關聯規則是尋找在同一個事件中出現的不同項的相關性，用數學模型來描述關聯規則發現的問題：x=>y的蘊含式，其中x,y為屬性——值對集(或稱為項目集)，且X∩Y空集。在資料庫中若S%的包含屬性——值對集X的事務也包含屬性——值集Y，則關聯規則X=>Y的置信度為C%。

3)Web日誌的聚類演算法：聚類分析是把具有相似特徵的用戶或數據項歸類,在網站管理中通過聚類具有相似瀏覽行為的用戶。基於模糊理論的Web頁面聚類演算法與客戶群體聚類演算法的模糊聚類定義相同，客戶訪問情況可用URL(Uj)表示。有Suj={(Ci，fSuj(Ci))|Ci∈C}，其中fSuj(Ci)→[0，1]是客戶Ci和URL(Uj)間的關聯度：式中m為客戶的數量，hits(Ci)表示客戶Ci訪問URL(Uj)的次數。利用Suj和模糊理論中的相似度度量Sfij定義建立模糊相似矩陣，再根據相似類[Xi]R的定義構造相似類，合並相似類中的公共元素得到的等價類即為相關Web頁面。

(4)序列分析：序列模式分析和關聯分析類似，其目的也是為了挖掘數據之間的聯系，但序列模式分析的側重點在於分析數據間的前後序關系。它能發現資料庫中如「在某一段時間內，客戶購買商品A，接著會購買商品B，爾後又購買商品C，即序列A→B→C出現的頻率高」之類的信息。序列模式描述的問題是：在給定的交易序列資料庫中，每個序列按照交易的時間排列的一組交易集，挖掘序列函數作用是返回該資料庫中高頻率出現有序列。

F. WEB挖掘的WEB挖掘-介紹

Web內容挖掘。Web內容挖掘是指對Web頁面內容及後台交易資料庫進行挖掘，從Web文檔內容及其描述中的內容信息中獲取有用知識的過程。同時還可以對Web的組織結構和鏈接關系進行挖掘，從人為的鏈接結構中獲取有用的知識。由於文檔之間的互連，WWW能夠提供除文檔內容之外的有用信息。利用這些信息，可以對頁面進行排序，發現重要的頁面。
·Web使用記錄挖掘。Web使用記錄挖掘是通過挖掘相應站點的日誌文件和相關數據來發現該站點上的瀏覽者的行為模式，獲取有價值的信息的過程。
Web挖掘的目標是從Web的超鏈接結構、網頁內容和使用日誌中探尋有用的信息。雖然Web挖掘使用了許多數據挖掘技術，但它並不僅僅是傳統數據挖掘的一個簡單應用。在過去20年中，許多新的挖掘任務和演算法被相繼發明。依據在挖掘過程中使用的數據類別，Web挖掘任務可以被劃分為三種主要類型：Web結構挖掘、Web內容挖掘和Web使用挖掘。

G. WEB挖掘的介紹

Web挖掘是數據挖掘在Web上的應用，它利用數據挖掘技術從與WWW相關的資源和行為中抽取感興趣的、有用的模式和隱含信息，涉及Web技術、數據挖掘、計算機語言學、信息學等多個領域，是一項綜合技術。Web內容挖掘。Web內容挖掘是指對Web頁面內容及後台交易資料庫進行挖掘，從Web文檔內容及其描述中的內容信息中獲取有用知識的過程。

H. 基於web的數據挖掘 如何實現

估計你是做一個收集web數據的項目吧！比如商業信息什麼的。

有一個軟體叫 商友-business partner,
當然源碼你是看不到的，你可以參考以下它的風格，和功能。一套正版的要1W多呢。網上有破解版的，你找找！

I. WEB挖掘的WEB挖掘-能挖到什麼

· 獲取競爭對手和客戶信息。Web不僅由頁面組成，而且還包含了從一個頁面指向另一個頁面的超鏈接。一個Web頁面的作者建立指向另一個頁面的指針，就可以看作是作者對另一頁面的認可。把另一頁面的來自不同作者的註解收集起來，就可以用來反映該頁面的重要性，並可以很自然地用於權威頁面的發現。另外一種重要的Web頁面是一個或多個Web頁面，它提供了指向權威頁面的鏈接集合，稱為Hub。Hub頁面本身可能並不突出，或者說可能沒有幾個鏈接指向它們，但是 Hub頁面卻提供了指向就某個話題而言最為突出的站點的鏈接。通過分析這類信息，企業可以獲得零售商、中間商、合作商以及競爭對手的信息。
· 發現用戶訪問模式。通過分析和探究Web日誌記錄中的規律，可以識別電子商務的潛在客戶，提高對最終用戶的服務質量，並改進Web伺服器系統的性能。 Web日誌記錄資料庫提供了有關Web動態的，基於URL、時間、IP地址和Web頁面內容的豐富信息，對它們進行分析，有助於發現潛在客戶、用戶和市場,有助於聚類用戶並將用戶分門別類，以實現個性化的市場服務。
·反競爭情報活動。反競爭情報是企業競爭情報活動的重要組成部分。忽視競爭對手的競爭情報活動、低估競爭對手搜集競爭情報的能力勢必導致企業失去已有的競爭優勢。Web站點是企業與外界進行交流的窗口，同時也是競爭對手獲取競爭情報的一個重要信息源。在競爭情報計算機系統中，可以充分利用Web挖掘技術，通過運用分析訪問者的IP地址、客戶端所屬域、信息訪問路徑，統計敏感信息訪問率等方法識別競爭對手，保護企業敏感性信息。

J. web挖掘中應用最廣的是什麼挖掘

應該是web內容挖掘，比如文檔自動分類，知識發現等。