如何評估大數據安全分析產品？五大要素必不可少！如何評估大數據安全分析產品網絡犯罪以及其他惡意行為的不斷增加正促使企業部署更多的安全控制、收集越來越多的相關數據。

結果，大數據分析方面的進展被用于以更寬和更深的分析為目的的安全監控中，以保護昂貴的企業資源。

大數據安全分析技術融合了大數據的可擴展性，并將其與Advanced Analytic和安全事件管理系統（ security event and incident management systems，SIEM）結合起來。

在不久的將來，大數據安全分析將會變成像病毒檢測和漏洞掃描一樣常見。

因此，大數據安全分析適用于很多用例，但也不是所有的用例都適用。

考慮一下探測和阻擋高持續性威脅（Advanced Persistent Threat，APT）的技術挑戰。

采用這些技術的攻擊者或許會采用慢節奏的、低可見性的攻擊方式來避免以避免被探測到。

傳統的日志和監控技術會漏過這種類型的攻擊。

攻擊的各步可能發生在不同的設備的不同時間段，而且看起來是毫無關聯的。

這樣，一個攻擊者殺招的關鍵部分可能與正常行為差別不大。

針對可疑行為的日志和網絡流掃描有時也會漏掉這些東西。

避免遺漏數據的一種方法就是收集盡可能多的信息。

這就是大數據安全分析平臺所采用的方法。

正如字面意思所言，該安全分析的方法利用了專門為收集、分析和管理大規模、高速度數據而設計的工具。

這些技術也同樣用于相關產品，如針對流視頻用戶的電影推薦系統和為優化車隊的運輸效率而設計的車輛性能特性分析平臺等。

此外，這些技術還可以應用于信息安全。

本文重點分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大數據安全工具供應商的最主要的產品特性。

其分析主要依據實現這些平臺所有好處的五大必需要素：?統一的數據管理?支持日志、漏洞和流等多種數據類型?可擴展的數據獲取?信息安全相關的分析工具?合規報告

因素1：統一的數據管理統一的數據管理是一個大數據安全分析系統的基礎，負責存儲和查詢企業數據。

由于關聯數據庫在擴展時比分布式NoSQL數據庫代價要高，處理大規模數據通常會使用Cassandra或Accumulo等這樣的分布式數據庫。

當然，這些數據庫也其缺點。

例如，實現ACID transaction等這些理所當然存在的數據庫特征的分布式版本就變得非常困難。

因此，大數據安全分析產品背后的數據管理平臺需要在數據管理特性和代價、可擴展性之間進行權衡。

數據庫應該具備在不阻塞的情況下實時寫入新數據的能力。

相似的，查詢也要能夠支持針對流入的安全數據的實時分析。

由于Hadoop已經成為流行的大數據管理平臺和相關的生態系統，采用它作基礎的大數據安全分析平臺也很常見。

例如，Fortscale就使用了Cloudera的Hadoop平臺。

這使得Fortscale平臺可以隨著集群中新加入節點的數量而線性擴展。

IBM的QRadar使用了提供數據存儲水平擴展功能的分布式數據管理系統。

在一些情況下，SIEM或許只需要訪問本地數據。

但是，在取證分析等情況下，用戶或許需要跨分布式平臺搜索信息。

IBM的QRadar還集成了一個能夠跨平臺或本地檢索的搜索引擎。

同時，該大數據SIEM系統使用的是數據節點，而非存儲域網（SAN）。

這可以幫組減少花費和管理復雜度。

這個基于數據節點的分布式存儲模型可以擴展到P字節的存儲空間——可以很好滿足那些需要很多大規模長期存儲的組織的需求。

RSA安全分析也采用了分布式的聯合架構來保證線性擴展。

當擴展到大規模數據時，RSA工具中的分析工作流解決了一個關鍵需求：區分事件和任務的優先級，以改善分析的效率。

Hawkeye分析平臺（Hawkeye AP）是基于一個專門處理安全事件數據的數據倉庫平臺構建而成。

除了擁有底層、可擴展的數據管理（例如，在跨多個服務器的鍍鉻文件中存儲大規模數據的能力）功能，擁有以結構化的方式查詢數據的工具也很關鍵。

Hawkeye AP采用了分時存儲數據的方式，避免了全局重建索引的工作。

而且，它被設計為了只讀的數據庫。

一方面，它使能了性能優化；另一個更重要方面，它可以保證數據在寫完成后不會被篡改。

最后，Hawkeye AP采用了專門針對分析應用有所優化的列導向數據存儲，而非行導向的存儲。

因素2：支持多種數據類型容量、速度和種類是大數據的三個關鍵特性。

安全事件數據的多樣性使得把數據集成到一個大數據安全分析產品變得富有挑戰性。

事件數據的收集粒度是不同的。

例如，網絡報文就是底層、細粒度的數據；而有關任何管理員密碼變化的日志項就是粗粒度的。

盡管數據的收集粒度不同，他們之間仍然是有關聯的。

網絡報文就可能包含了攻擊者訪問服務器，甚至在取得訪問權限后修改管理員密碼的相關信息。

不同類型的事件數據的含義也各不相同。

網絡報文信息可以幫助分析人員了解兩個終端之間傳輸的內容，而一份漏斗掃描日志在某種意義上描述了服務器或其他設備在一段時間內的運行狀態。

大數據安全分析平臺需要理解這些數據類型的含義，以更好的進行數據集成。

RSA Security Analytics的解決辦法是采用一個模塊化的結構，以此保證在維持增量添加其他源的能力的同時，支持多種數據類型。

平臺本身是為了捕獲大規模的滿報文、NetFlow數據、末端數據和日志。

有時，多個數據類型就意味著多種安全工具。

例如，IBM的QRadar就有一個漏洞管理組件。

該組件專門負責從各種各樣的漏洞掃描器中整合數據，并把網絡使用相關的信息添加到數據中。

IBM的Security QRadar Incident Forensics是另外一個專門利用網絡流數據和full-packet抓包來分析安全事故的模塊。

該取證工具包括了一個能夠對TB級別的網絡數據進行檢索的引擎。

LogRhythm的Security Intelpgence Platform是另外一個大數據安全分析平臺的例子。

該平臺支持非常多的數據類型，包括系統日志、安全事件、審計日志、機器數據、應用日志以及流數據。

通過分析來自這些源的原始數據，它可以產生有關文件完整性、進程活躍度、網絡通信情況、用戶以及活動的二級數據。

Splunk Enterprise Security允許分析人員檢索數據并執行可視化關聯，以此識別惡意事件和收集有關這些事件上下文的數據。

因素3：可擴展的數據獲取大數據分析安全產品必須要能夠從服務器、終端、網絡和其他架構組件中獲得數據。

這些設備的狀態是一直都在發生變化的。

數據獲取組件的主要風險在于它是否能夠及時接收流入的數據。

一旦數據獲取組件出現問題，數據就會丟失，威脅到整個平臺的存在意義。

系統可以通過維護一個容量很大、吞吐率很高的隊列來實現可擴展的數據獲取。

此外，一些數據庫通過對寫操作只追加的方法來支持大規模寫。

這樣，新流入的數據直接添加到commit日志的末尾，而非磁盤的某個塊。

該方法可以大大減少隨機寫操作的延遲。

或者，數據管理系統會維護一個寫緩沖區。

如果消息出現突發傳輸或者磁盤出現寫失效，緩沖區可以幫助暫時存儲數據，等待數據庫恢復正常。

Splunk是一個廣為人知的數據獲取平臺。

該平臺不僅提供了連接到數據源的連接器，還允許定制這些連接器。

其中，獲取后的數據以比較松散的形式進行存儲和索引，以保證支持變化的數據類型和快速的查詢反饋。

IBM QRadar支持從單設備到跨地域的分布式系統的不同規模的部署。

與其他產品類似，該大數據產品是為了滿足大公司的需求。

它曾被用于處理每秒鐘幾十萬的真實應用事件。

一些小的機構或剛開始使用IBM QRadar的企業或許會選擇在云環境中部署該產品，以減少硬件開銷和管理。

混合部署也是可以的。

這樣，事件和流或許在云端處理，而整理后的事件數據發送會本地系統進行處理。

另外一個重要的整合類型就是數據增強。

它是指在收集事件數據的同時，把相關的信息也一并添加進去。

例如，RSA Security Analytics就會把有關網絡回話、威脅指示器等細節添加到網絡數據中，幫助分析人員更好的理解底層安全數據所面臨的情況。

一個大數據分析平臺如何收集收據是另外一個要考慮的關鍵點。

收集數據所需要的時間使得探測安全事件的速度可以有所放緩。

數據收集點的位置決定了它所收集的數據的寬度和類型。

例如，Cybereason Platform部署的傳感器就運行在終端操作系統的用戶空間。

這樣，數據收集就可以在影響用戶體驗和更底層內核功能的情況下進行。

即使是在設備無法連接企業網絡時，Cybereason的傳感器仍然可以收集數據。

因素4：安全分析工具Hadoop和Spark等大數據平臺都是通用型的工具。

盡管它們可以被用于構建安全工具，它們本身并不是安全分析工具。

大數據安全分析工具應該能夠擴展，以滿足企業所產生的大規模數據的分析需求。

而Hadoop和Spark等這樣的工具正好滿足了這樣的條件。

同時，分析人員也應該能夠以信息安全的角度所應該取得的抽象層次來查詢事件數據。

例如，一個分析人員應該能夠查詢工作在特定服務器或應用的用戶的聯系以及這些機器/應用之間的聯系。

這種類型的查詢就需要圖型分析工具，而非傳統的關聯數據庫中的行查詢或列查詢。

Fortscale采用了數據科學中常見的機器學習和統計分析技術，以適應安全環境中的變化。

這些技術使得Fortscale可以執行基于數據而非預定義規則的分析。

當網絡中的基準行為發生變化時，機器學習算法可以在沒有人為更新規則集的情況下自動探測到這些變化。

RSA Security Analytics包括了預定義的報告和規則，使得分析人員可以很快開始使用SIEM收集到的數據。

安全分析也同樣非常依賴惡意行為相關的知識。

RSA Security Analytics包括的RSA Live服務負責將數據處理和關聯規則發送到部署的設備中。

這些新的規則可被用于分析剛到達的實時數據和存儲在RSA Security Analytics系統的歷史數據。

與Fortscale類似，RSA Security Analytics也采用了數據科學的相關技術來增強分析的質量。

此外，LogRhythm的分析工作流包括了處理、機器分析和取證分析三個階段。

處理階段負責數據轉換，提高原始數據被有用的模式探測到的可能性。

它包括了事件標準化、數據分類、metadata標記和風險上下文分析。

因素5：合規報告、警告和監控合規報告是當今企業所必須要具備的功能。

很多用于合規目的的數據元素都和最好的安全實踐綁定在一起。

甚至對于那些對合規報告沒有硬性需求的公司而言，合規報告也可以很好的用于內部規劃。

。

了解一個大數據安全平臺的報告制度滿足了企業對于合規方面的特殊需求，是非常重要的。

IBMSecurity QRadar的Risk Manager插件提供了網絡設備配置的合規及風險管理的工具。

該插件的功能包括自動監控、多供應商產品審計的支持、合規策略評估以及威脅建模。

就像之前所提到的，Fortscale使用機器學習算法來不斷評估基準活動的變化和探測異常事件。

當系統探測到這些事件時，它可以生成警告，并提供事件的相關信息。

為了節約終端用戶的時間，RSA Security Analytics本身就帶有近90種模板，以滿足SOX、HIPAA、PCI DSS等的報告需求。

SIEM系統中的報告和警告遠遠超過了固定報告和簡單警告的形式。

例如，Cybereason Platform就可以自動探測惡意活動。

該平臺還提供了一個調查窗口，用來將攻擊時間線、受影響的用戶和設備等信息匯總并以圖形的方式展示出來。

Splunk Enterprise Security提供了包含關鍵安全和性能指針以及趨勢指針的儀表盤，以進行不間斷的監控。

而且該平臺還支持工作流的優先級。

Splunk平臺還支持高優先級用戶的追蹤和關鍵應用程序的訪問報告。

Hawkeye AP本身包含了400種報告，而且支持根據特殊需求進行修改。

由于Hawkeye AP使用關聯數據技術，并支持ANSI Standard SQL、ODBC和JDBC驅動，用戶可以可以使用流行的企業級報告工具來創建定制化的報告。

LogRhythm的平臺包括了分級后的風險的警告、標準報告和一個實時的報告儀表盤。

而且，它還包括了案例管理工具、證據鎖以及事件追蹤數據等額外工具用于取證分析。

大數據安全分析工具的功能：大數據安全分析工具可以分析很多種的數據類型，也可以處理大規模的數據。

當然，并非所有的機構都需要用到當前大數據安全分析產品的所有功能。

但是，正在尋找保護企業數據安全工具的機構應該考慮大數據安全分析工具所能扮演的角色。

對于大企業和需要存儲詳細的事件數據的企業，IBM QRadar是一個不錯的選擇。

該平臺能夠擴展到P字節規模的能力將會是一個很大的亮點。

Hawkeye的數據倉庫模型和列導向存儲使得它能夠針對信息安全進行商業智能的報告。

這樣，當企業需要高級報告或者定制化的報告時，Hawkeye AP就是一個很好的選擇。

而當企業需要在設備離線的情況下繼續捕獲事件數據時，它可以考慮Cybereason。

此外，RSA Security Analytics和LogRhythm's Security Intelpgence Platform可以很好的配合來處理很多數據類型的情況。

Splunk提供了大量的數據源連接器，可以很好滿足擁有大量數據源的企業的需求。

大數據安全分析目前主要被大企業所采用。

但是，隨著相關工具的花費和復雜度不斷降低，中等規模的企業、甚至小企業最后也肯定會意識到該技術的好處。