大數據有哪些作用？

大數據可應用于各行各業(yè)，把收集到的龐大數據進行分析整理，實現資訊的有效利用。

在醫(yī)療領域，通過大數據記錄和分析，能夠預測出病人可能產生的癥狀，工作效率大大提高。大數據分析還能夠在很短的時間內解碼DNA，預測疾病，幫助醫(yī)生制定合理的治療方案。

在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，快速響應突發(fā)狀況，為城市交通的良性運轉提供科學決策依據。

在公共安全領域，通過大數據挖掘，可以及時發(fā)現人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。

大數據的發(fā)展，使人們生活水平不斷提高，也極大地促進政府的管理模式，有利于節(jié)約政府投資、加強市場監(jiān)管能力、提高政府決策能力、提升公共服務能力。

各行各業(yè)均存在大數據，但是眾多的信息和咨詢是紛繁復雜的，我們需要搜索、處理、分析、歸納、總結其深層次的規(guī)律。

大數據技術的運用前景是十分光明的，但也隨之帶來新的挑戰(zhàn)：例如大量數據的集中存儲增加泄露風險；一些敏感數據的所有權和使用權沒有清晰界定；黑客可收集更多有用信息，大數據分析讓攻擊更精準等等。

大數據技術發(fā)展趨勢如何？

2014年以后，整體大數據的技術棧已經趨于穩(wěn)定，由于云計算、人工智能等技術發(fā)展，還有芯片、內存端的變化，大數據技術也在發(fā)生相應的變化。總結來看主要有幾點發(fā)展趨勢：

一是流式架構的更替，最早大數據生態(tài)沒有辦法統一批處理和流計算，只能采用Lambda架構，批的任務用批計算引擎，流式任務采用流計算引擎，比如批處理采用MapReduce，流計算采用Storm。后來Spark試圖從批的角度統一流處理和批處理，Spark Streaming采用了micro-bach的思路來處理流數據。近年來純流架構的Flink異軍突起，由于其架構設計合理，生態(tài)健康，近年來發(fā)展特別快。而Spark近期也拋棄了自身微批處理的架構，轉向了純流架構Structure Streaming，流計算的未來霸主還未見分曉。

二是大數據技術的云化，一方面是公有云業(yè)務的成熟，眾多大數據技術都被搬到了云上，其運維方式和運行環(huán)境都發(fā)生了較大變化，帶來計算和存儲資源更加的彈性變化，另一方面，私有部署的大數據技術也逐漸采用容器、虛擬化等技術，期望更加精細化地利用計算資源。

三是異構計算的需求，近年來在通用CPU之外，GPU、FPGA、ASIC等芯片發(fā)展迅猛，不同芯片擅長不同的計算任務，例如GPU擅長圖像數據的處理，大數據技術開始嘗試根據不同任務來調用不同的芯片，提升數據處理的效率。

四是兼容智能類的應用，隨著深度學習的崛起，AI類的應用越來越廣泛，大數據的技術棧在努力兼容AI的能力，通過一站式的能力來做數據分析和AI應用，這樣開發(fā)者就能在一個工具站中編寫SQL任務，調用機器學習和深度學習的算法來訓練模型，完成各類數據分析的任務。

文章圖片轉載于網絡，僅供學習與交流，非商業(yè)用途，版權歸原作者所有，如有侵權，請聯系我們立即整改刪除。