大數(shù)據(jù)技術在計算機信息系統(tǒng)中的運用論文
1引言
在當前社會經(jīng)濟不斷進步、大數(shù)據(jù)不斷發(fā)展的時代背景下，許多過去難以表達的信息都可以運用數(shù)據(jù)的形式來表現(xiàn)和存儲下來。在大數(shù)據(jù)時代進入到一個數(shù)據(jù)處理和快速發(fā)展的階段之后，我們更是能夠運用計算機信息技術來預測事物的發(fā)展，在這種環(huán)境下，人們的知識層次、價值體系和平時日常的行為方式便會受到了很大的影響。在當前，一些還沒有被發(fā)掘的數(shù)據(jù)，其潛力價值能否被發(fā)現(xiàn)和使用，深化改革大環(huán)境下的經(jīng)濟、交通、環(huán)保等領域的改革是否可以順利實現(xiàn)，都是由能不能認識到大數(shù)據(jù)及其潛在功能和價值所決定的。
2大數(shù)據(jù)
2.1大數(shù)據(jù)的定義及其主要特征
在業(yè)內(nèi)，大數(shù)據(jù)和其他新興學科一樣還沒有一個統(tǒng)一的定義和界定標準。一般情況下認為：大數(shù)據(jù)是由一些異構(gòu)數(shù)據(jù)所組成的集合，能夠運用較為方便合理的算法及工具從中找出有價值的信息，并為人類帶來社會和經(jīng)濟效益。它又被稱為海量數(shù)據(jù)、大資料，這指的是其波及的數(shù)據(jù)量范圍廣大，以至于在合理時間內(nèi)根本就沒有辦法通過人工獲取、管理等方式整合成為人類所能明晰、解讀的信息。這些數(shù)據(jù)來源廣泛，比如監(jiān)控視頻、網(wǎng)上交易記錄等。盡管還沒有一個統(tǒng)一規(guī)范的定義，但大量的這些數(shù)據(jù)都被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下四個特性：①數(shù)據(jù)發(fā)展速度和處理速度要求快；②大數(shù)據(jù)的多樣性，其數(shù)據(jù)來源豐富，格式又包括有多種不同的表現(xiàn)形式，如聲音、視頻、圖片等；③數(shù)據(jù)的存儲和計算量比較大；④大數(shù)據(jù)的信息巨大導致其價值密度相對較低，因此要想真正的找到有價值的數(shù)據(jù)難度較大。
2.2大數(shù)據(jù)時代下的思維變革
�、僭诶么髷�(shù)據(jù)去解決一些特殊的問題時，能夠處理更多的信息而不再依賴簡單的隨機采樣。②為了分析處理更多的問題，需要對數(shù)據(jù)泛化，因為在大數(shù)據(jù)的簡單算法之下有可能比先前復雜的算法更加方便有效。③大數(shù)據(jù)的背景下，人們更加聚焦于事物之間的相關關系而不是其因果關系。
2.3MapReduce框架
MapReduce是谷歌推出的一種計算編程模型，其主要目的是對龐大的數(shù)據(jù)進行并行處理。因此，MapReduce就把數(shù)據(jù)并行處理的任務分解成MAP和REDUCE這兩個核心操作，這種設計理念在一定程度上受到一些編程語言如高階函數(shù)的影響。
3大數(shù)據(jù)處理的關鍵技術
3.1數(shù)據(jù)備份技術
大數(shù)據(jù)時代背景下，數(shù)據(jù)的安全備份工作非常重要。安全備份是數(shù)據(jù)容災的基礎和前提，是為了預防偶然情況而采取的一種安全保護手段，備份的核心工作是恢復數(shù)據(jù)，根本目的是數(shù)據(jù)的再利用。它具體指的是如果出現(xiàn)一些突發(fā)情況從而致使存儲在系統(tǒng)中的數(shù)據(jù)、文件等丟失或者說損壞的時候，系統(tǒng)能夠準確而迅速的將數(shù)據(jù)進行恢復。
3.2云計算技術
假如把形式多樣的大數(shù)據(jù)比作在高速公路上運行的各種汽車，那么這條高速公路就是云計算，云計算是大數(shù)據(jù)技術的核心內(nèi)容。正是基于云計算在海量信息儲存、分析以及應用管理等方面的支持，大數(shù)據(jù)才能夠在社會中廣泛應用。谷歌的各種大數(shù)據(jù)信息技術和應用平臺就是在云計算的基礎上建立起來的，而其中最為典型的就是以MapReduce（批處理技術）、UFS（UIT云存儲系統(tǒng)）、BigTable（分布式數(shù)據(jù)庫）為代表的大數(shù)據(jù)以及在此基礎上建立的數(shù)據(jù)處理平臺。
3.3Hadoop
在大數(shù)據(jù)時代背景下，人們對數(shù)據(jù)的分析、應用和管理都提出了更高的要求，傳統(tǒng)的數(shù)據(jù)處理技術與關系型數(shù)據(jù)庫已經(jīng)不能滿足時代的發(fā)展要求。為了能夠給大數(shù)據(jù)的分析處理提供一個更高、更好、更可靠的平臺，Apache基金會研發(fā)了一個開源平臺Hadoop，這個平臺用Java語言編寫，已經(jīng)發(fā)展成為一個包括HBase（分布式數(shù)據(jù)庫）和HDFS（分布式文件系統(tǒng)）等功能在內(nèi)的完整系統(tǒng)，成為當下相對主流的大數(shù)據(jù)應用平臺。
4大數(shù)據(jù)技術應用所帶來的信息系統(tǒng)的安全隱患以及應對策略
大數(shù)據(jù)之下，海量的信息數(shù)據(jù)一般都存儲在一些分布式的網(wǎng)絡節(jié)點當中，管理相對混亂和分散，而且系統(tǒng)也沒有辦法獨立掌控用戶交易數(shù)據(jù)的場所，因此很難分辨用戶是否具有合法的身份標識，這就非常容易致使一些不法客戶肆意竊取、篡改他人信息；另外，大數(shù)據(jù)存儲系統(tǒng)中含有大量的個人隱私信息及各種數(shù)據(jù)記錄，在大數(shù)據(jù)信息的挖掘利用中，怎樣能夠確定一個信息的開放和保護尺度，是當前大數(shù)據(jù)發(fā)展過程中面臨的又一難題。為了充分合理的利用大數(shù)據(jù)并對一些風險進行預防，在此，我們特提出以下四點建議：①建立健全相關政策，國家需要加強頂層設計，有力的確保數(shù)據(jù)儲存安全；②積極探索相關技術，加強對個人安全隱私信息的保護力度；③增強計算機防火墻的安全防護能力，有效抵御網(wǎng)絡網(wǎng)客，確保網(wǎng)絡環(huán)境安全；④深化云計算安全領域改革，充分適應信息化的發(fā)展要求，確保云端數(shù)據(jù)安全。
5案例分析-對A公司大數(shù)據(jù)及其信息管理系統(tǒng)的研究
A公司實施信息化已有多年，每年在信息化方面，都會投入了大量的人力和物力，并已搭建了公司的局域網(wǎng)和廣域網(wǎng)。不過，由于在初期的信息化建設中，公司是以服務支持軟件應用為主，還沒有站在一個更高的角度來開展信息化工作，因此也就沒有真正實現(xiàn)大數(shù)據(jù)的應用，更沒有制定較為系統(tǒng)的.信息化規(guī)劃，各信息及系統(tǒng)沒有集成，信息孤島現(xiàn)象嚴重，具體表現(xiàn)為系統(tǒng)中的業(yè)務流程尤其是在工程、營銷、生產(chǎn)和財務等環(huán)節(jié)存在嚴重的斷層現(xiàn)象。
此外，由于標準不一，系統(tǒng)沒有整合、較為分散，這就給系統(tǒng)的集成帶來了很大的困難，信息不能共享；數(shù)據(jù)也缺乏標準化，無論是自行開發(fā)，還是從國外市場上買來的即時軟件，一般都不注意數(shù)據(jù)的標準化，或數(shù)據(jù)標準自成一體，應用項目上得越多，數(shù)據(jù)的不一致性就越嚴重；系統(tǒng)開發(fā)沒有標準化，A公司在建設信息系統(tǒng)的過程中沒有使用相對一致的開發(fā)、應用平臺及工具，不利于降低系統(tǒng)維護成本、技術人員培訓成本等。為了克服這種現(xiàn)象，A公司認識到，要解決這些問題必須對系統(tǒng)進行集成，并建立健全信息化建設的統(tǒng)一標準。為此，A從公司的戰(zhàn)略入手，結(jié)合公司的業(yè)務發(fā)展狀況，深入分析了企業(yè)發(fā)展對大數(shù)據(jù)信息化建設的需求。而要配合好這些行動，首先要做的就是建立客戶關系管理系統(tǒng)，記錄客戶信息，使公司擁有一個全面的客戶信息資源庫，包括客戶的基本信息、交易記錄等。
其次，通過分析，A公司對所要應用的每一套信息數(shù)據(jù)系統(tǒng)都提出了詳細的業(yè)務需求，通過對比國內(nèi)外相關的信息系統(tǒng)，在綜合考慮需求滿足程度及成本等因素下，該公司選擇了一套國外的成熟軟件產(chǎn)品進行分步實施。再次，A公司通過對業(yè)務流程的分析，從業(yè)務的角度提出了企業(yè)的信息流程，明確了系統(tǒng)間所需要的的集成關系。為了較好的整合現(xiàn)有及未來的系統(tǒng)，實現(xiàn)信息的集成、共享與流轉(zhuǎn)，減少手工的干預，A公司提出了信息技術架構(gòu)及其整合方案，包括應用系統(tǒng)的組成與結(jié)構(gòu)、信息模型、信息和數(shù)據(jù)在應用系統(tǒng)之間的分布與流向、信息技術標準和規(guī)范等。同時，該公司還分析了目前在市場上較為主流的系統(tǒng)集成的技術和產(chǎn)品，在盡量確�，F(xiàn)有投資，同時又兼顧未來系統(tǒng)方便集成的原則指導下，該公司選擇了最合適的產(chǎn)品和技術對現(xiàn)有的系統(tǒng)進行分步整合。最后，A公司認為，對信息化的規(guī)劃建設來說還有一個十分重要的問題，即大數(shù)據(jù)在信息系統(tǒng)中的實施及資源配置計劃。只有明確了信息系統(tǒng)建設的時間表和優(yōu)先順序，才能更好地指導信息系統(tǒng)的實施。
因此，A公司在綜合分析了公司的未來戰(zhàn)略、發(fā)展方向、業(yè)務及系統(tǒng)現(xiàn)狀后，提出了大數(shù)據(jù)信息系統(tǒng)實施計劃。在該實施計劃中，不僅安排了實施的時間表，還給出了系統(tǒng)實施的大概預算及主要的產(chǎn)品供應商，同時提出系統(tǒng)實施需要注意的主要問題等，為以后幾年的信息數(shù)據(jù)化網(wǎng)絡建設提供了一個很好的依據(jù)和參考。
6結(jié)束語
總而言之，在當今信息知識跳躍式發(fā)展的今天，大數(shù)據(jù)技術已經(jīng)被廣泛應用于經(jīng)濟金融、醫(yī)療、工業(yè)等領域。隨著大數(shù)據(jù)技術的不斷發(fā)展，相關信息行業(yè)競相從規(guī)模龐大、結(jié)構(gòu)復雜的大數(shù)據(jù)海洋中攫取更多有價值的數(shù)據(jù)信息用于分析、解決現(xiàn)實生活中的一些實際問題。由于大數(shù)據(jù)技術在計算機信息系統(tǒng)中的運用，這就使得計算機信息系統(tǒng)得到了快速的發(fā)展，在今后，大數(shù)據(jù)技術在計算機信息系統(tǒng)中的作用將會越來越重要。
【大數(shù)據(jù)技術在計算機信息系統(tǒng)中的運用論文】相關文章：
4.計算機Web數(shù)據(jù)挖掘技術在現(xiàn)代商業(yè)中的應用論文