前言：本站為你精心整理了概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析的應(yīng)用范文，希望能為你的創(chuàng)作提供參考價(jià)值，我們的客服老師可以幫助你提供個(gè)性化的參考范文，歡迎咨詢(xún)。

【摘要】21世紀(jì)以來(lái)，互聯(lián)網(wǎng)的快速發(fā)展與推廣使數(shù)據(jù)呈現(xiàn)幾何倍數(shù)的增長(zhǎng)，這使我國(guó)迎來(lái)了大數(shù)據(jù)時(shí)代。由于大數(shù)據(jù)具備規(guī)模大、增長(zhǎng)快、稀疏性等特征，這也給大數(shù)據(jù)分析帶來(lái)較大困難。在大數(shù)據(jù)時(shí)代，利用概率論與數(shù)理統(tǒng)計(jì)方法來(lái)對(duì)繁雜數(shù)據(jù)進(jìn)行分析與挖掘不失為是一種簡(jiǎn)單高效的方法，為此，本文便對(duì)概率論與數(shù)理統(tǒng)計(jì)方法在大數(shù)據(jù)分析中的相關(guān)應(yīng)用策略進(jìn)行深入的探討。

【關(guān)鍵詞】概率論；數(shù)理統(tǒng)計(jì)；大數(shù)據(jù)；數(shù)據(jù)分析；應(yīng)用策略

0.引言

在人們的生產(chǎn)生活中，概率學(xué)知識(shí)在方方面面中得到了廣泛的應(yīng)用，它是我們對(duì)世界進(jìn)行更深刻認(rèn)識(shí)的重要工具，通過(guò)概率學(xué)與數(shù)理統(tǒng)計(jì)工具的應(yīng)用，能夠使人們對(duì)各種復(fù)雜的問(wèn)題及數(shù)據(jù)進(jìn)行冷靜科學(xué)的分析，從而使人們的生活質(zhì)量得到顯著提高，并且能夠根據(jù)已有的數(shù)據(jù)對(duì)事物的演變規(guī)律及發(fā)展趨勢(shì)進(jìn)行準(zhǔn)確預(yù)測(cè)。正是因?yàn)檫@些優(yōu)勢(shì)，使概率論與數(shù)理統(tǒng)計(jì)成為許多復(fù)雜問(wèn)題的指引。如今，人們對(duì)大數(shù)據(jù)的分析需求越來(lái)越迫切，這也使人們急需一種能夠適用于大數(shù)據(jù)分析的有效方法來(lái)解決實(shí)際生產(chǎn)生活中的復(fù)雜問(wèn)題。鑒于此，以下便對(duì)概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的相關(guān)應(yīng)用策略進(jìn)行探討，希望能為人們?cè)谏a(chǎn)生活中的大數(shù)據(jù)分析提供相應(yīng)的參考建議。

1.概率論與數(shù)理統(tǒng)計(jì)的含義

在高等數(shù)學(xué)中，概率論與數(shù)理統(tǒng)計(jì)方法一種具備鮮明特征的分析，其在研究對(duì)象上具有非常獨(dú)特的思維特征，并且它和其他學(xué)科特別是經(jīng)濟(jì)學(xué)科存在著非常緊密的聯(lián)系。概率論與數(shù)理統(tǒng)計(jì)的內(nèi)容非常豐富，這也使其成為數(shù)學(xué)學(xué)科中的重要組成部分。現(xiàn)階段，概率論與數(shù)理統(tǒng)計(jì)方法在各個(gè)領(lǐng)域中都得到了非常廣泛的應(yīng)用。從當(dāng)前來(lái)看，概率論與數(shù)理統(tǒng)計(jì)可以看作是一種較為獨(dú)立的學(xué)科，它在人們的生產(chǎn)生活當(dāng)中發(fā)揮著巨大的作用，不論是在工業(yè)領(lǐng)域還是在其他領(lǐng)域，概率論與數(shù)理統(tǒng)計(jì)方法對(duì)信息技術(shù)的要求都非常嚴(yán)格，利用概率論與數(shù)理統(tǒng)計(jì)方法在大數(shù)據(jù)分析中具有著無(wú)可比擬的優(yōu)勢(shì)。同時(shí)，其又不屬于獨(dú)立學(xué)科，這是因?yàn)樗推渌麑W(xué)科存在著緊密的內(nèi)在聯(lián)系，具有相互滲透的作用，正是因?yàn)楦怕收撆c數(shù)理統(tǒng)計(jì)的涵蓋范圍與應(yīng)用范圍非常廣泛，這也使人們難以對(duì)其進(jìn)行逐一解釋。因此，本文只對(duì)概率與數(shù)理統(tǒng)計(jì)在其中幾個(gè)方面中的應(yīng)用策略進(jìn)行了探討，以此明確概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)中的具體應(yīng)用及作用。

2.概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的密切聯(lián)系及常用方法

2.1概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的密切聯(lián)系

大數(shù)據(jù)時(shí)代的來(lái)臨，使人們能夠利用概率論與數(shù)理統(tǒng)計(jì)來(lái)對(duì)大數(shù)據(jù)進(jìn)行分析，這也使其和大數(shù)據(jù)分析具備著密切的聯(lián)系，其聯(lián)系主要集中在以下四個(gè)方面，首先，概率論與數(shù)理統(tǒng)計(jì)和大數(shù)據(jù)分析的研究目標(biāo)是相同的，都是為了對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行探索與明確，以此找出大數(shù)據(jù)的內(nèi)部聯(lián)系與規(guī)律。其次，大數(shù)據(jù)的不斷發(fā)展，使大數(shù)據(jù)分析為統(tǒng)計(jì)學(xué)開(kāi)拓出了一個(gè)新的應(yīng)用空間，這也為概率論與數(shù)理統(tǒng)計(jì)的研究提供了一個(gè)全新的課題，通過(guò)對(duì)大數(shù)據(jù)的分析，能夠極大程度的推動(dòng)概率論與數(shù)理統(tǒng)計(jì)的發(fā)展。再次，大數(shù)據(jù)分析并不屬于統(tǒng)計(jì)學(xué)中的一種分支，大數(shù)據(jù)分析還能夠廣泛應(yīng)用于其他領(lǐng)域當(dāng)中，能夠?yàn)槠渌I(lǐng)域提供新的思想、工具與方法，例如利用大數(shù)據(jù)分析可以使機(jī)器進(jìn)行學(xué)習(xí)，并能夠?qū)崿F(xiàn)數(shù)據(jù)存儲(chǔ)等。最后，概率論與數(shù)理統(tǒng)計(jì)是DM中一種應(yīng)用非常廣泛而又較為成熟的解決問(wèn)題方法與技術(shù)，其在DM中占據(jù)著極為重要的地位。

2.2概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的常用方法

概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的常用方法主要有兩種，一種是層次分析法，另一種是蒙特卡羅法，所謂層次分析法是指當(dāng)人們對(duì)某些不確定因素的演變規(guī)律及發(fā)展趨勢(shì)進(jìn)行研究時(shí)，必須要對(duì)這些因素的影響作用及相互聯(lián)系進(jìn)行綜合考慮，由于評(píng)價(jià)指標(biāo)中的這些不確定性因素是可以按照層次進(jìn)行劃分的，同時(shí)，在各個(gè)層次中的不確定性因素內(nèi)還包含著若干要素，這就使整個(gè)復(fù)雜問(wèn)題的結(jié)構(gòu)看上去是一種多級(jí)遞階結(jié)構(gòu)，在對(duì)這類(lèi)問(wèn)題進(jìn)行解決時(shí)，就可以采用層次分析法來(lái)對(duì)這些層次中的不確定性因素對(duì)于整個(gè)問(wèn)題的相對(duì)重要度進(jìn)行判斷，而這便產(chǎn)生了概率。在應(yīng)用層次分析法時(shí)，應(yīng)通過(guò)四個(gè)步驟來(lái)建立數(shù)學(xué)模型，第一個(gè)步驟是先對(duì)問(wèn)題中的各個(gè)因素進(jìn)行明確，然后對(duì)這些因素進(jìn)行層次劃分，使整個(gè)問(wèn)題的結(jié)構(gòu)屬于一種遞階層次結(jié)構(gòu)，然后以上一級(jí)的要素作為準(zhǔn)則來(lái)對(duì)下一級(jí)的要素實(shí)施兩兩對(duì)比，并按照評(píng)定尺度來(lái)對(duì)下一級(jí)要素對(duì)于上一級(jí)要素的重要程度進(jìn)行確定，并構(gòu)建出相應(yīng)的判斷矩陣，然后對(duì)問(wèn)題中的各個(gè)要素的相對(duì)重要度進(jìn)行計(jì)算，同時(shí)計(jì)算出該問(wèn)題的綜合重要度，進(jìn)而給決策者帶來(lái)可靠的決策支持保證。蒙特卡羅法則是在概率論與數(shù)理統(tǒng)計(jì)的基礎(chǔ)上對(duì)問(wèn)題中的不確定性因素進(jìn)行反復(fù)隨機(jī)的抽樣，以此模擬出該不確定性因素的自身變化給問(wèn)題帶來(lái)的影響程度，并對(duì)問(wèn)題中的所有不確定因素給問(wèn)題帶來(lái)的影響進(jìn)行計(jì)算分析，進(jìn)而獲得科學(xué)的分析結(jié)果。蒙特卡羅法能夠?qū)?wèn)題的實(shí)際過(guò)程進(jìn)行真實(shí)模擬，這也使其在對(duì)實(shí)際問(wèn)題的解決上具有十分顯著的效果。蒙特卡羅法的數(shù)學(xué)表達(dá)式是Z=k(x1,x2,x3,...,xn)，在該數(shù)學(xué)表達(dá)式中，xi(i=1,2,3,...,n)代表該復(fù)雜問(wèn)題中存在n個(gè)互相獨(dú)立的隨機(jī)變量，例如在對(duì)問(wèn)題產(chǎn)生影響的所有不確定性因素中，這些不確定性因素便是變量且呈概率分布特征，n個(gè)變量的函數(shù)則是Z，而這也正是需要求解的目標(biāo)。

3.概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的應(yīng)用策略

3.1概率論與數(shù)理統(tǒng)計(jì)在經(jīng)濟(jì)數(shù)據(jù)分析中的應(yīng)用策略

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)對(duì)于經(jīng)濟(jì)的作用是不言而喻的，而在各種類(lèi)型的數(shù)據(jù)當(dāng)中，經(jīng)濟(jì)數(shù)據(jù)是最為常見(jiàn)的類(lèi)型，對(duì)這些經(jīng)濟(jì)數(shù)據(jù)的分析對(duì)于推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展具有著十分重要的意義。由于經(jīng)濟(jì)數(shù)據(jù)在互聯(lián)網(wǎng)中是以低密度形式存在的，這也給人們對(duì)經(jīng)濟(jì)數(shù)據(jù)的分析帶來(lái)較大的難度。而利用概率論與數(shù)理統(tǒng)計(jì)來(lái)對(duì)經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析，則不失為一種簡(jiǎn)單而有效的方法。例如，利用正態(tài)概率分布方法來(lái)對(duì)經(jīng)濟(jì)數(shù)據(jù)分析，該方法能夠?qū)B續(xù)性隨機(jī)變量的概率進(jìn)行預(yù)測(cè)與描述，而這種概率方法也被普遍應(yīng)用到經(jīng)濟(jì)金融管理領(lǐng)域當(dāng)中。利用該方法能夠使人們能過(guò)概率論與數(shù)理統(tǒng)計(jì)來(lái)對(duì)概率的所有相關(guān)信息進(jìn)行快速而又高效的分析，并按照分析結(jié)果來(lái)對(duì)市場(chǎng)經(jīng)濟(jì)狀況進(jìn)行實(shí)時(shí)掌握，使人們能夠了解市場(chǎng)經(jīng)濟(jì)規(guī)律，并從中分析出更多的經(jīng)濟(jì)信息，通過(guò)這些信息的幫助來(lái)對(duì)后續(xù)的決策與計(jì)劃進(jìn)行靈活的制定與調(diào)整。經(jīng)濟(jì)市場(chǎng)是變幻莫測(cè)的，但在變化上卻不會(huì)過(guò)于離譜，而對(duì)經(jīng)濟(jì)數(shù)據(jù)的分析除了要對(duì)經(jīng)濟(jì)市場(chǎng)的變化規(guī)律及發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)，還要考慮經(jīng)濟(jì)市場(chǎng)中的風(fēng)險(xiǎn)性，風(fēng)險(xiǎn)的存在是利益的獲取并不總是一成不變的，但通過(guò)對(duì)經(jīng)濟(jì)數(shù)據(jù)的分析能夠找出相應(yīng)的應(yīng)對(duì)措施來(lái)避免這些問(wèn)題。對(duì)于經(jīng)濟(jì)風(fēng)險(xiǎn)來(lái)說(shuō)，要想避免經(jīng)濟(jì)風(fēng)險(xiǎn)的產(chǎn)生，利用概率論與數(shù)理統(tǒng)計(jì)能夠有效降低經(jīng)濟(jì)風(fēng)險(xiǎn)的發(fā)生概率，而這也是人們最常采用的應(yīng)對(duì)方法。以股票投資為例，利用概率論與數(shù)理統(tǒng)計(jì)方法來(lái)對(duì)經(jīng)濟(jì)數(shù)據(jù)進(jìn)行分析，可以顯而易見(jiàn)的看出投資股票的數(shù)量越多，則利潤(rùn)的產(chǎn)生概率要比投資股票數(shù)量少的要高的多，而這正是通過(guò)概率論與數(shù)理統(tǒng)計(jì)方法得到的，因此，在投資決策中，更多的投資者往往會(huì)將資金分散到更多的股票當(dāng)中來(lái)降低風(fēng)險(xiǎn)，而這就使投資者的利潤(rùn)獲得概率大大提高，由此可見(jiàn)，概率論與數(shù)理統(tǒng)計(jì)在經(jīng)濟(jì)數(shù)據(jù)分析中具有顯著的作用。

3.2概率論與數(shù)理統(tǒng)計(jì)在商業(yè)數(shù)據(jù)分析中的應(yīng)用策略

在大數(shù)據(jù)環(huán)境中，商業(yè)數(shù)據(jù)對(duì)于企業(yè)的重要性是不言而喻的，商業(yè)數(shù)據(jù)與經(jīng)濟(jì)數(shù)據(jù)存在一定的聯(lián)系，商業(yè)數(shù)據(jù)屬于經(jīng)濟(jì)數(shù)據(jù)的一種，但經(jīng)濟(jì)數(shù)據(jù)卻不一定是商業(yè)數(shù)據(jù)。企業(yè)在對(duì)商業(yè)數(shù)據(jù)進(jìn)行分析時(shí)，概率論與數(shù)理統(tǒng)計(jì)是最為常用的一種方法。以商業(yè)數(shù)據(jù)中的大客戶(hù)流失概率為例來(lái)對(duì)概率論與數(shù)理統(tǒng)計(jì)在商業(yè)數(shù)據(jù)中的應(yīng)用策略進(jìn)行探討。首先需要建立研究模型，在模型建立時(shí)需要確保滿(mǎn)足以下條件，其一是大客戶(hù)的基本屬性應(yīng)當(dāng)是相近的，并且流失數(shù)據(jù)能夠滿(mǎn)足相同的流失函數(shù)f0(t)。其二是流失數(shù)據(jù)的分布條件均來(lái)自于流失函數(shù)指數(shù)項(xiàng)exp(c,zi)T，然后找出哪些因素給大客戶(hù)的流失概率造成較大影響，對(duì)數(shù)h0(t)據(jù)進(jìn)行歸類(lèi)并設(shè)定特定時(shí)段，然后對(duì)特定情況中的大客戶(hù)流失情況進(jìn)行匯總，并獲得流失情況走勢(shì)圖，然后計(jì)算出走勢(shì)圖的標(biāo)準(zhǔn)函數(shù)，即F(t,ziT)=f0(t)•exp(c,ziT)，進(jìn)而獲得某個(gè)確定客戶(hù)在某一時(shí)間中的流失概率與所在流失函數(shù)中的位置，客戶(hù)在[0,T]時(shí)期內(nèi)的流失概率為p=exp(-T0乙F(t,ziT)dt)，p維回歸參數(shù)的向量為c，p維協(xié)變量向量為ZiT，并將該協(xié)變量當(dāng)作一種影響因素進(jìn)行定義，進(jìn)而完成研究模型的構(gòu)建。其次，在研究模型建立后，便要選擇參數(shù)與協(xié)變量，然后通過(guò)最大偏似然函數(shù)對(duì)這些選擇的回歸參數(shù)進(jìn)行計(jì)算。由于計(jì)算過(guò)程中對(duì)于大客戶(hù)流失的影響因素有多個(gè)，如果將所有因素全部定義成協(xié)變量，則會(huì)使模型維數(shù)更多，進(jìn)而使參數(shù)估計(jì)難度大大提升，這也使參數(shù)的估計(jì)正確率無(wú)法得到保證。因此，需要對(duì)這些因素進(jìn)行選擇性使用，為了對(duì)協(xié)變量的數(shù)量進(jìn)行確定，應(yīng)按照數(shù)理統(tǒng)計(jì)結(jié)果進(jìn)行篩選，這樣才能避免錯(cuò)誤的產(chǎn)生。

4.結(jié)語(yǔ)

綜上所述，概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中的作用是非常明顯的，現(xiàn)如今，概率論與數(shù)理統(tǒng)計(jì)在大數(shù)據(jù)分析中已經(jīng)不再是一種輔助分析工具，更是一個(gè)簡(jiǎn)單而又高效的分析方法。通過(guò)概率論與數(shù)理統(tǒng)計(jì)的應(yīng)用，對(duì)于大數(shù)據(jù)中各類(lèi)數(shù)據(jù)的過(guò)程、趨勢(shì)、效果等都已經(jīng)成為人們進(jìn)行數(shù)據(jù)分析時(shí)的分析對(duì)象。面對(duì)大數(shù)據(jù)的高速增長(zhǎng)趨勢(shì)，應(yīng)用概率論與數(shù)理統(tǒng)計(jì)來(lái)進(jìn)行大數(shù)據(jù)分析，將更有助于推動(dòng)人們生產(chǎn)生活的發(fā)展，促進(jìn)我國(guó)經(jīng)濟(jì)的快速增長(zhǎng)。

【參考文獻(xiàn)】

［1］高僑,周琦.概率論與數(shù)理統(tǒng)計(jì)在日常生活中的應(yīng)用研究[J].數(shù)學(xué)學(xué)習(xí)與研究,2015,(19):132.

［2］王淑玲.概率論與數(shù)理統(tǒng)計(jì)在經(jīng)濟(jì)生活中的應(yīng)用[J].科技信息,2009,(21):224.

［3］許可.概率論與數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用[J].科技信息(學(xué)術(shù)研究),2008,(10):110-111+114.

［4］黨瑋.概率論與數(shù)理統(tǒng)計(jì)分析方法在商業(yè)企業(yè)中的應(yīng)用[J].商場(chǎng)現(xiàn)代化,2006,(21):31-32.

作者:姜權(quán) 單位:大同大學(xué)渾源師范分校