用于電信業(yè)中無力償還客戶的決策支持的數(shù)據(jù)挖掘

,*,單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),Data mining for decision support on customer insolvency in telecom business,第一部分,應(yīng)用背景及客戶需求分析,為什么要建立這樣一個(gè)決策支持來區(qū)分無力償還客戶？,情況描述：,電信公司與其他服務(wù)提供公司一樣，經(jīng)常會(huì)遭受無力償還客戶（使用了所提供的服務(wù)卻沒有付費(fèi)）。盡管針對(duì)這些客戶采取了一定的預(yù)防措施，然而在大多數(shù)情況下，這些措施顯得太晚了，并且沒有顯著的作用。因此，一些客戶逃脫付費(fèi)的行為導(dǎo)致了公司財(cái)政遭受相當(dāng)大的損失。,解決方法,在電信行業(yè)壟斷局面被打破的今天，各方面競(jìng)爭(zhēng)日益激烈，偵測(cè)和預(yù)防此類行為對(duì)該行業(yè)來講是個(gè)重要的目標(biāo)。建立一個(gè)可以事先預(yù)測(cè)客戶無力償還行為的可用的模型，對(duì)服務(wù)供應(yīng)商來說就意味著一個(gè)有用的決策支持工具。,決定使用數(shù)據(jù)挖掘技術(shù)的原因,注意到電信公司收集到了大量的數(shù)據(jù)，這些數(shù)據(jù)涉及到公司與客戶間交流的多個(gè)不同方面，這些數(shù)據(jù)可能包含了關(guān)于無力償還預(yù)測(cè)的有價(jià)值的信息。比如：,a)客戶簡介,b)所使用的服務(wù),c)公司與客戶間的經(jīng)濟(jì)聯(lián)系,最終目標(biāo),與其他欺詐檢測(cè)問題中的欺詐者相似，普遍認(rèn)為無力償還客戶一般與其它客戶表現(xiàn)不同，尤其是在該要付費(fèi)的關(guān)鍵時(shí)期。,目標(biāo)：,揭示這些行為模式，可以把無力償還客戶同其他的客戶區(qū)別開來。,一些固有難題,一些固有的限制使得該研究是一個(gè)特殊的難題。,a),無力償還客戶的行為可歸結(jié)為欺詐性結(jié)果或一些不從屬客戶意愿的因素（如不可抗力、社會(huì)因素）。很明顯我們要研究的是前者，因?yàn)轭A(yù)測(cè)后者是相當(dāng)困難的，實(shí)際上，后者的存在使得對(duì)前者的確認(rèn)變得相當(dāng)困難。,b,）可獲得的數(shù)據(jù)集，常常以一種有限而失真的方式表現(xiàn)各個(gè)客戶。這是因?yàn)樾畔⒌膩碓粗幌抻陔娦殴疽约霸摴舅S護(hù)的關(guān)于客戶的信息。由于各種道德和法律因素，這些信息不能和其他來源的信息相互聯(lián)系，客戶只是被表示為某些服務(wù)的使用者，而沒有揭示其它可能影響客戶行為模式或無力償還行為的社會(huì)或財(cái)政方面的因素。,c),在大量可用的數(shù)據(jù)中，可以定義許多參數(shù)，常常由主要的交易數(shù)據(jù)演繹而來，可以描述客戶行為。絕大多數(shù)相關(guān)參數(shù)的選擇對(duì)我們的問題來講是個(gè)冗長乏味的過程，部分基于統(tǒng)計(jì)分析工具技術(shù)，部分基于相關(guān)研究人員對(duì)所給問題的參數(shù)重要性的理解。因此，確定這些參數(shù)的子集，并隨后使用適當(dāng)?shù)墓ぞ邅磉x出大部分相關(guān)參數(shù)是個(gè)關(guān)鍵的階段。,第二部分,類似應(yīng)用問題的回顧,電信,公,公司,對(duì),對(duì)無,力,力償,還,還客,戶,戶的,預(yù),預(yù)測(cè),和,和以,下,下幾,個(gè),個(gè)領(lǐng),域,域的,欺,欺詐,檢,檢測(cè),問,問題,相,相似,。,。,a),移,移動(dòng),通,通訊,b),常,常規(guī),通,通訊,c),信,信用,卡,卡或,名,名片,操,操作,幾個(gè),問,問題,的,的共,同,同點(diǎn),：,：,a),提供,服,服務(wù),的,的公,司,司收,入,入損,失,失顯,著,著，,超,超出,了,了允,許,許的,毛,毛差,額,額。,b),無法,預(yù),預(yù)測(cè),的,的人,類,類行,為,為給,欺,欺詐,檢,檢測(cè),帶,帶來,了,了相,當(dāng),當(dāng)大,的,的困,難,難。,c),只有,在,在處,理,理了,海,海量,數(shù),數(shù)據(jù),后,后才,能,能獲,取,取信,息,息。,d),欺詐,案,案例,很,很少,與,與合,法,法的,作,作比,。,。,第三,部,部分,無力,償,償還,檢,檢測(cè),KDD,過程,的,的結(jié),果,果,KDD的9個(gè),步,步驟,1),問題,定,定義,和,和應(yīng),用,用領(lǐng),域,域,2),創(chuàng)建,目,目標(biāo),數(shù),數(shù)據(jù),集,集,3),數(shù)據(jù),清,清洗,和,和預(yù),處,處理,4),數(shù)據(jù),縮,縮減,和,和投,影,影,5),選擇,數(shù),數(shù)據(jù),挖,挖掘,函,函數(shù),？,？,6),選擇,數(shù),數(shù)據(jù),挖,挖掘,算,算法,7),實(shí)施,數(shù),數(shù)據(jù),挖,挖掘,8),解釋,結(jié),結(jié)果,9),利用,發(fā),發(fā)現(xiàn),的,的知,識(shí),識(shí),1,）問,題,題定,義,義和,應(yīng),應(yīng)用,領(lǐng),領(lǐng)域,無力,償,償還,預(yù),預(yù)測(cè),的,的功,能,能：,可預(yù),測(cè),測(cè)拒,絕,絕在,接,接下,來,來的,支,支付,日,日拒,絕,絕支,付,付電,話,話帳,單,單的,無,無力,償,償還,客,客戶,，,，以,便,便于,電,電信,公,公司,仍,仍有,時(shí),時(shí)間,采,采取,預(yù),預(yù)防,措,措施,。,。,三個(gè),目,目標(biāo),為該,公,公司,設(shè),設(shè)定,的,的3,個(gè),個(gè)主,要,要目,標(biāo),標(biāo)：,1）,檢,檢測(cè),到,到盡,可,可能,多,多的,無,無力,償,償還,客,客戶,2）,最,最小,化,化虛,假,假警,報(bào),報(bào)，,比,比如,：,：有,償,償還,力,力的,客,客戶,被,被錯(cuò),判,判為,無,無力,償,償還,的,的客,戶,戶,3）,及,及時(shí),對(duì),對(duì)SP發(fā),出,出警,告,告以,便,便對(duì),可,可能,的,的無,力,力償,還,還者,采,采取,措,措施,。,。,帳單,過,過程,（,（,BP,）的,時(shí),時(shí)間,序,序列,圖,圖,研究,項(xiàng),項(xiàng)目,的,的任,務(wù),務(wù),調(diào)查,研,研究,如,如下,的,的假,設(shè),設(shè)：,無力,償,償還,客,客戶,在,在BP結(jié),束,束及,之,之前,的,的一,個(gè),個(gè)關(guān),鍵,鍵時(shí),期,期內(nèi),，,，他,們,們的,呼,呼叫,習(xí),習(xí)慣,和,和電,話,話使,用,用通,常,常會(huì),發(fā),發(fā)生,變,變化,。,。此,外,外，,呼,呼叫,習(xí),習(xí)慣,的,的改,變,變和,支,支護(hù),習(xí),習(xí)慣,的,的模,式,式都,被,被檢,驗(yàn),驗(yàn)是,否,否可,以,以對(duì),未,未來,的,的無,力,力償,還,還行,為,為進(jìn),行,行安,全,全的,預(yù),預(yù)測(cè),。,。,2,）建,立,立一,個(gè),個(gè)目,標(biāo),標(biāo)數(shù),據(jù),據(jù)集,客戶,行,行為,可,可能,由,由許,多,多特,征,征來,描,描述,，,，大,部,部分,不,不能,簡,簡單,的,的從,信,信息,系,系統(tǒng),和,和電,信,信設(shè),備,備操,作,作中,獲,獲得,。,。,對(duì)本,研,研究,來,來講,，,，可,得,得的,兩,兩種,數(shù),數(shù)據(jù),：,：,1.,統(tǒng)計(jì),客,客戶,信,信息,(,客戶,資,資料,),2.,可提,供,供帳,單,單信,息,息，,支,支付,行,行為,和,和電,話,話服,務(wù),務(wù)使,用,用情,況,況,(CDR),的時(shí),間,間依,賴,賴數(shù),據(jù),據(jù)。,涉及,的,的未,加,加工,數(shù),數(shù)據(jù),前提,：,：數(shù),據(jù),據(jù)被,整,整合,并,并保,存,存在,一,一個(gè),為,為此,研,研究,目,目標(biāo),而,而構(gòu),建,建的,數(shù),數(shù)據(jù),倉,倉庫,中,中。,在本,研,研究,中,中所,涉,涉及,的,的未,加,加工,數(shù),數(shù)據(jù),：,：,來自,客,客戶,資,資料,的,的客,戶,戶信,息,息,來自,交,交換,中,中心,的,的電,話,話連,接,接信,息,息,來自,帳,帳單,信,信息,系,系統(tǒng),的,的帳,單,單數(shù),據(jù),據(jù),來自,帳,帳單,信,信息,系,系統(tǒng),的,的客,戶,戶支,付,付報(bào),告,告,由于,支,支付,失,失敗,而,而引,起,起的,電,電話,連,連接,斷,斷開,報(bào),報(bào)告,支付,后,后電,話,話重,新,新連,接,接的,報(bào),報(bào)告,永久,廢,廢棄,合,合同,的,的報(bào),告,告,數(shù)據(jù),來,來源,情,情況,地域,跨,跨度,：,：,數(shù)據(jù),來,來自,三,三個(gè),不,不同,的,的地,域,域，,農(nóng),農(nóng)村,、,、半,農(nóng),農(nóng)村,、,、工,業(yè),業(yè)區(qū),/,城鎮(zhèn),。,。,數(shù)據(jù),量,量：,三,三個(gè),數(shù),數(shù)據(jù),的,的共,100,，,000,客戶,。,。,時(shí)間,跨,跨度,：,：,17,個(gè)月,，,，即,帳單,數(shù),數(shù)據(jù),從,從,10/19992/2001,；,呼叫,記,記錄,數(shù),數(shù)據(jù),從,從,8/199912/2000,。,總計(jì),有,有,10GB,的未,加,加工,數(shù),數(shù)據(jù),！,！,3),數(shù)據(jù),清,清洗,和,和預(yù),處,處理,任務(wù),：,：,評(píng)估,所,所收,集,集數(shù),據(jù),據(jù)的,質(zhì),質(zhì)量,，,，過,慮,慮掉,對(duì),對(duì)該,研,研究,無,無用,的,的信,息,息，,找,找出,數(shù),數(shù)據(jù),倉,倉庫,中,中各,種,種數(shù),據(jù),據(jù)項(xiàng),的,的內(nèi),在,在聯(lián),系,系。,方法,：,：,1.,去除,低,低費(fèi),用,用的,電,電話,呼,呼叫,。,。,2.,數(shù)據(jù),同,同步,。,。,4),數(shù)據(jù),縮,縮減,與,與投,影,影,在統(tǒng),計(jì),計(jì)推,理,理的,協(xié),協(xié)助,下,下，,對(duì),對(duì)一,些,些特,征,征進(jìn),行,行和,最,最終,目,目標(biāo),之,之間,的,的相,關(guān),關(guān)測(cè),試,試，,來,來揭,示,示有,區(qū),區(qū)分,力,力的,特,特征,，,，對(duì),此,此兩,類,類客,戶,戶分,類,類。,而,而那,些,些無,區(qū),區(qū)分,力,力的,特,特征,就,就被,去,去除,了,了。,在此,階,階段,所,所做,的,的統(tǒng),計(jì),計(jì)測(cè),試,試,1.,每個(gè),電,電話,帳,帳戶,都,都從,屬,屬于,23,種中,的,的某,一,一種,。,。使,用,用,chi-square,假設(shè),檢,檢驗(yàn),來,來核,對(duì),對(duì)不,同,同類,別,別的,電,電話,帳,帳戶,對(duì),對(duì)于,兩,兩類,客,客戶,的,的分,布,布獨(dú),立,立性,。,。,Reject,2.,計(jì)算,兩,兩類,客,客戶,的,的雙,月,月帳,單,單的,欠,欠費(fèi),平,平均,數(shù),數(shù)，,且,且發(fā),現(xiàn),現(xiàn)無,力,力償,還,還客,戶,戶的,尤,尤其,高,高。,該,該發(fā),現(xiàn),現(xiàn)在,所,所有,的,的電,話,話連,接,接種,類,類中,是,是一,致,致的,。,。為,證,證實(shí),此,此點(diǎn),實(shí),實(shí)施,了,了一,項(xiàng),項(xiàng)假,設(shè),設(shè)檢,驗(yàn),驗(yàn)：,兩,兩類,客,客戶,和,和不,同,同種,類,類的,帳,帳戶,的,的平,均,均欠,費(fèi),費(fèi)數(shù),是,是同,質(zhì),質(zhì)的,。,。,Reject,3.,對(duì)特,征,征“,雙,雙月,帳,帳單,的,的額,外,外收,費(fèi),費(fèi)”,在,在兩,類,類客,戶,戶和,不,不同,種,種類,帳,帳戶,中,中的,同,同質(zhì),性,性實(shí),施,施假,設(shè),設(shè)檢,驗(yàn),驗(yàn)。,證,證明,了,了兩,類,類用,戶,戶間,在,在此,特,特征,上,上差,異,異顯,著,著。,Reject,4.,對(duì)特,征,征“,分,分期,付,付款,”,”研,究,究一,個(gè),個(gè)客,戶,戶要,求,求分,期,期付,款,款的,次,次數(shù),。,。假,設(shè),設(shè)“,兩,兩類,客,客戶,中,中要,求,求分,期,期付,款,款的,客,客戶,的,的比,例,例相,同,同”,被,被拒,絕,絕。,證,證明,在,在兩,類,類客,戶,戶在,此,此特,征,征上,有,有明,顯,顯不,同,同。,Reject,5),定義,數(shù),數(shù)據(jù),挖,挖掘,功,功能,及,及特,征,征選,擇,擇,預(yù)測(cè),客,客戶,是,是否,是,是無,力,力償,還,還客,戶,戶可,以,以視,為,為一,個(gè),個(gè)分,類,類問,題,題，,該,該問,題,題具,有,有以,下,下特,征,征：,1.,在原,始,始數(shù),據(jù),據(jù)集,中,中，,已,已知,的,的帳,戶,戶組,中,中每,個(gè),個(gè),BP,期間,兩,兩類,客,客戶,的,的分,布,布非,常,常不,平,平均,，,，大,約,約有,99.3%,的有,力,力償,還,還客,戶,戶，,0.7%,的無,力,力償,還,還客,戶,戶。,2.,在數(shù),據(jù),據(jù)集,中,中無,力,力償,還,還客,戶,戶的,絕,絕對(duì),數(shù),數(shù)目,很,很小,，,，因,為,為在,每,每個(gè),已,已知,的,的,BP,期間,只,只有,幾,幾個(gè),無,無力,償,償還,客,客戶,的,的,case,。,3.,如前,所,所述,，,，兩,類,類的,錯(cuò),錯(cuò)分,引,引起,的,的代,價(jià),價(jià)不,同,同。,解決,方,方案,創(chuàng)建,一,一個(gè),新,新的,數(shù),數(shù)據(jù),集,集，,專,專用,于,于數(shù),據(jù),據(jù)挖,掘,掘功,能,能。,新數(shù),據(jù),據(jù)集,特,特性,目標(biāo),：,：創(chuàng),建,建一,個(gè),個(gè)有,力,力償,還,還客,戶,戶的,代,代表,性,性的,樣,樣本,，,，使,得,得算,法,法可,以,以有,效,效的,訓(xùn),訓(xùn)練,。,。,組,成,成,結(jié),結(jié),構(gòu),構(gòu),：,：,兩,兩,類,類,用,用,戶,戶,的,的,比,比,例,例,發(fā),發(fā),生,生,了,了,變,變,化,化,，,，,90%,的,有,有,力,力,償,償,還,還,客,客,戶,戶,，,，,10%,的,無,無,力,力,償,償,還,還,客,客,戶,戶,。,。,實(shí),現(xiàn),現(xiàn),方,方,法,法,：,：,保,保,留,留,原,原,始,始,數(shù),數(shù),據(jù),據(jù),集,集,