ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 155 -支援向量机於信用评等之应用*黄承龙 **陈穆臻 ***王界人*高雄第一科技大学 资讯管理系e-mail: cl.huang@msa.hinet.net**国立台北科技大学 经营管理系e-mail: bmcchen@ntut.edu.tw***华梵大学 资讯管理系e-mail: m9225002@cat.hfu.edu.tw摘 要由於信用卡被广泛的使用,各银行累积相当多信用卡有关的资料,所以如何利用这些资料来对未来的发卡用户进行信用判断就相当重要.支援向量机(Support VectorMachine)分类法,近几年来被广泛地运用在解决各领域的分类问题.本研究尝试以支援向量机来解决信用卡分类问题,然而,使用不同的核心函数来建立支援向量机分类系统,会有不同的参数需要设定,而使用不同的参数将会影响到支援向量机分类的正确率.本研究使用格子点演算法来调整支援向量机的参数,使支援向量机有最佳的分类能力.实验资料取自 UCI 资料库之信用卡领域两个资料集,以支援向量机建立分类器,实验结果显示依据支援向量机演算法建立的分类系统,在分类的正确率有不错的表现.关键字:支援向量机,格子点演算法,资料探勘,分类.一,绪 论由於国内发卡银行积极推广市场,信用卡使用率持续快速成长,信用卡变成金融银行很重要的服务项目与收入来源之一.然而,随着信用卡的普及使用,相对的信用卡之犯罪率也持续扩大成长.依据财政部金融局之资料显示,至 92 年 5 月止国内发卡数已超过 6 千万张,流通卡量也达 3 千 4 百万张以上,而在市场快速成长同时,信用卡犯罪也随之升高,银行伪卡风险损失提高,92 年超过新台币三十亿元以上[1].支援向量机於信用评等之应用- 156 -信用卡诈欺问题是金融发卡界最急欲解决的问题.如果可以利用资讯系统帮助信用卡发卡者进行诈欺侦测,当有新的用户申请发卡时,先对其进行信用评估来考虑是否发卡,这样应该可以降低信用卡诈欺的风险,减少银行的损失.目前常使用诈欺侦测的方法就是资料探勘(Data Mining),资料探勘是由大量资料中探勘出不明确的,未知的以及潜在的有用资讯之过程[2],利用资料探勘技术之预测能力,建构出一套信用卡授信决策模式,判断是否核卡及授权以减少呆帐,可以帮助银行发卡决策者做出正确的决策.资料探勘有许多不同的功能,如分类(Classification),预测(Prediction),关联法则(Association),分群(Clustering)等.其中「分类」是从已定义类别的属性集合中,根据目标属性建立出在资料间的法则,来描述属性与类别之间关系的模型,此模型可以对其它新的未知资料进行分类,以得到决策的依据.分类问题是资料探勘或者机器学习领域最常被探讨的问题,而在资料探勘演算法中可以做分类的方法有很多,例如:统计方法,类神经网路,决策树等[3],各适用在不同的情况与资料性质.资料探勘应用於信用卡诈欺侦测已有不错的成果,如:最近邻居法(k-Nearest Neighbor)[4],逻辑斯回归法(LogisticRegression)[5],类神经网路[6~10]和决策树[11~13]等方法,皆能有效分类申请者之客户类型.除了上述的方法外,近几年中又有许多新的方法被提出,支援向量机(Support VectorMachine;SVM)是其中之一.支援向量机是由统计学习理论(Statistical Learning Theory)衍 生 而 成 的 学 习 演 算 法 , 从 统 计 学 习 理 论 中 的 简 易 向 量 分 类 器 (Simple VectorClassifiers),逐渐发展成为超平面分类器(Hyperplane Classifiers),到目前大家所熟悉的支援向量分类器(Support Vector Classifiers)[14].支援向量机在处理分类与预测方面的问题都有不错的表现,且广泛的运用於不同的领域,例如:影像辨识,手写辨识,文字分类与生物科技等相关分类问题都获得相当好的成果[15~17].支援向量机的参数设定对於分类器的正确率有相当大的影响,所以如何调整支援向量机参数来建立分类器就相当重要.现今调整参数常使用的演算法为格子点演算法(GridAlgorithm) [18,19].因此,本研究利用格子点演算法寻找支援向量机最佳化参数,来建立支援向量机的分类系统,提高分类的正确率.以信用卡资料集为实验对象,尝试使用支援向量机建立分类系统,以评估此法应用在信用卡资料之分类效果.後续章节将详细介绍支援向量机,实验资料,格子点演算法调整支援向量机参数之过程以及支援向量机分类法之实验结果.ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 157 -}1,1{,),,(),...,,( 11 ?∈∈ idiii yRxyxyx二,支援向量机简介支援向量机(Support Vector Machines;SVM)是由 Vapnik 在 1995 年和 AT&T 实验室团队所提出的一个新方法,其主要的理论是来自统计学习理论中结构化风险最小误差法(Structural Risk Minimization, SRM)[19].支援向量机最主要是利用区分超平面(SeparatingHyperplane) 来 分 隔 两 个 或 多 个 不 同 类 别 (Class) 的 资 料 , 处 理 资 料 探 勘 中 分 类(Classification)的问题.在典型的分类问题中,我们通常会定义以下基本的表示方法:ix :是一个向量,用来描述某笔 N 维资料的样式(Pattern)或是属性(Attribute),, 1,2,3,...Nix R i m∈ =iy :称为标注(Label)或是目标(Target),通常用{ 1}± 表示(假设我们的分类目标为两类),+1 和-1 皆表示两不同的类别(Class). { 1}, 1,2,3,...iy i m∈ ± =SVM 处理不同的问题又可分为线性支援向量机和非线性支援向量机两种不同的类型[21,22],以下将分别介绍.2.1 线性支援向量机线性支援向量机分类主要在输入的训练资料(Training Data)中,找出一个可以将资料分隔开最大边界(Margin)的区分超平面(Separating Hyperplane).如图 1,先定义区分平面之边界为d d+ ?+ ,d+ 和d? 分别表示标记为+1 和-1 不同类别的训练资料分别距离区分超平面之最短距离,此类型的资料必须符合下面的条件:现在如果有一个超平面,可以将这两类资料区分开来,则此超平面即可以称为区分超平面,落在区分超平面的所有的 x 必须满足, 0w x b? + = ,w 为超平面之法向量(NormalVector) , b 则 是 偏 移 量 . 所 以 我 们 可 以 把 ( )f x w x b= ? + 称 为 决 定 函 数 (DecisionFunction),当输入一笔测试资料(Test Data)时,就可以依据决定函数的值来分类.若( ) 0f x > ,则将该笔资料归类为+1,若 ( ) 0f x < 时就将该笔资料归类於-1.支援向量机就是希望可以在不同类别的资料中,找出最大边界(Margin)的区分超平面.我们可以从图一中发现超平面 0H , 1H , 2H 都可以达到区分类别的效果,而 0H 是支援向量机於信用评等之应用- 158 -最好的,因为 0H 与边界 A 和边界 B 的距离最大.这种型态的学习过程称为结构化风险最小误差法(Structural Risk Minimization;SRM)其目的就是希望分类器能在期望的误差(Expected Risk)中找到最小值.图一 最佳化区分超平面以下是支援向量机的演算法,先定义区分平面之边界为 d d+ ?+ , d+ 和 d? 分别表示标记为+1 类别和-1 类别距离区分超平面之最短距离,此类型的资料必须符合下面的条件:1+≥+? bwxi for 1+=iy (1)1?≤+? bwxi for 1?=iy (2)可将方程式(1)和方程式(2)两式结合成以下不等式:01)( ≥?+? bwxy ii i? (3)由(1)(2)分别到 0=+? bxw 的距离为1w,也就是说1d dw+ ?= = ,所以边界为2w.如果我们要寻找区分平面的最大边界,就如同在符合限制式(3)的条件之下,求的2w 最小值.在限制式(3)中,如果有任何一个 ix 可使得等号成立,我们即可称 ix 为支援向量(Support Vector).如图二,使用二维度的训练资料为例,用圆形圈起来的资料点即称为支援向量.ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 159 -图二 最大边界图在限制式(3)的情况下,求2w 的最小值,可以利用拉格蓝吉(Lagrange)最佳化问题来处理,使用拉格蓝吉最佳化方法有两个理由:第一,限制式(3)可以被拉格蓝吉系数(Lagrange Multipliers)取代,更容易处理;第二,经过整理後的公式中训练资料将可以用向量内积的形式来表示,方便计算.Lagrange function 表示如下:∑∑ ==?+??=≡miimiiiip bxwywwLL112])([21),( ααα (4)其中拉格蓝吉系数 , 1,2,3,...i i mα = 对应到方程式(3)中的每一个不等式,且 0iα > .这样我们就可以把原本的问题转变成求 pL 最小值且限制式为 0iα > .此时,使用拉格蓝吉最佳化对偶问题(Lagrange Dual Optimization Problem)来解决,先对方程式(4)的 w 和 b偏微分:0=??pLw, 求得 ∑==miiii xyw1α (5)0=??pLb, 求得 01=∑=miii yα (6)将方程式(5),方程式(6)代入方程式(4)後,整理後可以得到方程式(7),我们给予这个函式一个新的符号 DL 以避免混淆,原本求 PL 的最小值问题,其对偶问题变成求 DL 的最大值.支援向量机於信用评等之应用- 160 -)(210,1jijmjiijimiiD xxyyL ??= ∑∑ ==ααα (7)Subject to: 0≥iα mi ,...,1= and 01=∑=miii yα根据 Karush Kuhn-Tucker(KKT)理论[23],代入最佳化解 * *( , )w b 将可以得到方程式(8),且 *iα 之值必定大於或等於零,所以说如果 *iα 之值大於零则 * *( 1)i i iy w x b< ? > + ? 必定是等於零.0)]1([ **1**=?+>?<∑=bxwy iimiiiα (8)这意思就是说如果有 ix 可以满足上式,这些 ix 就是最接近最佳化区分超平面的向量,也就是说如果有一个 ix 的 *0iα ≥ ,则该 ix 即可称为支援向量.所以我们找出支援向量後,即可找到最大边界.最後我们可以得到一个分类处理问题的函数:))(sgn()(1bxxyxfmijiii +??= ∑=α (9)当 ( ) 0f x > 时,表示该笔资料与标注为"+1"的资料属於同一类;反之则是属於另外一类.2.2 非线性支援向量机在现实世界中并不是所有的资料都可以找到线性区分超平面,所以如果遇到非线性方面的问题,在原始资料空间中无法找到线性区分超平面.Boser 和 Vapnik[24]等人针对非线性函数的问题,发现如果将原始资料透过非线性的映射函数Φ 转换到另外一个较高维度的特徵空间(Feature Space)中( FRd→Φ : ),然後在特徵空间上执行线性分类,可以获得更好的正确率,请参考图三.图三 原始资料透过Φ 转换到特徵空间中ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 161 -在最佳化对偶问题(7)中,( i jx x? )会影响到最後结果,如果将资料转换到特徵空间中最後会影响结果的就是 ( ) ( )i jx xΦ ?Φ ,而 ( )ixΦ 和 ( )jxΦ 的内积则可以用核心函数(KernelFunction)来取代,因此只要利用核心函数计算出资料在特徵空间的内积值,就不需要直接把资料映射到特徵空间:))()((:),( jiji xxxxk Φ?Φ= (10)所以非线性支援向量机所处理的最佳化问题函式可改写为:)(210,1jijmjiijimiiD xxkyyL ??= ∑∑ ==ααα (11)Subject to: Ci ≤≤ α0 1,2,3,...i m= and 01=∑=miii yα常用的核心函数有线性(Linear),多项式(Polynomial),放射(Radial Basis Function;RBF) 和 S 型(Sigmoid)等 4 种[24].每个核心函数都有不同的参数,使用者必须依据不同的核心函数调整.Linear kernel: ( , ) Ti j i jk x x x x= ?Polynomial kernel: ( , ) (1 )di j i jk x x x x= + ?Radial Basis Function kernel:2( , ) exp( )i j i jk x x x xγ= ? ?Sigmoid kernel: ( , ) tanh( )i j i jk x x kx x δ= ? ?本研究采用放射型(RBF)核心函数来建立分类系统,因为放射型函数能分类非线性且高维度的资料,而需调整的参数只有 C 和γ两个,是选择核心函数的优先选择[25].三,以支援向量机建立信用卡资料分类系统3.1 实验资料本研究实验采用 UCI 资料库[26]之两个信用卡资料集,资料集摘要如下:支援向量机於信用评等之应用- 162 -1. Australian credit database澳洲信用卡公司的 690 个案例,根据申请人特徵决定是否发卡,总共有 15 个属性,其中包含 6 个连续型属性,8 个名目型属性和 1 个目标属性(接受或拒绝).目标属性中共有 307 个接受案例,383 个拒绝案例,这个资料集的特色是在连续属性的部分,最大值跟最小值的差距相当大.2. German credit database有 1000 位德国客户的信用卡审核资料,共有 24 个连续型属性和一个目标属性(接受或拒绝).这 24 个属性描述客户的情况,包含了 credit history,account balance,loanpurpose,loan amount,employment status,personal information,age, housing 与 job,目标属性共有 700 个接受案例,有 300 个拒绝案例.3.2 分类实验方式一般来说,正确率的评估有许多种,较常用的正确率评估方式为 Holdout,Bootstrap和 Cross-Validation 这 三 种 正 确 率 的 评 估 方 法 [27,28] , 本 研 究 使 用 的 方 法 是k-fold-cross-validation[29],此法是将资料分成大小相等 k 个部分,而且这 k 群资料彼此之间互斥,例如将资料集 A 分成 k 个部分 1 2{ , ,..., }kA A A .使用此方法,必须进行 k 次训练和测试,轮流以 , {1,2,..., }tA t k∈ 为测试资料,剩下的资料为训练资料,以测试资料验证其正确率.进行 k 次後,再将 k 次的正确率加以平均求得此模型最後的平均正确率,这种方式能确保每笔资料皆能当作测试资料,而且全部的测试样本都是独立的.本研究以 10 组交叉验证(k=10)的方式,将资料集随机分成 10 组,每一组轮流当作测试样本,其它则当作训练样本,也就是共有 10 组不同的训练样本和测试样本.如此执行 10 次後,得到 10 组分类正确率,再平均 10 组分类正确率则是该资料集的平均正确率.3.3 属性筛选当进行资料探勘时,探勘的资料集可能会有相当多的属性,但并非每个属性都重要,也就是说,某些属性可能对目标值的影响相当小,甚至没有.我们可以去除这些不重要的属性以提高资料探勘的正确率和电脑的运算效率.属性筛选的方法相当多,如:逐步回归法(Stepwise Regression),熵法(Entropy),特徵权重法( Feature Weighting Methods)ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 163 -[30],在传统统计和资料探勘属性筛选中,逐步回归属性筛选法是经常使用的方法之一[31],本研究尝试采用逐步回归进行属性筛选,删除对目标属性影响较小的输入属性,减少建立分类器时电脑运算所需要的时间,并把筛选後的正确率与未经属性筛选的原始资料所计算出的正确率进行比较,比较是否有显着的差异.逐步回归所删除与保留的属性如表一,澳洲资料集总共筛选掉 7 个属性,德国资料集筛选掉 12 个,皆占全部属性的 50﹪,「逐步回归保留属性」资料栏中的每个数字则是代表资料集中第几项的属性被保留下来.表一 属性筛选後保留的属性资料集 原始属性数 筛选後属性数 逐步回归保留属性澳洲 14 7 4,5,8,9,10,13,14德国 24 12 1,2,3,5,6,7,9,11,15,16,17,213.4 以支援向量机建立分类系统本研究以 LIBSVM [32]在 Python 的环境下进行支援向量机的处理,处理的流程如图4,分为四个步骤,详细步骤说明如下.步骤一:尺度化把原始资料进行尺度化(Scaling),尺度化就是把属性的数值转换到特定范围内,执行这个步骤最主要的目的是不要让数字的范围过大,控制在一定区间的范围内,以增加支援向量机正确性.一般来说大多把所有属性值转换到 1 到-1 或是 1 到 0 之间,使用的公式如(12),v 是原始资料,而v′是经过转换的资料,maxa ,mina 分别代表尺度化之上界(Upper bound)与下界(Low bound).minmax minaa avv?′ =?(12)步骤二:10 组交叉验证将资料集随机分成 10 组,每一组轮流当作测试样本,其余 9 组则当作训练样本.支援向量机於信用评等之应用- 164 -图四 SVM 建立分类系统之流程图步骤三:建立分类系统使用支援向量机法的 RBF 核心函数来建立分类系统,使用不同的 C 和 γ 参数会产生不同的正确率,所以如何找到最佳化的 C 和 γ 来建立分类系统是重要的关键.为了寻找最佳化 C 和 γ,我们把占全部资料 90%的训练资料集,进行第二次的交叉验证,也就是把这 90%的训练资料再做 5 组交叉验证(k=5),使用格子点演算(Grid algorithm)来寻找最佳化参数 C 和 γ.所谓格子点演算法,就是把不同的 C 与γ值的可能解组合(C , γ),以支援向量机算出其正确率.在这个演算过程中,当正确率更高的解被找到的时候,其它正确率比目前最佳解低的点就会被去除.如果最佳解并不只一组,再对每一组解的周围做细部寻找,例如:有一组解为(2,2),则我们会对(2.1,2.1)或是(1.9,1.9)等周围的解做尝试,直到找到最佳解为止.格子点法会计算各种可能的解组合(C , γ)之正确率,以德国资料集为例,图 5 为根据不同正确率的解,所画出的等高线图,不同的等高线代表不同(C , γ)的正确率.ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 165 -图五 正确率等高线图使用格子点演算法来进行支援向量机参数调整过程如下:随机产生一组 C 和 γ 代入SVM 分类器,把 SVM 分类器所产生的分类结果与测试资料的目标属性比对计算正确率,并判断是否满足结束条件.结束条件通常由使用者定义,一般都是设定正确率达到某个程度,最佳预期的正确率通常为 100%,但并不是每个资料集都有可能达到这样的目标,所以使用者可以针对不同的资料集做适当的调整.如果满足结束条件则会得到最佳化的参数(C, γ),如果不满足,则使用格子点演算法来寻找,直到满足结束条件为止其流程图如图六,最後我们就可以用最佳化的 C 和 γ 参数来建立分类器.图六 格子点演算法调整参数流程图支援向量机於信用评等之应用- 166 -步骤四:计算分类正确率最後把测试资料代入最佳化的分类系统,并且计算出正确率.四,实验结果所得到的正确率及最佳化的(C, γ)参数值与平均正确率如表二和表三,常用来衡量分类成功与否的标准为计算分类正确率(Accuracy Rate),即正确分类的笔数占全部资料集笔数的比例,在德国资料集中,使用原始资料所得到的平均正确率为 76%,而经过属性筛选资料所得到的平均正确率为 76.8%.在澳洲资料集中,使用原始资料所得到的平均正确率为 84.7%,而经过属性筛选资料所得到的平均正确率为 85.4%.为了比较属性筛选对正确率是否有影响,以无母数检定中两个相关样本的 Wilcoxon符号等级检定(Signed Rank Test)对德国资料集,澳洲资料集之正确率进行检定,得到 p-值在德国与澳洲资料集中分别为 0.234 和 0.129,皆大於 0.05,表示原始资料是否经过属性筛选其正确率并没有显着差异.表二 SVM 对德国资料所计算出的正确率(%),C 和 γ 值原始资料 经过属性筛选德国 正确率% 最佳化 C 最佳化 γ 正确率% 最佳化 C 最佳化 γ第 1 组 77 2048 0.000488281 77 2048 77第 2 组 74 8 0.0078125 72 512 74第 3 组 77 512 0.001953125 80 512 77第 4 组 81 8192 0.00012207 81 512 81第 5 组 74 512 0.00012207 74 8 74第 6 组 78 128 0.000488281 78 8 78第 7 组 81 32768 0.000035 83 2048 81第 8 组 72 8 0.0078125 74 2048 72第 9 组 68 2048 0.00012207 71 512 68第 10 组 78 512 0.00012207 78 2048 78平均 76 76.8ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 167 -表三 SVM 对澳洲资料所计算出的正确率(%),C 和 γ 值原始资料 经过属性筛选澳洲 正确率% 最佳化 C 最佳化 γ 正确率% 最佳化 C 最佳化 γ第 1 组 85.5 0.03125 0.125 85.5 0.125 0.0078125第 2 组 76.8 0.03125 0.125 78.2 32768 0.03125第 3 组 76.8 128 0.03125 76.8 0.5 2第 4 组 86.9 32768 0.001953125 88.4 8192 0.03125第 5 组 91.3 0.5 0.001953125 86.9 8192 0.03125第 6 组 86.9 8192 0.001953125 89.8 32768 0.03125第 7 组 85.5 128 0.03125 86.9 2048 0.03125第 8 组 88.4 0.125 0.0078125 88.4 8192 0.125第 9 组 82.6 8192 0.001953125 84 2048 0.125第 10 组 86.9 0.125 0.0078125 89.8 32768 0.03125平均 84.7 85.4经过平均计算後是否经过属性筛选的分类正确率百分比如表四:表四 信用卡样本资料集的分类平均正确率(%)与属性数目未经属性筛选 经过属性筛选 检定方法资料集输入属性数平均正确率输入属性数平均正确率Wilcoxon之 p-值澳洲 14 84.7% 7 85.4% 0.129德国 24 76% 12 76.8% 0.234从实验的结果可以看到,在所有资料集中,支援向量机经过属性筛选後与原始资料所得到的正确率类似.经过属性筛选後,去除许多没有影响或是影响很小的属性,在建立分类器时减少了许多计算时间,提高执行的效率,而且可以发现正确率并没有显着的下降,所以利用回归来进行属性筛选是一种可以被接受的方法.支援向量机於信用评等之应用- 168 -五,结 论随着信用卡发卡量的快速增加,信用卡的犯罪也随之升高,利用资料探勘的工具对发卡用户进行诈欺侦测是逐渐被广於使用的方式,预测发卡用户的信用评等,以减少银行的损失.本研究以支援向量机演算法建立分类系统,并利用格子点演算法调整支援向量机之参数,建立最佳化的支援向量机分类系统,并且利用逐步回归进行属性筛选,最後以信用卡资料集实验,发现以支援向量机建立的分类系统有良好的分类的效果.实验的结果显示,支援向量机对於信用卡诈欺侦测的准确度皆能够达到一般实务上的要求,再对有属性筛选,无属性筛选的两个支援向量机分类结果进行无母数检定後,发现两者的正确率没有显着差异,但经过属性筛选後所建立支援向量机分类器速度较快.以支援向量机分类器的预测能力,能够有效的协助管理者进行信用卡诈欺侦测与监控,本研究之结果可以提供金融界进行预防信用卡诈欺问题决策之参考.未来研究可以尝试采用不同的属性筛选方法,并搭配支援向量机分类器,以及使用本土资料进行信用卡评等之资料探勘.参考文献1.Bureau of Monetary Affairs, Financial Supervisory Commission, ROC.Available: http://www.boma.gov.tw/modules/ensection/english.php2.J. Han, M., Kamber, 2001, Data Mining: Concepts and Techniques, CA: Morgan KaufmannPublishers, San Francisco, USA.3.D. Michie, D. J. Spiegelhalter & C. C. Taylor, 1994, Machine learning, neural andstatistical classification, Ellis Horwood, New York.4.W. E. Henley, D. J. Hand, 1996, "A k-nearest neighbor classifier for assessing consumercredit risk," Statistician, vol. 44, pp. 77-95.5.W. E. Henley, 1995, Statistical aspects of credit scoring, Dissertation, The Open University,Milton Keynes, UK.6.R. Malhotra, D. K. Malhotra, 2002, "Differentiating between good credits and bad creditsusing neuro-fuzzy systems," European Journal of Operational Research, vol. 136, pp.ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 169 -190-211.7.D. West, 2000, "Neural network credit scoring models," Computers and OperationsResearch, vol. 27, pp.1131-1152.8.R. Brause, T. Langsdorf & M. Happ, 1999, "Neural data mining for credit card frauddetection," Proceedings 11thIEEE International Conference on Tools with Artificialintelligence, pp.103-106.9.P. K. Chan, W. Fan, A. L. Prodromidis & S. J. Stolfo, 1999, "Distributed data mining incredit card fraud Detection," IEEE Intelligent Systems, vol. 14, no. 6, pp. 67-74.10.S. Ghosh, D.L. Reilly, 1994, "Credit card fraud detection with a natural-network SystemSciences," Information Systems Proceedings of the 7thHawaii International Conference,vol. 3, pp.621-630.11.I. K. Sethi, M. Otten, 990, "Comparison between entropy net and decision tree classifiers,"IJCNN International Joint Conference, vol. 3, no. 1, pp.63-68.12.M. L. Hambaba, 1996, "Intelligent hybrid system for data mining," ComputationalIntelligence for Financial Engineering of the IEEE/IAFE.13.R. H. Davis, D. B. Edelman & A. J. Gammerman, 1992, "Machine learning algorithms forcredit-card applications," IMA Journal of Mathematics Applied in Business and Industry,vol. 4, pp.43-51.14.B. Sch?lkopf, A. J. Smola, 2000, Statistical learning and kernel methods, Cambridge,USA.15.M. Pontil, A. Verri, 1998, "Support vector machines for 3D object recognition", IEEETransaction On PAMI, vol. 20, pp.637-646.16.T. Joachims, 1998, "Text categorization with support vector machines", In Proceedings ofEuropean Conference on Machine Learning (ECML).17.M. Brown, W. Grundy, D. Lin, N. Cristianini, C. Sugnet, T. Furey, M. Ares & D. Haussler,1999, "Knowledge-base analysis of microarray gene expression data using support vectormachines", Technical report, University of California in Santa Cruz.18.C. W. Hsu, C. J. Lin, 2002, "A simple decomposition method for support vector Machine,"Machine Learning, vol. 46, pp.219-314.19.H.T. Lin, C.J. Lin, 2003, A study on sigmoid kernels for SVM and the training of non-PSDkernels by SMO-type methods, Technical report, Department of Computer Science &Information Engineering, National Taiwan University.支援向量机於信用评等之应用- 170 -20.V. N. Vapnik, 1995, The Nature of Statistical Learning Theory, Springer-Verlag, NY, USA.21.C. J. C. Burges, 1998, "A tutorial on support vector machines for pattern recognition,"Data Mining and Knowledge Discovery, vol. 2, no. 2, pp.955-974.22.B. Sch?lkopf, C. J. C. Burges & A. J. Smola, 1999, "Introduction to support vectorlearning, advances in kernel methods-support vector learning," Cambridge, MA, pp. 1-15.23.R. Fletcher, 1987, Practical methods of optimization, John Wiley and Sons, Inc., 2ndEdition.24.S. R. Gunn, 1998, "Support Vector machines for classification and regression," TechnicalRepor,t University of Southampton.25.C. W. Hsu, C. C. Chang & C. J. Lin, 2003, A practical guide to support vectorclassification. Available:http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf.26.S. Murthy, D. Aha, 1996, UCI repository of machine learning data tables. Available:http://www.ics.uci.edu/~mlearn/27.B. Elton, R. Tibshirani, 1995, "Cross-validation and the bootstrap: estimating the error rateof a prediction rule," Technical Report, Department of Statistics Stanford University.28.R. Kohavi, 1995, "a study of cross-validation and bootstrap for accuracy estimation andmodel selection," IJCAI, pp.1137-1145.29.S. L. Salzberg, 1997, On comparing classifiers: pitfalls to avoid and a recommendedapproach, Data Mining and Knowledge Discovery, Kluwer Academic Publishers, Boston.Manufactured in The Netherlands, vol. 1, pp.317–327.30.H. Liu, H. Motoda & L. Huan, 1998, Feature selection for knowledge discovery and datamining, Boston Kluwer, USA.31.P. Pudil, K. Fuka, K. Beránek & P. Dvorák, 1999, "Potential of artificial intelligence basedfeature selection methods in regression models," IEEE 3rdInternational Conference onComputational Intelligence and Multimedia Applications, pp.159-163.32.C. C. Chang, C. J. Lin, 2003, "LIBSVM: a library for support vector machine," Available:http://www.csie.ntu.edu.tw/~cjlin/libsvm/index.html.ISSN 1812-8572 (2004)计量管理期刊 vol. 1, no. 2, page 155~172- 171 -Credit Card Scoring by Support Vector Machine*Cheng-Lung Huang **Mu-Chen Chen ***Chieh-Jen Wang*Kaohsiung First University Department of Science & TechnologyE-mail: cl.huang@msa.hinet.net***Taipei University of Technology Department of Business ManagementE-mail: bmcchen@ntut.edu.tw**Huafan University Department of Information ManagementE-mail: m9225002@cat.hfu.edu.twAbstractCredit card industry grows rapidly recently, and thus huge of consumers' credit data arecollected by the credit card department of the bank. The credit card scoring manager oftenevaluates the consumer's credit with intuitive experience. However, with the supporting ofcredit classification model, the manager can accurately evaluate the applicant's credit score.Support Vector Machine (SVM) classification is currently an active research area, andsuccessfully solves classification problems in many domains. This study uses the GridAlgorithm to optimize the SVM classifier parameter, and the SVM classifier obtained toevaluate the applicant's credit score from the applicant's input features. Two credit carddatasets from UCI database are selected as the experimental data to demonstrate the accuracyof the SVM classifier. This study concludes that SVM is a promising addition to the existingmethods, and it can offer the manager an informative insight into credit scoring decisions.Keywords: Support vector machine, Grid algorithm, Data mining, Classification支援向量机於信用评等之应用- 172 -