基于LightGBM算法的债券违约预测模型研究|毕设答辩|大数据专业项目|毕设项目|大数据专业

一、项目介绍研究背景债券市场是我国金融市场体系的重要形成局部近些年来它在我国服务实体经济改良资源安排支撑宏观调控等方面起到了不可或缺的作用按照《中国债券市场发展报告2024》的显示2024年我国债券市场规模稳定扩充全年各类债券发行量达到79.62万亿元到年底的时候托管总量为177万亿元债券交易一直都很活跃全年总共成交了2735.44万亿元《“十四五”规划和2035远景目标纲要》清楚表明要“逐步扩展债券市场规模”这表明在国家政策引领之下中国债券市场将会持续增长其在整体金融体系中的地位会越发关键。蔡青松、吴金迪、白宸宇提出基于可解释集成学习开展信贷违约预测[1]为本研究将可解释性分析融入债券违约机器学习预测模型构建提供了核心方法参考。陈诗一提出通过德国公司违约概率预测研究为我国信用风险管理提供国际经验[2]为本研究立足我国债券市场实际、借鉴国际违约预测研究思路搭建了研究视角。程楠楠提出基于 CatBoost-LightGBM 混合特征选择模型开展违约风险预测[3]为本研究选定 LightGBM 作为核心算法并重视特征选择环节奠定了算法选型基础。邓伟、夏晗景、刘冲提出研究债务风险防控与企业债券发行分化的关联机制[4]为本研究结合债券市场发行现状分析违约风险背景提供了现丁志国、丁垣竹、金龙提出从违约边界与效率缺口角度识别企业债务违约风险[5]为本研究界定债券违约风险特征、明确风险识别核心逻辑提供了理论支撑。市场规模持续扩大之际金融产品安全成了监管层与市场参与方关注的核心守住不出现系统性金融风险的底线乃是做到高质量发展目标的先决条件党二十大报告把“巩固并完善现代金融监管提升金融稳定保障体系”当作创建高水平社会主义市场经济体制的关键之举2023年中央金融工作会议同样表明要切实做好加强金融监管防范化解金融风险推进金融高质量发展等主要工作。国内债券市场持续扩张市场化程度逐步加深之际债券违约事件开始增多2014年3月出现的“11超日债”违约事件冲破了此前我国债券投资者普遍持有的“刚性兑付”观念。按照Wind数据库显示的数据从2018年起直至现在我国债券市场违约事件频繁发生2024年国内债券市场又有15家主体出现违约或者展期情况涉及金额共计594.31亿元人民币在这种逐步摒弃“刚性兑付”的中国债券市场环境之下确实给债券投资者造成了不少之前从未遭遇过的风险考验所以怎样减小投资风险创建起准确又高效的债券市场风险预测评价体系成了所有市场参与人员亟待解决的重要课题。传统的违约预测模型大多属于线性统计模型范畴Altman的Z - score模型及其派生模型就包含在内这些模型凭借一些严格假定形成起来极易受到主观评判及经验因素左右而且存在获取数据不易的情况所获数据既不周全又欠时效还无法很好地应对海量数据过分倚仗财务报表数据。相较而言机器学习算法处于人工智能的关键地位其自身属性正好可填补传统模型存在的漏洞给违约预测带来变革性的影响梯度加强决策树支持向量机之类的常见机器学习算法可以自主探寻并描绘变量之间繁杂的非线性联系更符合企业风险发展的真实轨迹而且具备很强的非线性拟合功能。 所以说大数据方法用于企业违约预测时可以给出更为精确完善又及时的预测成果从而有效地识别违约风险并采取相应措施。研究方法本文基于代价敏感学习和LightGBM算法构建债券违约风险预测评估模型。研究遵循“文献回顾—理论分析—模型构建—实证检验”的框架围绕“发债企业特征提取—风险识别模型构建—特征变量贡献度”的一体化研究思路进行了系统性探讨。马晓君、沙靖岚、牛雪琪提出基于 LightGBM 算法构建 P2P 项目信用评级模型[11]为本研究将建模分析法作为核心方法、优化 LightGBM 算法工程应用提供了直接参考。马晓青、刘莉亚、胡乃红等提出构建小企业信用评估模型并开展实证分析[12]为本研究运用文献综述法梳理信用评估模型构建流程、选取研究方法提供了经典范式。莫茜、高峰、董纪昌提出将行为评分模型应用于个人信用评估实践[13]为本研究运用比较分析法对比不同模型性能、完善模型评价方法提供了逻辑参考。潘泽清提出构建企业债务违约风险 Logistic 回归预警模型[14]为本研究在建模分析中纳入传统统计模型作为对比、优化研究方法体系提供了详细依据。施丹、姜国华提出研究会计信息在公司债信用等级迁移中的预测作用[15]为本研究在特征选择环节结合文献综述法筛选有效指标、完善研究方法提供了实证支撑。通过查阅大量国内外研究文献深入分析其研究方法与现状本文综合运用经济学、统计学与机器学习技术旨在有效地预测债券市场违约风险。研究方法主要包括1文献综述法全面整理国内外学者有关特征变量选取处理非平衡数据的方法以及债券违约风险预测模型的研究依照学者的研究分析来挑选最合适的风险预测指标和机器学习算法。2建模分析法本文利用代价敏感学习方法来解决债券违约样本存在严重不均衡的问题此方法可保留多数类样本的特征并加强对于少数类违约样本的识别能力文章利用大量机器学习模型来预测债券违约风险经由网格探寻和交叉验证逐步改良LightGBM算法模型的超参数从而改善预测性能优化模型对难以分类样本的识别能力有效地改善了模型的召回率和分类的均衡性为了改进模型的可解释性本文结合SHAP分析方法计算并显示各个特征变量对预测结果的具体贡献明确了模型在违约风险预测时的决策机制。3比较分析法本文旨在验证所提模型是否有效也要考察数据不平衡问题改良措施的效果为此本文选取了逻辑回归支持向量机随机森林XGBoost以及LightGBM等诸多机器学习模型针对原始训练集和采用代价敏感方法加工过的训练集创建模型并执行性能评定凭借测试集中的数据对比各个模型的契合度与泛化能力而且利用混淆矩阵评判所建模型的分类表现。文献评述梳理前面的文献就能找到关于债券违约风险考量的研究收获很多成果指标挑选上研究从单个财务指标渐渐拓展成包含行业特征企业性质信用评级变化等情况的多层次非财务指标体系这样模型就能更多方面地掌握企业的信用风险情况。针对不平衡数据学者们制定了从简单采样技术到复杂生成对抗网络等许多办法给金融里经常出现的“稀有事件”预测难题供应多种工具至于预测算法模型发展历经从定性分析到定量统计再到机器学习整合的进程其预测准确性一直在增强。Fernando J M R、Li L 等提出研究公司治理与企业违约的相关性[31]为本研究在文献评述中指出非财务指标研究的不足、明确本研究的改进方向提供了依据。Fons J S 提出探究违约溢价与企业债券市场表现的关联[32]为本研究在文献评述中指出风险定价相关研究的空白、完善研究视角提供了参考。Giesecke K、Longstaff F A 等提出从 150 年视角研究企业债券违约风险[33]为本研究在文献评述中梳理违约预测研究的历史脉络、明确研究定位提供了支撑。Hull J C、Predescu M 等提出研究债券价格、违约概率与风险溢价的关联[34]为本研究在文献评述中指出量化分析的不足、优化本研究的实证设计提供了依据。Merton R C 提出基于利率风险结构研究企业债务定价[35]为本研究在文献评述中梳理经典违约理论、明确机器学习算法的理论创新点提供了核心支撑。当下研究仍然有些地方值得深入探究就拿指标挑选来说怎样把信用评价的动态改变更为精准地转换成数字又怎样把区域经济风险更精确地放进模型里还得要进一步做研究至于不平衡数据的处理代价敏感学习是一种可以直接改变错分代价的办法在债券违约预测方面开展的应用研究比较少它的效果得要更多的实际验证才行再说模型的应用当前研究不太重视模型的阐释能力但是认识模型的决策原理对于金融风险经营非常重要。在此基础上本文要形成一个立体度预测体系这个体系里有财务指标也有非财务指标要解决样本不均衡的问题就得用代价敏感学习法还要用LightGBM算法创建违约预测模型再用SHAP方法来改善模型的可解释性从而给债券违约风险预测带来越发全面细致的研究视野。二、文档介绍三、项目设计与实现类别不平衡问题概述在机器学习做二分类预测的时候如果数据极度不均衡分类模型就会出现忽视少数类学习的情况训练数据存在明显类别区别时少数类的特征信息常被多数类样本所压制造成分类模型预测存在偏差债券违约预测就属于非常不均衡的问题违约样本所占比例常常低于5%所以传统分类模型很难有效地辨识违约风险。在不均衡的数据集当中标准的分类算法常偏向于多数类这与整体准确率这一改良目标有关该目标会让模型把未知样本判定为多数类就拿债券违约预测来说倘若违约样本只占地盘的3%那么一个把所有样本全都判为“非违约”的简单模型就可以得到97%的准确率但这种模型在实际操作时毫无意义因为它完全不能察觉投资者最为关注的违约风险所以解决类别不均衡的问题是形成有效的违约预测模型的重要部分。混淆矩阵在机器学习中混淆矩阵是评价分类模型性能的基础工具。对于二分类问题混淆矩阵记录了真实类别与预测类别的四种组合情况真正例TP模型正确预测为违约的样本假正例FP模型误判为违约的正常样本假负例FN模型遗漏的违约样本真负例TN模型正确预测为正常的样本在信用债违约预测当中TP指模型可精准识别违约债券有益于投资者规避风险较高的债券TN表示模型恰当识别非违约债券利于稳定投资结构FP显示模型将某些债券误判为违约这也许会致使投资者采取过激保守举措或者错过低风险机遇FN则表明模型遗漏部分应被判定为违约的债券从而可能造成投资者承担真实的违约损失。数据的选取与清洗本文从Wind数据库以及同花顺iFinD金融数据终端的债券专题模块当中挑选出2015年至2024年之间A股上市公司所发行并且已经到期的公司债相关数据来开展研究最初的数据共有24329条债券基本信息记录其中有646条是有关违约债券的。原始数据包含诸多多余数据和缺失值为让样本利于训练机器学习模型并便于后续研究该部分对原始数据执行了清洗操作首先区分开违约债券和未违约债券接着核算各个样本数据的缺失值占比只保留占比低于30%的样本数据。由于会存在同个主体发行多枚债券的情形而且特征变量指标差别不大所以此部分按照发债主体实施分类选取保留同一发债主体里数据信息最为完备的样本并且直接删去缺少“发行信用评级” “最新信用评级” “所属申万行业” 和 “企业性质” 等重要信息的样本。本部分持续执行基础数据的缺失值处理就财务指标而言先算出它的峰度和偏度如果是接近正态分布的特征变量则用均值来填补缺失值而对于那些存在明显左偏或者右偏具有极端峰值的数据指标来说在填补缺失值的时候选用随机抽样插补法插补值来源于真实的观测值以此保留原有的分布状况防止统计量出现偏差为确保样本的真实性与完整性本文并未对极端值加以处理最后得出的数据包含4483个尚未违约的债券样本以及138个已违约的债券样本的实验数据。特征的筛选与指标体系构建许多学者曾针对信用风险评定模型中的预测指标选取展开研究从样本数据的完整性与准确性出发本文把体现偿债能力经营能力盈利能力以及发展能力的20个财务指标当作债券违约风险预测的起始指标。偿债能力指标包含资产负债率流动资产/总资产流动比率速动比率经营活动产生的现金流量净额/流动负债有形资产/带息债务现金流量净额/带息债务以及息税折旧摊销前利润/负债合计其目的是衡量企业的偿还债务水平高低状况这些指标需结合企业所处行业特点并综合考虑各种相关因素。另外还有如下经营能力指标存货周转率应收账款周转率流动资产周转率和总资产周转率它们用于评判企业存货管理效率应收账款回收情况流动资产利用效率及总资产的运营效率属于考察经营业绩的一种手段也是评价企业经济效益的重要方面之一。 发展能力指标包含三个具体内容分别是利润总额同比增长率总资产同比增长率以及营业总收入同比增长率其中“同比”一词表示与去年同期相比的情况即增长率的参照基准为上一年同期数据。第三章对我国债券违约特征加以分析按照此分析结果文章增添了“评级变动” “地区风险等级” “企业性质风险值” “行业风险值”这四项非财务指标。“评级变动”这项先要依次把“AAA”到“D”这20个信用等级按20到1执行降序的数值映射再用“债券最新信用评级”减去“发行信用评级”这两个特性变量这样就得到了“评级变动”这个指标。本文按照各省份2014年至2024年债券违约频率把地区划分成低中高三个风险等级并依次对应123违约频率高于5%的地区像黑龙江省河北省宁夏回族自治区西藏自治区属于高风险地区违约频率介于1%-5%的地区是中风险地区而违约频率低于1%的地区则属于低风险地区。“行业风险值”按照各行业违约频率来划分纺织服饰食品饮料有色金属等其违约频率小于10%的行业被定为低风险用1表示石油石化房地产通信等违约频率大于10%的行业则被定为高风险用2表示。在“企业性质风险值”当中中央企业外商投资企业被当作低风险对象并且映射成0地方国有企业属于中风险范畴其映射结果为1私营企业则归入高风险序列对应的映射值是2。本文计算了特征相关性矩阵其中包含20项财务特征变量与4项非财务特征变量不过仅有“息税前利润/营业总收入”及“归属于母公司股东的净利润/营业总收入”两项变量高度相关相关系数超0.8经由随机森林模型的特征重要性排序可知此二者针对债券违约预测的贡献度较低于是本文去除这两个变量。本文用以塑造债券违约风险预测模型的特征变量包含20项财务特征及4项非财务特征。主要结论本文以我国A股上市公司2015年至2024年期间发行的公司债券为研究对象构建了包含财务指标和非财务指标的多维预测体系引入代价敏感学习方法处理样本不平衡问题基于LightGBM算法建立了债券违约风险预测模型并与逻辑回归、支持向量机、随机森林等传统模型进行了对比分析。通过网格搜索和K折交叉验证对LightGBM模型进行了参数优化并利用SHAP算法对模型进行解释。本文的主要结论如下我国债券违约表现出突出的结构性特征借助对2014年至2024年我国债券市场违约情况的剖析可知违约主体大多聚集于房地产行业私营企业和一些资源型地区。信用评级的动态起伏属于关键的前期警示信号超过七成五的违约主体在违约前夕遭遇过评级削减保定天威康美药业阳光城等典型例子显示企业盲目扩充规模实施财务造假采用高杠杆经营策略等乃是引发违约的深层次诱因。非财务指标对于优化模型预测能力有着重要意义企业性质评级变动地区风险等级这些非财务指标所形成的立体预测体系会给模型带来比传统财务报表更具前瞻性的风险信号。添加了非财务指标之后各个对比模型的预测性能都得到了很大的改善这就证实了非财务数据在债券违约预测当中具备关键价值。成本敏感的LightGBM模型针对债券违约预测效果最好把逻辑回归SVM随机森林和LightGBM这四个模型做对比就能知道合成学习模型的预测能力一般比传统模型强改良过参数的LightGBM模型它的AUC值是0.9452查准率0.6154查全率0.5854F1值0.6000各个指标都远胜其他模型这就表明它在应对复杂非线性关系以及样本不均衡这类问题时有着独特的优势。参数优化显著提升了LightGBM模型的性能。 通过网格搜索和K折交叉验证对LightGBM模型进行分步调优确定了最优超参数组合learning_rate设置为0.2max_depth设为4num_leaves设为15reg_alpha和reg_lambda均为0.15colsample_bytree设为0.8subsample设为0.6在这些参数调整之后模型的查准率依旧处于较高水平查全率则提升了140%F1值也得到了加强幅度达到83%这意味着该模型在风险识别方面表现得更为全面协调。SHAP分析表现出核心风险因素的边际影响机制企业性质的风险值属于贡献度最为靠前的特征私营企业的违约风险远大于国有企业。流动比率同违约风险存在U型关系无论是偏低还是偏高都不利评级被下调地处高风险区域资产债务覆盖率低等均为重要的风险警报信号这些认识给投资者以及发债企业给予了清晰的风险经营导向。