简介省级数字普惠金融指数2011—2023年数据集覆盖全国各省份连续13年的数字普惠金融发展状况面向金融学、区域经济研究者及政策分析人员可用于考察区域差异、分析移动支付与互联网信贷等数字金融服务的渗透趋势。压缩包内共3个文件Excel文件提供核心指数面板数据PDF与HTML文档分别说明数据来源、指标体系与计算口径便于核对引用和撰写方法说明整体大小仅113KB。已有84人学习浏览适合需要长期省级数据开展实证分析、撰写论文或行业报告的读者。利用该数据既可进行时间序列与面板回归探索数字普惠金融对地区经济增长、小微企业融资便利性的影响也可绘制历年各省份指数变化图观察数字金融发展的阶段特征与区域失衡问题配套说明文档还有助于理解指数构建逻辑帮助金融研究者缩短数据预处理周期。1. 省级数字普惠金融指数2011-2023年是一份可以直接开箱的面板数据这份 zip 里装的是 2011 到 2023 年中国省级层面的数字普惠金融指数时间跨度 13 年属于典型的“年份 × 省份”面板数据。它解决的第一个痛点是做区域金融差异研究时很难找到一套口径统一、连续多年公开发布的省级金融数据。编制方把数字金融服务的覆盖广度、使用深度和数字化程度压成几个可比的指数值横向对比和纵向趋势都可以直接做。对数据分析工程师来说拿到这份 zip 之后最容易踩的坑不是建模而是文件打开方式不对、字段口径理解有误、省份编码没统一。先把压缩包内部结构、字段口径和处理链路走通后续所有分析才会稳。2. 拆解 zip 包结构与省级指数字段口径2.1 压缩包内文件清单与读取路径这类离线数据集的发布格式大多是 zip 包套 Excel 或 CSV不排除里面还有单独的说明文档和行政区划对照表。收到省级-数字普惠金融指数2011-2023年.zip以后先不要双击解压而是先看一眼包内到底有几个文件、文件名是否带年份或指标维度标识。这样做的原因是后续所有分析路径都要建立在“我知道文件里有什么”的基础上跳过这一步很容易在拼接多年数据时漏掉一个 sheet。unzip -l 省级-数字普惠金融指数2011-2023年.zipunzip -l只列出压缩包内容不会真正解压。如果服务器上没有 unzip 命令用 Python 的 zipfile 模块也能完成同样的工作import zipfile with zipfile.ZipFile(省级-数字普惠金融指数2011-2023年.zip) as zf: for name in zf.namelist(): print(name)namelist()返回包内全部文件和目录的相对路径。这里要留意中文文件名在 Windows 和 Linux 之间传递时偶尔会出现编码不一致导致后续open时找不到文件。遇到这种情况优先用infolist()获取文件条目后从 zip 对象直接读取而不是先解压到磁盘再按名字找。2.2 核心字段总指数、覆盖广度、使用深度、数字化程度在常见的数字普惠金融指数数据中一份指标表通常由三个标识列和多个指数列构成。最核心的四列是字段含义分析用途省级行政区省、自治区、直辖市名称展示、分组、可视化省份代码行政区划代码前两位关联宏观数据、合并表年份数据对应年度构建时间序列总指数数字普惠金融综合水平描述总体趋势、排序覆盖广度账户开立、绑卡、使用电子支付的情况反映金融可得性使用深度支付、信贷、保险、投资等业务使用情况反映实际活跃度数字化程度移动化、便利化、信用化水平反映服务效率和成本总指数不是三个分项简单算术平均通常由编制方依据因子分析或层次分析确定权重后合成。拿到数据后不建议自己去猜权重直接用现成总指数做宏观趋势分析做稳健性检验时再换成覆盖广度或使用深度重跑回归看结论方向是否一致。有的发布版本还会拆出人口覆盖率、银行账户数、支付笔数等二级明细指标但这类二级指标的字段名在不同版本间变化较大合并多年数据前一定要先核对字段清单。2.3 省级标识用行政区划代码做关联主键省际数据最忌讳用中文名做主键。“浙江”和“浙江省”在不同年份的 Excel 里可能是两个值直接 join 必然丢数据。标准做法是取国家行政区划代码前两位作为省级主键province_code_map { 北京市: 11, 天津市: 12, 河北省: 13, 山西省: 14, 内蒙古自治区: 15, 辽宁省: 21, # 其余省份按 GB/T 2260 补全 }省份代码必须保持字符串类型。pandas 读 Excel 时15这样的代码容易被解析成整数 15转回字符串后变成15看起来没区别但和其他宏观表的15连接时类型不匹配就会报错。稳妥处理是读入后统一执行astype(str).str.zfill(2)把所有代码补成两位。2.4 Excel 多工作表的读取陷阱如果 zip 内是.xlsx里面往往不止一个 sheet。用 pandas 读取时需要明确指定读取哪张表df_total pd.read_excel(index.xlsx, sheet_name总指数, skiprows2) df_sub pd.read_excel(index.xlsx, sheet_name分项, skiprows2)多数发布版本会在表头前留两行标题或编制说明skiprows2可以跳过这些非数据内容。但不同年份的发布格式可能不同有的前 2 行是标题有的前 1 行就是字段名。盲目跳过会导致列名错位。更稳妥的做法是先pd.read_excel(..., headerNone)打印前 5 行观察结构再决定 skiprows 和 header 参数。3. 用 pandas 加载并清洗省级数字普惠金融指数2011-2023年3.1 从 zip 直接读取 Excel免解压在项目实践中我不建议把 zip 解压后散落成一堆 xlsx 再逐个读取。直接让 Python 从压缩包内存中读取 Excel既省磁盘空间也避免文件名编码问题import io import zipfile import pandas as pd zip_path 省级-数字普惠金融指数2011-2023年.zip with zipfile.ZipFile(zip_path) as zf: xlsx_name [n for n in zf.namelist() if n.endswith(.xlsx)][0] with zf.open(xlsx_name) as f: raw pd.read_excel(io.BytesIO(f.read()), sheet_nameNone) df pd.concat(raw.values(), ignore_indexTrue)sheet_nameNone让 pandas 把文件内所有 sheet 读成一个字典键是 sheet 名值是 DataFrame。concat之前要确认各 sheet 的列名是否一致否则省份和年份会被拼到不同列产生大量空值。读取之后第一时间看数据的范围print(df.shape) print(df[year].min(), df[year].max()) print(df[province].nunique())year的最小最大值能直接确认数据是否覆盖 2011 到 2023 年。如果最大值是 2024说明发布方可能已经更新过数据文件如果province少于 31要马上核对是缺省份还是文件名和年份筛选出了问题。3.2 列名统一与类型修正原始 Excel 里的中文列名可读性高但写进代码后频繁切换输入法效率太低。读入后先统一改成小写英文字段名df.columns [province, province_code, year, total_index, coverage_breadth, usage_depth, digital_level] df[year] pd.to_numeric(df[year], errorscoerce).astype(Int64) df[province_code] df[province_code].astype(str).str.zfill(2)errorscoerce会把无法解析的年份转成缺失值避免后续类型转换直接抛出异常。省份代码转字符串后补零保证15、21这类代码与其他数据源的写法一致。注意这里用的Int64是 pandas 可空整数类型允许缺失值的同时保持整数运算不会因为NaN把整列升级成float64。3.3 缺失值分区处理省际面板的缺失值通常不是随机缺失。如果某省某年“使用深度”为空原因很可能是当年该省信贷或保险业务刚刚起步属于结构性缺失直接删行会破坏面板完整性。df[usage_depth_interp] df.groupby(province_code)[usage_depth].transform( lambda s: s.interpolate(methodlinear, limit_directionboth) ) df[is_interpolated] df[usage_depth].isna() df[usage_depth_interp].notna()处理逻辑是按省份代码分组对每个省的时间序列单独做线性插值limit_directionboth表示序列首尾缺失也插。is_interpolated列用来标识哪些值是人为补出来的下游做回归或画图时可以根据这一列决定是否保留插值样本。3.4 统一地区名称并输出 parquet地区名统一可以复用行政区划代码映射表。导入映射后把数据里的中文名和映射表做一次比对不一致的单独列出来检查province_codes pd.DataFrame( list(province_code_map.items()), columns[province, province_code] ) df df.merge(province_codes, onprovince_code, howleft, suffixes(, _std))suffixes参数用于区分合并后来自原始表和映射表的同一名字段。如果province和province_std不一致说明原始文件里的省份名称写法有差异需要统一标准名称后再往下走。清洗完的数据建议输出为 parquet 格式df.to_parquet(digital_financial_index_2011_2023.parquet, indexFalse)parquet 比 CSV 占用空间更小还保留了列的类型信息后续 Spark、DuckDB 和 pandas 都能直接读取。CSV 适合交付给不写代码的同事做人工检查但作为分析管线的中间产物parquet 要可靠得多。4. 把 2011-2023 年省级数字普惠金融指数整理成面板数据4.1 长表转宽表pivot 与透视清洗后的数据是“一省一年一行”的长表适合做面板回归。但做横截面比较或热力图时更常需要“一省一行、一年一列”的宽表wide df.pivot_table(indexprovince_code, columnsyear, valuestotal_index, aggfuncmean)pivot_table比pivot更稳即使连接键里有重复项它也会用aggfunc聚合而不是直接抛错。索引用省份代码而不是名称保证一张宽表里不会有同名不同码的情况。4.2 计算年环比增长率并识别异常点研究数字普惠金融时增长率比绝对值更能反映政策拐点和数字化的普及节奏。计算方式如下df df.sort_values([province_code, year]) df[growth_rate] df.groupby(province_code)[total_index].pct_change() * 100pct_change()计算的是本期相对上一期的百分比变化。排序要放在分组之前因为groupby(...).pct_change()依赖当前行的相对位置顺序错乱会导致增长率算错省份。增长率超过 30% 的年份需要回到原始数据核对。数字普惠金融在 2013 到 2015 年有过一轮快速增长超过 30% 不一定就是脏数据但 2020 年前后如果出现大幅回落或超过 50% 的跳变要优先检查口径变化或解压版本不一致。4.3 与宏观指标合并按省份代码和年份关联这套指数最广泛的应用是接入地区生产总值、常住人口、居民消费价格指数等宏观数据研究数字金融对区域经济的影响。合并时用省份代码和年份两个键df_merged df.merge(macro_data, howleft, on[province_code, year], validate1:1)validate1:1是容易被忽略但非常实用的参数它要求左右两张表在连接键上都不存在重复行。一旦出现重复pandas 会直接抛出异常帮你第一时间暴露数据问题。如果不加这个参数重复行会被笛卡尔展开成多行后面的统计全部失真。合并后还要检查左连接产生的缺失值print(df_merged[df_merged[macro_value].isna()][year].unique())如果所有缺失都集中在某一年说明那张宏观表缺年份文件如果集中在某几个省份则要回源头看是行政区划调整还是原始表漏行。4.4 用 SQL 完成同样的面板透视当数据量变大且已经入库就不必把所有行拉回内存直接用 SQL 聚合SELECT province_code, COUNT(DISTINCT year) AS years_observed, AVG(total_index) AS avg_index, MAX(total_index) - MIN(total_index) AS index_range FROM digital_financial_index GROUP BY province_code ORDER BY province_code;这条 SQL 统计每个省份出现在数据中的年份数量、平均指数和极差。years_observed小于 13 说明某个省缺年份需要回到原始 zip 核对。SQL 和 pandas 计算的结果应当完全一致遇到对不上的情况优先怀疑 join 键的类型不一致。5. 收尾数据校验与指数复算的 3 个检查项5.1 总数校验拿到清洗后的数据先做最基础的规模检查print(df[province_code].nunique()) print(df[year].nunique()) print(df.shape[0])31 个省份、13 个年份平衡面板应该有 403 行。如果不是 403用GROUP BY找出缺失组合定位是原始文件缺省还是读取时丢了 sheet。5.2 用已知值做抽样核对从官方发布材料中任选 3 个省份、3 个年份的数值与本地读取结果逐一比对。建议把比对写进自动化脚本assert df[(df[province_code] 11) (df[year] 2020)][total_index].iloc[0] 300断言只是为了说明一种做法实际阈值从官方渠道获取。把这个手工核对的数值固化成一个测试用例之后每次重新处理数据都能自动验证读取环节有没有出错。5.3 版本记录比分析本身更值得投入发布方后续如果补充了 2024 年数据zip 包内的文件数量和字段顺序都可能变化。建议在项目里维护一个MANIFEST.txt记录原包 MD5 值、解压时间、处理脚本版本和字段变更说明。md5sum 省级-数字普惠金融指数2011-2023年.zip换版本后重新跑一次md5sum就能立刻确认本地压缩包和上次处理的是否为同一文件。处理管线输出的processed/目录永远只保留当前版本旧版本归档到archive/。这样半年后回归结果不一致时能快速定位是数据版本变了还是脚本改坏了。本文还有配套的精品资源点击获取