eda是什么EDA，全称是Exploratory Data Analysis（探索性数据分析），是数据科学和统计学中一个非常重要的步骤。在进行任何建模或预测之前，分析师通常会先对数据进行探索性分析，以了解数据的基本特征、分布情况、异常值以及变量之间的关系。通过EDA，可以为后续的数据清洗、特征工程和模型选择提供重要依据。
EDA的核心目标
| 目标 | 说明 |
| 领会数据结构 | 明确数据的类型、维度、字段含义等 |
| 发现数据难题 | 检测缺失值、重复值、异常值等 |
| 探索变量关系 | 分析变量之间是否存在相关性或模式 |
| 提供分析路线 | 为后续建模和深入分析提供思路 |
EDA的主要技巧
| 技巧 | 说明 |
| 描述性统计 | 包括均值、中位数、标准差、最大最小值等 |
| 数据可视化 | 如直方图、箱线图、散点图、热力图等 |
| 相关性分析 | 用相关系数矩阵分析变量间的关系 |
| 分组分析 | 按照不同类别对数据进行分组比较 |
| 数据清洗 | 处理缺失值、异常值、重复数据等 |
EDA的典型流程
| 步骤 | 内容 |
| 数据加载 | 导入原始数据集 |
| 数据概览 | 查看前几行数据，了解字段含义 |
| 缺失值检查 | 判断是否有缺失值及处理方式 |
| 数据类型转换 | 将字符串转为数值、日期格式统一等 |
| 可视化探索 | 用图表展示数据分布和动向 |
| 特征筛选 | 根据分析结局决定保留哪些变量 |
EDA的重要性
– 提升数据质量：发现并修正数据中的难题。
– 进步模型效果：通过对数据的深入了解，选择更合适的模型。
– 节省时刻成本：提前识别潜在难题，避免后期反复调整。
怎么样？经过上面的分析内容可以看出，EDA并不一个简单的数据查看经过，而一个体系性的分析流程。它在整个数据分析经过中起到了承上启下的影响，是构建高质量模型的基础。
