Yandx引擎数据清洗功能解析

核心功能特性

• 缺失值处理：支持均值/中位数填充、默认值替换、标记删除
• 异常值检测：采用3σ原则自动识别数据分布异常点
• 格式标准化：自动统一日期格式（YYYY-MM-DD）、货币单位（USD/CNY）
• 字段映射：提供Excel/CSV/SAP格式间的结构化转换

参数配置指南

典型应用场景

• 电商用户行为数据清洗（订单金额标准化）
• 医疗设备传感器数据预处理（异常波形过滤）
• 金融交易记录去重（时间戳对齐处理）
• 工业物联网数据归一化（温度单位转换）

使用注意事项

数据源要求：原始文件需包含字段元数据说明（如《大数据处理技术白皮书》第5.2章规范）

性能提示：超过100万行数据建议启用分布式清洗模式

处理前请确认字段类型与目标清洗策略匹配度（参考ISO 8000数据质量标准）