Question

通过数据探索分析，发现数据中存在缺失值，票价最小值为0、折扣率最小值为0、总飞行公里数大于0的记录。由于原始数据量大，这类数据所占比例较小，对于问题影响不大，因此对其进行丢弃处理。具体处理方法如下。

丢弃票价为空的记录。

丢弃票价为0、平均折扣率不为0、总飞行公里数大于0的记录。

使用Pandas对满足清洗条件的数据进行丢弃，处理方法：满足清洗条件的一行数据全部丢弃，其代码如代码清单7-2所示。

代码清单7-2　数据清洗代码

#-*- coding: utf-8 -*-
#数据清洗，过滤掉不符合规则的数据
import pandas as pd
datafile= '../data/air_data.csv' #航空原始数据,第一行为属性标签
cleanedfile = '../tmp/data_cleaned.csv' #数据清洗后保存的文件
data = pd.read_csv(datafile,encoding='utf-8') #读取原始数据，指定UTF-8编码（需要用文本
    编辑器将数据装换为UTF-8编码）
data = data[data['SUM_YR_1'].notnull()*data['SUM_YR_2'].notnull()] #票价非空值才保留
#只保留票价非零的，或者平均折扣率与总飞行公里数同时为0的记录。
index1 = data['SUM_YR_1'] != 0
index2 = data['SUM_YR_2'] != 0
index3 = (data['SEG_KM_SUM'] == 0) & (data['avg_discount'] == 0) #该规则是“与”
data = data[index1 | index2 | index3] #该规则是“或”
data.to_excel(cleanedfile) #导出结果

代码详见：示例程序/code/data_clean.py