返回介绍

7.2 Data Transformation 数据变换

发布于 2023-07-21 00:37:00 字数 32167 浏览 0 评论 0 收藏 0

1 删除重复值

import pandas as pd
import numpy as np
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
                     'k2': [1, 1, 2, 3, 3, 4, 4]})
data
 k1k2
0one1
1two1
2one2
3two3
4one3
5two4
6two4

DataFrame 方法 duplicated 返回的是一个 boolean Series,表示一个 row 是否是重复的(根据前一行来判断):

data.duplicated()
0    False
1    False
2    False
3    False
4    False
5    False
6     True
dtype: bool

drop_duplicateds 返回一个 DataFrame,会删除重复的部分:

data.drop_duplicates()
 k1k2
0one1
1two1
2one2
3two3
4one3
5two4

上面两种方法都默认考虑所有列;另外,我们可以指定一部分来检测重复值。假设我们只想检测'k1'列的重复值:

data['v1'] = range(7)
data
 k1k2v1
0one10
1two11
2one22
3two33
4one34
5two45
6two46
data.drop_duplicates(['k1'])
 k1k2v1
0one10
1two11

duplicated 和 drop_duplicated 默认保留第一次观测到的数值组合。设置 keep='last' 能返回最后一个:

data.drop_duplicates(['k1', 'k2'], keep='last')
 k1k2v1
0one10
1two11
2one22
3two33
4one34
6two46

2 Transforming Data Using a Function or Mapping(用函数和映射来转换数据)

有时候我们可能希望做一些数据转换。比如下面一个例子,有不同种类的肉:

data = pd.DataFrame({'food': ['bacon', 'pulled pork', 'bacon',
                              'Pastrami', 'corned beef', 'Bacon',
                              'pastrami', 'honey ham', 'nova lox'],
                     'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})
data
 foodounces
0bacon4.0
1pulled pork3.0
2bacon12.0
3Pastrami6.0
4corned beef7.5
5Bacon8.0
6pastrami3.0
7honey ham5.0
8nova lox6.0

假设你想加一列,表明每种肉来源的动物是什么。我们可以写一个映射:

meat_to_animal = {
    'bacon': 'pig',
    'pulled pork': 'pig',
    'pastrami': 'cow',
    'corned beef': 'cow',
    'honey ham': 'pig',
    'nova lox': 'salmon'
}

用于 series 的 map 方法接受一个函数,或是一个字典,包含着映射关系,但这里有一个小问题,有些肉是大写,有些是小写。因此,我们先用 str.lower 把所有的值变为小写:

lowercased = data['food'].str.lower()
lowercased
0          bacon
1    pulled pork
2          bacon
3       pastrami
4    corned beef
5          bacon
6       pastrami
7      honey ham
8       nova lox
Name: food, dtype: object
data['animal'] = lowercased.map(meat_to_animal)
data
 foodouncesanimal
0bacon4.0pig
1pulled pork3.0pig
2bacon12.0pig
3Pastrami6.0cow
4corned beef7.5cow
5Bacon8.0pig
6pastrami3.0cow
7honey ham5.0pig
8nova lox6.0salmon

我们也可以用一个函数解决上面的问题:

data['food'].map(lambda x: meat_to_animal[x.lower()])
0       pig
1       pig
2       pig
3       cow
4       cow
5       pig
6       cow
7       pig
8    salmon
Name: food, dtype: object

使用 map 是一个很简便的方法,用于 element-wise 转换和其他一些数据清洗操作。

3 Replacing Values(替换值)

其实 fillna 是一个特殊换的替换操作。map 可以用于修改一个 object 里的部分值,但是 replace 能提供一个更简单和更灵活的方法做到这点。下面是一个 series:

data = pd.Series([1., -999., 2., -999., -1000., 3.])
data
0       1.0
1    -999.0
2       2.0
3    -999.0
4   -1000.0
5       3.0
dtype: float64

这里-999 可能是用来表示缺失值的标识符。用 NA 来替代的话,用 replace,会产生一个新 series(除非使用 inplace=True):

data.replace(-999, np.nan)
0       1.0
1       NaN
2       2.0
3       NaN
4   -1000.0
5       3.0
dtype: float64

如果想要一次替换多个值,直接用一个 list 即可:

data.replace([-999, -1000], np.nan)
0    1.0
1    NaN
2    2.0
3    NaN
4    NaN
5    3.0
dtype: float64

对于不同的值用不同的替换值,也是导入一个 list:

data.replace([-999, -1000], [np.nan, 0])
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64

参数也可以是一个 dict:

data.replace({-999: np.nan, -1000: 0})
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64

注意:data.replace 方法和 data.str.replace 方法是不同的,后者会对 string 进行 element-wise 替换。

4 Renaming Axis Indexes(重命名 Axis Indexes)

像是 series 里的 value 一样,axis label 也能类似地是函数或映射来转换,产生一个新的 object。当然也可以设置 in-place 不产生新的数据:

data = pd.DataFrame(np.arange(12).reshape((3, 4)),
                    index=['Ohio', 'Colorado', 'New York'],
                    columns=['one', 'two', 'three', 'four'])
data
 onetwothreefour
Ohio0123
Colorado4567
New York891011

与 series 相同,axis index 有一个 map 方法:

transform = lambda x: x[:4].upper()
transform
<function __main__.<lambda>>
data.index
Index(['Ohio', 'Colorado', 'New York'], dtype='object')
data.index.map(transform)
array(['OHIO', 'COLO', 'NEW '], dtype=object)

可以赋值给 index,以 in-place 的方式修改 DataFrame:

data.index = data.index.map(transform)
data
 onetwothreefour
OHIO0123
COLO4567
NEW891011

如果你想要创建一个转换后的版本,而且不用修改原始的数据,可以用 rename:

data.rename(index=str.title, columns=str.upper)
 ONETWOTHREEFOUR
Ohio0123
Colo4567
New891011

注意,rename 能用于 dict 一样的 oject,

data.rename(index={'OHIO': 'INDIANA'},
            columns={'three': 'pekaboo'})
 onetwopekaboofour
INDIANA0123
COLO4567
NEW891011

rename 能让你避免陷入手动赋值给 index 和 columns 的杂务中。可以用 inplace 直接修改原始数据:

data.rename(index={'OHIO': 'INDIANA'}, inplace=True)
data
 onetwothreefour
INDIANA0123
COLO4567
NEW891011

5 Discretization and Binning(离散化和装箱)

连续型数据经常被离散化或分散成 bins(分箱)来分析。假设你有一组数据,你想把人分到不同的年龄组里:

ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]

我们把这些分到四个 bin 里,19~25, 26~35, 36~60, >60。可以用 pandas 里的 cut:

bins = [18, 25, 35, 60, 100]

cats = pd.cut(ages, bins)

cats
[(18, 25], (18, 25], (18, 25], (25, 35], (18, 25], ..., (25, 35], (60, 100], (35, 60], (35, 60], (25, 35]]
Length: 12
Categories (4, object): [(18, 25] < (25, 35] < (35, 60] < (60, 100]]

返回的是一个特殊的 Categorical object。我们看到的结果描述了 pandas.cut 如何得到 bins。可以看作是一个 string 数组用来表示 bin 的名字,它内部包含了一个 categories 数组,用来记录不同类别的名字,并伴有表示 ages 的 label(可以通过 codes 属性查看):

cats.codes
array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1], dtype=int8)
cats.categories
Index(['(18, 25]', '(25, 35]', '(35, 60]', '(60, 100]'], dtype='object')
pd.value_counts(cats)
(18, 25]     5
(35, 60]     3
(25, 35]     3
(60, 100]    1
dtype: int64

这里 pd.value_counts(cats)是 pandas.cut 后 bin 的数量。

这里我们注意一下区间。括号表示不包含,方括号表示包含。你可以自己设定哪一边关闭(right=False):

pd.cut(ages, [18, 26, 36, 61, 100], right=False)
[[18, 26), [18, 26), [18, 26), [26, 36), [18, 26), ..., [26, 36), [61, 100), [36, 61), [36, 61), [26, 36)]
Length: 12
Categories (4, object): [[18, 26) < [26, 36) < [36, 61) < [61, 100)]

你也可以用一个 list 或数组给 labels 选项来设定 bin 的名字:

group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior']
pd.cut(ages, bins, labels=group_names)
[Youth, Youth, Youth, YoungAdult, Youth, ..., YoungAdult, Senior, MiddleAged, MiddleAged, YoungAdult]
Length: 12
Categories (4, object): [Youth < YoungAdult < MiddleAged < Senior]

如果你只是给一个 bins 的数量来 cut,而不是自己设定每个 bind 的范围,cut 会根据最大值和最小值来计算等长的 bins。比如下面我们想要做一个均匀分布的四个 bins:

data = np.random.rand(20)
pd.cut(data, 4, precision=2)
[(0.77, 0.98], (0.33, 0.55], (0.77, 0.98], (0.55, 0.77], (0.55, 0.77], ..., (0.77, 0.98], (0.11, 0.33], (0.11, 0.33], (0.33, 0.55], (0.11, 0.33]]
Length: 20
Categories (4, object): [(0.11, 0.33] < (0.33, 0.55] < (0.55, 0.77] < (0.77, 0.98]]

precision=2 选项表示精确到小数点后两位。

一个近似的函数,qcut,会按照数据的分位数来分箱。取决于数据的分布,用 cut 通常不能保证每一个 bin 有一个相同数量的数据点。而 qcut 是按百分比来切的,所以可以得到等数量的 bins:

data = np.random.randn(1000) # Normally distributed
cats = pd.qcut(data, 4) # Cut into quartiles
cats
[(-0.717, -0.0981], (-0.717, -0.0981], (-0.0981, 0.639], (0.639, 3.434], [-2.86, -0.717], ..., (-0.0981, 0.639], (-0.717, -0.0981], (-0.0981, 0.639], (0.639, 3.434], (-0.0981, 0.639]]
Length: 1000
Categories (4, object): [[-2.86, -0.717] < (-0.717, -0.0981] < (-0.0981, 0.639] < (0.639, 3.434]]
pd.value_counts(cats)
(0.639, 3.434]       250
(-0.0981, 0.639]     250
(-0.717, -0.0981]    250
[-2.86, -0.717]      250
dtype: int64

类似的,在 cut 中我们可以自己指定百分比:

cats2 = pd.cut(data, [0, 0.1, 0.5, 0.9, 1.]) # 累进的百分比
cats2
[NaN, NaN, (0.1, 0.5], NaN, NaN, ..., (0.1, 0.5], NaN, (0.5, 0.9], NaN, (0.5, 0.9]]
Length: 1000
Categories (4, object): [(0, 0.1] < (0.1, 0.5] < (0.5, 0.9] < (0.9, 1]]
pd.value_counts(cats2)
(0.1, 0.5]    135
(0.5, 0.9]    124
(0, 0.1]       40
(0.9, 1]       21
dtype: int64

在之后的章节我们还会用到 cut 和 qcut,这些离散函数对于量化和群聚分析很有用。

6 Detecting and Filtering Outliers(检测和过滤异常值)

过滤或转换异常值是数组操作的一个重头戏。下面的 DataFrame 有正态分布的数据:

data = pd.DataFrame(np.random.randn(1000, 4))
data.describe()
 0123
count1000.0000001000.0000001000.0000001000.000000
mean0.0109530.0129280.033165-0.031257
std1.0116211.0133411.0043560.996333
min-2.994342-4.328036-3.303616-3.133495
25%-0.654483-0.662177-0.644982-0.670813
50%-0.000637-0.0332410.050481-0.074641
75%0.7231000.7258390.7084520.643418
max3.3184993.3530013.0028533.002868

假设我们想要找一个列中,绝对值大于 3 的数字:

data.head()
 0123
01.1237660.9339200.4947550.690507
12.5136360.575393-0.3235900.586833
2-0.335958-0.8437350.302201-0.490675
3-1.307658-0.4856701.6127870.210169
4-0.793757-0.693757-1.7183670.515088
col = data[2]
col.head()
0    0.494755
1   -0.323590
2    0.302201
3    1.612787
4   -1.718367
Name: 2, dtype: float64
col[np.abs(col) > 3]
339   -3.303616
932    3.002853
Name: 2, dtype: float64

选中所有绝对值大于 3 的行,可以用 any 方法在一个 boolean DataFrame 上:

data[(np.abs(data) > 3)].head()
 0123
0NaNNaNNaNNaN
1NaNNaNNaNNaN
2NaNNaNNaNNaN
3NaNNaNNaNNaN
4NaNNaNNaNNaN
data[(np.abs(data) > 3).any(1)] # any 中 axis=1 表示 column
 0123
221.0757280.2500000.951303-3.133495
1550.064837-4.3280361.121061-0.574203
224-0.289148-2.9121160.332218-3.129604
339-0.098352-0.610929-3.303616-2.072304
6090.9832401.3726330.0181723.002868
7353.318499-2.573122-1.515901-1.204596
8221.8103963.353001-1.283856-1.166749
856-0.7950703.204789-0.2116421.278828
9320.898147-0.9618503.002853-0.128494

下面是把绝对值大于 3 的数字直接变成-3 或 3:

data[np.abs(data) > 3] = np.sign(data) * 3
data[21:23]
 0123
21-0.066111-1.1590640.518720-0.284596
221.0757280.2500000.951303-3.000000
data.describe()
 0123
count1000.0000001000.0000001000.0000001000.000000
mean0.0106340.0136980.033466-0.030997
std1.0106291.0067681.0033830.995521
min-2.994342-3.000000-3.000000-3.000000
25%-0.654483-0.662177-0.644982-0.670813
50%-0.000637-0.0332410.050481-0.074641
75%0.7231000.7258390.7084520.643418
max3.0000003.0000003.0000003.000000

np.sign(data)会根据值的正负号来得到 1 或-1:

np.sign(data).head()
 0123
01.01.01.01.0
11.01.0-1.01.0
2-1.0-1.01.0-1.0
3-1.0-1.01.01.0
4-1.0-1.0-1.01.0

7 Permutation and Random Sampling(排列和随机采样)

排列(随机排序)一个 series 或 DataFrame 中的 row,用 numpy.random.permutation 函数很容易就能做到。调用 permutation 的时候设定好你想要进行排列的 axis,会产生一个整数数组表示新的顺序:

df = pd.DataFrame(np.arange(5 * 4).reshape((5, 4)))
df
 0123
00123
14567
2891011
312131415
416171819
sampler = np.random.permutation(5)
sampler
array([4, 3, 2, 1, 0])

这个数组能被用在基于 iloc 上的 indexing 或 take 函数:

df.take(sampler)
 0123
416171819
312131415
2891011
14567
00123

为了选中一个随机的子集,而且没有代替功能(既不影响原来的值,返回一个新的 series 或 DataFrame),可以用 sample 方法:

df.sample(n=3)
 0123
00123
312131415
416171819

如果想要生成的样本带有替代功能(即允许重复),给 sample 中设定 replace=True:

choices = pd.Series([5, 7, -1, 6, 4])

draws = choices.sample(n=10, replace=True)

draws
4    4
4    4
1    7
1    7
1    7
1    7
4    4
3    6
1    7
1    7
dtype: int64

8 Computing Indicator/Dummy Variables(计算指示器/虚拟变量)

Dummy Variables:虚拟变量,又称虚设变量、名义变量或哑变量,用以反映质的属性的一个人工变量,是量化了的自变量,通常取值为 0 或 1。

另一种在统计模型上的转换或机器学习应用是把一个 categorical variable(类别变量)变为一个 dummy or indicator matrix(虚拟或指示器矩阵)。如果 DataFrame 中的一列有 k 个不同的值,我们可以用一个矩阵或 DataFrame 用 k 列来表示,1 或 0。pandas 有一个 get_dummies 函数实现这个工作,当然,你自己设计一个其实也不难。这里举个例子:

df = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],
                   'data1': range(6)})
df
 data1key
00b
11b
22a
33c
44a
55b
pd.get_dummies(df['key'])
 abc
00.01.00.0
10.01.00.0
21.00.00.0
30.00.01.0
41.00.00.0
50.01.00.0

在一些情况里,如果我们想要给 column 加一个 prefix, 可以用 data.get_dummies 里的 prefix 参数来实现:

dummies = pd.get_dummies(df['key'], prefix='key')
df_with_dummy = df[['data1']].join(dummies)
df_with_dummy
 data1key_akey_bkey_c
000.01.00.0
110.01.00.0
221.00.00.0
330.00.01.0
441.00.00.0
550.01.00.0

如果 DataFrame 中的 a row 属于多个类别,事情会变得复杂一些。我们来看一下 MoviesLens 1M 数据集:

mnames = ['movie_id', 'title', 'genres']
movies = pd.read_table('../datasets/movielens/movies.dat', sep='::',
                       header=None, names=mnames, engine='python')
movies[:10]
 movie_idtitlegenres
01Toy Story (1995)Animation|Children's|Comedy
12Jumanji (1995)Adventure|Children's|Fantasy
23Grumpier Old Men (1995)Comedy|Romance
34Waiting to Exhale (1995)Comedy|Drama
45Father of the Bride Part II (1995)Comedy
56Heat (1995)Action|Crime|Thriller
67Sabrina (1995)Comedy|Romance
78Tom and Huck (1995)Adventure|Children's
89Sudden Death (1995)Action
910GoldenEye (1995)Action|Adventure|Thriller

给每个 genre 添加一个指示变量比较麻烦。首先我们先取出所有不同的类别:

all_genres = []

for x in movies.genres:
    all_genres.extend(x.split('|'))
    
genres = pd.unique(all_genres)
genres
array(['Animation', "Children's", 'Comedy', 'Adventure', 'Fantasy',
       'Romance', 'Drama', 'Action', 'Crime', 'Thriller', 'Horror',
       'Sci-Fi', 'Documentary', 'War', 'Musical', 'Mystery', 'Film-Noir',
       'Western'], dtype=object)

一种构建 indicator dataframe 的方法是先构建一个全是 0 的 DataFrame:

zero_matrix = np.zeros((len(movies), len(genres)))

zero_matrix.shape
(3883, 18)
dummies = pd.DataFrame(zero_matrix, columns=genres)
dummies.head()
 AnimationChildren'sComedyAdventureFantasyRomanceDramaActionCrimeThrillerHorrorSci-FiDocumentaryWarMusicalMysteryFilm-NoirWestern
00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
10.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
20.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
30.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
40.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

然后迭代每一部 movie,并设置每一行中的 dummies 为 1。使用 dummies.columns 来计算每一列的 genre 的指示器:

gen = movies.genres[0]
gen.split('|')
['Animation', "Children's", 'Comedy']
dummies.columns.get_indexer(gen.split('|'))
array([0, 1, 2])

然后,使用.iloc,根据索引来设定值:

for i, gen in enumerate(movies.genres):
    indices = dummies.columns.get_indexer(gen.split('|'))
    dummies.iloc[i, indices] = 1
dummies.head()
 AnimationChildren'sComedyAdventureFantasyRomanceDramaActionCrimeThrillerHorrorSci-FiDocumentaryWarMusicalMysteryFilm-NoirWestern
01.01.01.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0
10.01.00.01.01.00.00.00.00.00.00.00.00.00.00.00.00.00.0
20.00.01.00.00.01.00.00.00.00.00.00.00.00.00.00.00.00.0
30.00.01.00.00.00.01.00.00.00.00.00.00.00.00.00.00.00.0
40.00.01.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

然后,我们可以结合这个和 movies:

movies_windic = movies.join(dummies.add_prefix('Genre_'))
movies_windic.iloc[0]
movie_id                                       1
title                           Toy Story (1995)
genres               Animation|Children's|Comedy
Genre_Animation                                1
Genre_Children's                               1
Genre_Comedy                                   1
Genre_Adventure                                0
Genre_Fantasy                                  0
Genre_Romance                                  0
Genre_Drama                                    0
Genre_Action                                   0
Genre_Crime                                    0
Genre_Thriller                                 0
Genre_Horror                                   0
Genre_Sci-Fi                                   0
Genre_Documentary                              0
Genre_War                                      0
Genre_Musical                                  0
Genre_Mystery                                  0
Genre_Film-Noir                                0
Genre_Western                                  0
Name: 0, dtype: object

对于一个很大的数据集,这种构建多个成员指示变量的方法并不会加快速度。写一个低层级的函数来直接写一个 numpy array,并把写过整合到 DataFrame 会更快一些。

一个有用的 recipe 诀窍是把 get_dummies 和离散函数(比如 cut)结合起来:

np.random.seed(12345)
values = np.random.rand(10)
values
array([ 0.92961609,  0.31637555,  0.18391881,  0.20456028,  0.56772503,
        0.5955447 ,  0.96451452,  0.6531771 ,  0.74890664,  0.65356987])
bins = [0, 0.2, 0.4, 0.6, 0.8, 1.]
pd.cut(values, bins)
[(0.8, 1], (0.2, 0.4], (0, 0.2], (0.2, 0.4], (0.4, 0.6], (0.4, 0.6], (0.8, 1], (0.6, 0.8], (0.6, 0.8], (0.6, 0.8]]
Categories (5, object): [(0, 0.2] < (0.2, 0.4] < (0.4, 0.6] < (0.6, 0.8] < (0.8, 1]]
pd.get_dummies(pd.cut(values, bins))
 (0, 0.2](0.2, 0.4](0.4, 0.6](0.6, 0.8](0.8, 1]
00.00.00.00.01.0
10.01.00.00.00.0
21.00.00.00.00.0
30.01.00.00.00.0
40.00.01.00.00.0
50.00.01.00.00.0
60.00.00.00.01.0
70.00.00.01.00.0
80.00.00.01.00.0
90.00.00.01.00.0

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文