- 4.1 The NumPy ndarray 多维数组对象
- 4.2 Universal Functions 通用函数
- 4.3 Array-Oriented Programming with Arrays 数组导向编程
- 5.1 Introduction to pandas Data Structures pandas 的数据结构
- 5.2 Essential Functionality 主要功能
- 5.3 Summarizing and Computing Descriptive Statistics 汇总和描述性统计
- 7.1 Handling Missing Data 处理缺失数据
- 7.2 Data Transformation 数据变换
- 7.3 String Manipulation 字符串处理
- 11.1 Date and Time Data Types and Tools 日期和时间数据类型及其工具
- 11.2 Time Series Basics 时间序列基础
- 11.3 Date Ranges, Frequencies, and Shifting 日期范围,频度,和位移
- 12.1 Categorical Data 类别数据
- 14.1 USA.gov Data from Bitly USA.gov 数据集
- 14.2 MovieLens 1M Dataset MovieLens 1M 数据集
- 14.3 US Baby Names 1880–2010 1880年至2010年美国婴儿姓名
11.1 Date and Time Data Types and Tools 日期和时间数据类型及其工具
CHAPTER 11 Time Series(时间序列)
时间序列指能在任何能在时间上观测到的数据。很多时间序列是有固定频率(fixed frequency)的,意思是数据点会遵照某种规律定期出现,比如每 15 秒,每 5 分钟,或每个月。时间序列也可能是不规律的(irregular),没有一个固定的时间规律。如何参照时间序列数据取决于我们要做什么样的应用,我们可能会遇到下面这些:
- Timestamps(时间戳),具体的某一个时刻
- Fixed periods(固定的时期),比如 2007 年的一月,或者 2010 年整整一年
- Intervals of time(时间间隔),通常有一个开始和结束的时间戳。Periods(时期)可能被看做是 Intervals(间隔)的一种特殊形式。
- Experiment or elapsed time(实验或经过的时间);每一个时间戳都是看做是一个特定的开始时间(例如,在放入烤箱后,曲奇饼的直径在每一秒的变化程度)
这一章主要涉及前三个类型。
pandas 也支持基于 timedeltas 的 index,本书不会对 timedelta index 做介绍,感兴趣的可以查看 pandas 的文档。
11.1 Date and Time Data Types and Tools(日期和时间数据类型及其工具)
python 有标准包用来表示时间和日期数据。datetime, time, calendar,这些模块经常被使用。datetime.datetime 类型,或简单写为 datetime,被广泛使用:
import pandas as pd
from datetime import datetime
now = datetime.now()
now
datetime.datetime(2017, 12, 1, 12, 12, 0, 375896)
now.year, now.month, now.day
(2017, 12, 1)
datetime 能保存日期和时间到微妙级别。timedelta 表示两个不同的 datetime 对象之间的时间上的不同:
delta = datetime(2011, 1, 7) - datetime(2008, 6, 24, 8, 15) delta
datetime.timedelta(926, 56700)
delta.days
926
delta.seconds
56700
我们可以在一个 datetime 对象上,添加或减少一个或多个 timedelta,这样可以产生新的变化后的对象:
from datetime import timedelta
start = datetime(2011, 1, 7)
start + timedelta(12)
datetime.datetime(2011, 1, 19, 0, 0)
start - 2 * timedelta(12)
datetime.datetime(2010, 12, 14, 0, 0)
1 Converting Between String and Datetime(字符串与时间的转换)
我们可以对 datetime 对象,以及 pandas 的 Timestamp 对象进行格式化,这部分之后会介绍,使用 str 或 strftime 方法,传入一个特定的时间格式就能进行转换:
stamp = datetime(2011, 1, 3)
str(stamp)
'2011-01-03 00:00:00'
stamp.strftime('%Y-%m-%d')
'2011-01-03'
我们可以利用上面的 format codes(格式码;时间日期格式)把字符串转换为日期,这要用到 datetime.strptime:
value = '2011-01-03'
datetime.strptime(value, '%Y-%m-%d')
datetime.datetime(2011, 1, 3, 0, 0)
datestrs = ['7/6/2011', '8/6/2011']
[datetime.strptime(x, '%m/%d/%Y') for x in datestrs]
[datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]
对于一个一直的时间格式,使用 datetime.strptime 来解析日期是很好的方法。但是,如果每次都要写格式的话很烦人,尤其是对于一些比较常见的格式。在这种情况下,我们可以使用第三方库 dateutil 中的 parser.parse 方法(这个库会在安装 pandas 的时候自动安装):
from dateutil.parser import parse
parse('2011-01-03')
datetime.datetime(2011, 1, 3, 0, 0)
dateutil 能够解析很多常见的时间表示格式:
parse('Jan 31, 1997 10:45 PM')
datetime.datetime(1997, 1, 31, 22, 45)
在国际上,日在月之前是很常见的(译者:美国是把月放在日前面的),所以我们可以设置 dayfirst=True 来指明最前面的是否是日:
parse('6/12/2011', dayfirst=True)
datetime.datetime(2011, 12, 6, 0, 0)
pandas 通常可以用于处理由日期组成的数组,不论是否是 DataFrame 中的行索引或列。to_datetime 方法能解析很多不同种类的日期表示。标准的日期格式,比如 ISO 8601,能被快速解析:
datestrs = ['2011-07-06 12:00:00', '2011-08-06 00:00:00']
pd.to_datetime(datestrs)
DatetimeIndex(['2011-07-06 12:00:00', '2011-08-06 00:00:00'], dtype='datetime64[ns]', freq=None)
还能处理一些应该被判断为缺失的值(比如 None, 空字符串之类的):
idx = pd.to_datetime(datestrs + [None]) idx
DatetimeIndex(['2011-07-06 12:00:00', '2011-08-06 00:00:00', 'NaT'], dtype='datetime64[ns]', freq=None)
idx[2]
NaT
pd.isnull(idx)
array([False, False, True], dtype=bool)
Nat(Not a Time)在 pandas 中,用于表示时间戳为空值(null value)。
dateutil.parse 是一个很有用但不完美的工具。它可能会把一些字符串识别为日期,例如,'42'就会被解析为 2042 年加上今天的日期。
datetime 对象还有一些关于地区格式(locale-specific formatting)的选项,用于处理不同国家或不同语言的问题。例如,月份的缩写在德国和法国,与英语是不同的。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论