01. Python 工具
02. Python 基础
03. Numpy
- Numpy 简介
- Matplotlib 基础
- Numpy 数组及其索引
- 数组类型
- 数组方法
- 数组排序
- 数组形状
- 对角线
- 数组与字符串的转换
- 数组属性方法总结
- 生成数组的函数
- 矩阵
- 一般函数
- 向量化函数
- 二元运算
- ufunc 对象
- choose 函数实现条件筛选
- 数组广播机制
- 数组读写
- 结构化数组
- 记录数组
- 内存映射
- 从 Matlab 到 Numpy
04. Scipy
05. Python 进阶
- sys 模块简介
- 与操作系统进行交互:os 模块
- CSV 文件和 csv 模块
- 正则表达式和 re 模块
- datetime 模块
- SQL 数据库
- 对象关系映射
- 函数进阶:参数传递,高阶函数,lambda 匿名函数,global 变量,递归
- 迭代器
- 生成器
- with 语句和上下文管理器
- 修饰符
- 修饰符的使用
- operator, functools, itertools, toolz, fn, funcy 模块
- 作用域
- 动态编译
06. Matplotlib
- Pyplot 教程
- 使用 style 来配置 pyplot 风格
- 处理文本(基础)
- 处理文本(数学表达式)
- 图像基础
- 注释
- 标签
- figures, subplots, axes 和 ticks 对象
- 不要迷信默认设置
- 各种绘图实例
07. 使用其他语言进行扩展
- 简介
- Python 扩展模块
- Cython:Cython 基础,将源代码转换成扩展模块
- Cython:Cython 语法,调用其他C库
- Cython:class 和 cdef class,使用 C++
- Cython:Typed memoryviews
- 生成编译注释
- ctypes
08. 面向对象编程
09. Theano 基础
- Theano 简介及其安装
- Theano 基础
- Theano 在 Windows 上的配置
- Theano 符号图结构
- Theano 配置和编译模式
- Theano 条件语句
- Theano 循环:scan(详解)
- Theano 实例:线性回归
- Theano 实例:Logistic 回归
- Theano 实例:Softmax 回归
- Theano 实例:人工神经网络
- Theano 随机数流变量
- Theano 实例:更复杂的网络
- Theano 实例:卷积神经网络
- Theano tensor 模块:基础
- Theano tensor 模块:索引
- Theano tensor 模块:操作符和逐元素操作
- Theano tensor 模块:nnet 子模块
- Theano tensor 模块:conv 子模块
10. 有趣的第三方模块
11. 有用的工具
- pprint 模块:打印 Python 对象
- pickle, cPickle 模块:序列化 Python 对象
- json 模块:处理 JSON 数据
- glob 模块:文件模式匹配
- shutil 模块:高级文件操作
- gzip, zipfile, tarfile 模块:处理压缩文件
- logging 模块:记录日志
- string 模块:字符串处理
- collections 模块:更多数据结构
- requests 模块:HTTP for Human
12. Pandas
Numpy 数组及其索引
先导入numpy:
In [1]:
from numpy import *
产生数组
从列表产生数组:
In [2]:
lst = [0, 1, 2, 3]
a = array(lst)
a
Out[2]:
array([0, 1, 2, 3])
或者直接将列表传入:
In [3]:
a = array([1, 2, 3, 4])
a
Out[3]:
array([1, 2, 3, 4])
数组属性
查看类型:
In [4]:
type(a)
Out[4]:
numpy.ndarray
查看数组中的数据类型:
In [5]:
# 32比特的整数
a.dtype
Out[5]:
dtype('int32')
查看每个元素所占的字节:
In [6]:
a.itemsize
Out[6]:
4
查看形状,会返回一个元组,每个元素代表这一维的元素数目:
In [7]:
# 1维数组,返回一个元组
a.shape
Out[7]:
(4L,)
或者使用:
In [8]:
shape(a)
Out[8]:
(4L,)
shape
的使用历史要比 a.shape
久,而且还可以作用于别的类型:
In [9]:
lst = [1,2,3,4]
shape(lst)
Out[9]:
(4L,)
查看元素数目:
In [10]:
a.size
Out[10]:
4
In [11]:
size(a)
Out[11]:
4
查看所有元素所占的空间:
In [12]:
a.nbytes
Out[12]:
16
但事实上,数组所占的存储空间要比这个数字大,因为要用一个header来保存shape,dtype这样的信息。
查看数组维数:
In [13]:
a.ndim
Out[13]:
1
使用fill方法设定初始值
可以使用 fill
方法将数组设为指定值:
In [14]:
a.fill(-4.8)
a
Out[14]:
array([-4, -4, -4, -4])
但是与列表不同,数组中要求所有元素的 dtype
是一样的,如果传入参数的类型与数组类型不一样,需要按照已有的类型进行转换。
索引与切片
和列表相似,数组也支持索引和切片操作。
索引第一个元素:
In [15]:
a = array([0, 1, 2, 3])
a[0]
Out[15]:
0
修改第一个元素的值:
In [16]:
a[0] = 10
a
Out[16]:
array([10, 1, 2, 3])
切片,支持负索引:
In [17]:
a = array([11,12,13,14,15])
a[1:3]
Out[17]:
array([12, 13])
In [18]:
a[1:-2]
Out[18]:
array([12, 13])
In [19]:
a[-4:3]
Out[19]:
array([12, 13])
省略参数:
In [20]:
a[::2]
Out[20]:
array([11, 13, 15])
In [21]:
a[-2:]
Out[21]:
array([14, 15])
假设我们记录一辆汽车表盘上每天显示的里程数:
In [22]:
od = array([21000, 21180, 21240, 22100, 22400])
可以这样计算每天的旅程:
In [23]:
dist = od[1:] - od[:-1]
dist
Out[23]:
array([180, 60, 860, 300])
在本质上,Python会将array的各种计算转换为类似这样的C代码:
int compute_sum(int *arr, int N) {
int sum = 0;
int i;
for (i = 0; i < N; i++) {
sum += arr[i];
}
return sum;
}
多维数组及其属性
array
还可以用来生成多维数组:
In [24]:
a = array([[ 0, 1, 2, 3],
[10,11,12,13]])
a
Out[24]:
array([[ 0, 1, 2, 3],
[10, 11, 12, 13]])
事实上我们传入的是一个以列表为元素的列表,最终得到一个二维数组。
甚至可以扩展到3D或者4D的情景。
查看形状:
In [25]:
a.shape
Out[25]:
(2L, 4L)
这里2代表行数,4代表列数。
查看总的元素个数:
In [26]:
# 2 * 4 = 8
a.size
Out[26]:
8
查看维数:
In [27]:
a.ndim
Out[27]:
2
多维数组索引
对于二维数组,可以传入两个数字来索引:
In [28]:
a[1, 3]
Out[28]:
13
其中,1是行索引,3是列索引,中间用逗号隔开,事实上,Python会将它们看成一个元组(1,3),然后按照顺序进行对应。
可以利用索引给它赋值:
In [29]:
a[1, 3] = -1
a
Out[29]:
array([[ 0, 1, 2, 3],
[10, 11, 12, -1]])
事实上,我们还可以使用单个索引来索引一整行内容:
In [30]:
# 返回第二行元组组成的array
a[1]
Out[30]:
array([10, 11, 12, -1])
Python会将这单个元组当成对第一维的索引,然后返回对应的内容。
多维数组切片
多维数组,也支持切片操作:
In [31]:
a = array([[ 0, 1, 2, 3, 4, 5],
[10,11,12,13,14,15],
[20,21,22,23,24,25],
[30,31,32,33,34,35],
[40,41,42,43,44,45],
[50,51,52,53,54,55]])
a
Out[31]:
array([[ 0, 1, 2, 3, 4, 5],
[10, 11, 12, 13, 14, 15],
[20, 21, 22, 23, 24, 25],
[30, 31, 32, 33, 34, 35],
[40, 41, 42, 43, 44, 45],
[50, 51, 52, 53, 54, 55]])
想得到第一行的第 4 和第 5 两个元素:
In [32]:
a[0, 3:5]
Out[32]:
array([3, 4])
得到最后两行的最后两列:
In [33]:
a[4:, 4:]
Out[33]:
array([[44, 45],
[54, 55]])
得到第三列:
In [34]:
a[:, 2]
Out[34]:
array([ 2, 12, 22, 32, 42, 52])
每一维都支持切片的规则,包括负索引,省略:
[lower:upper:step]
例如,取出3,5行的奇数列:
In [35]:
a[2::2, ::2]
Out[35]:
array([[20, 22, 24],
[40, 42, 44]])
切片是引用
切片在内存中使用的是引用机制。
In [36]:
a = array([0,1,2,3,4])
b = a[2:4]
print b
[2 3]
引用机制意味着,Python并没有为 b
分配新的空间来存储它的值,而是让 b
指向了 a
所分配的内存空间,因此,改变 b
会改变 a
的值:
In [37]:
b[0] = 10
a
Out[37]:
array([ 0, 1, 10, 3, 4])
而这种现象在列表中并不会出现:
In [38]:
a = [1,2,3,4,5]
b = a[2:3]
b[0] = 13234
print a
[1, 2, 3, 4, 5]
这样做的好处在于,对于很大的数组,不用大量复制多余的值,节约了空间。
缺点在于,可能出现改变一个值改变另一个值的情况。
一个解决方法是使用copy()方法产生一个复制,这个复制会申请新的内存:
In [39]:
a = array([0,1,2,3,4])
b = a[2:4].copy()
b[0] = 10
a
Out[39]:
array([0, 1, 2, 3, 4])
花式索引
切片只能支持连续或者等间隔的切片操作,要想实现任意位置的操作,需要使用花式索引 fancy slicing
。
一维花式索引
与 range 函数类似,我们可以使用 arange 函数来产生等差数组。
In [40]:
a = arange(0, 80, 10)
a
Out[40]:
array([ 0, 10, 20, 30, 40, 50, 60, 70])
花式索引需要指定索引位置:
In [41]:
indices = [1, 2, -3]
y = a[indices]
print y
[10 20 50]
还可以使用布尔数组来花式索引:
In [42]:
mask = array([0,1,1,0,0,1,0,0],
dtype=bool)
In [43]:
a[mask]
Out[43]:
array([10, 20, 50])
或者用布尔表达式生成 mask
,选出了所有大于0.5的值:
In [44]:
from numpy.random import rand
a = rand(10)
a
Out[44]:
array([ 0.37214708, 0.48594733, 0.73365131, 0.15769295, 0.30786017,
0.62068734, 0.36940654, 0.09424167, 0.53085308, 0.12248951])
In [45]:
mask = a > 0.5
a[mask]
Out[45]:
array([ 0.73365131, 0.62068734, 0.53085308])
mask 必须是布尔数组。
二维花式索引
In [46]:
a = array([[ 0, 1, 2, 3, 4, 5],
[10,11,12,13,14,15],
[20,21,22,23,24,25],
[30,31,32,33,34,35],
[40,41,42,43,44,45],
[50,51,52,53,54,55]])
a
Out[46]:
array([[ 0, 1, 2, 3, 4, 5],
[10, 11, 12, 13, 14, 15],
[20, 21, 22, 23, 24, 25],
[30, 31, 32, 33, 34, 35],
[40, 41, 42, 43, 44, 45],
[50, 51, 52, 53, 54, 55]])
对于二维花式索引,我们需要给定 row
和 col
的值:
In [47]:
a[(0,1,2,3,4), (1,2,3,4,5)]
Out[47]:
array([ 1, 12, 23, 34, 45])
返回的是一条次对角线上的5个值。
In [48]:
a[3:, [0,2,5]]
Out[48]:
array([[30, 32, 35],
[40, 42, 45],
[50, 52, 55]])
返回的是最后三行的第1,3,5列。
也可以使用mask进行索引:
In [49]:
mask = array([1,0,1,0,0,1],
dtype=bool)
a[mask, 2]
Out[49]:
array([ 2, 22, 52])
与切片不同,花式索引返回的是原对象的一个复制而不是引用。
“不完全”索引
只给定行索引的时候,返回整行:
In [50]:
y = a[:3]
y
Out[50]:
array([[ 0, 1, 2, 3, 4, 5],
[10, 11, 12, 13, 14, 15],
[20, 21, 22, 23, 24, 25]])
这时候也可以使用花式索引取出第2,3,5行:
In [51]:
condition = array([0,1,1,0,1],
dtype=bool)
a[condition]
Out[51]:
array([[10, 11, 12, 13, 14, 15],
[20, 21, 22, 23, 24, 25],
[40, 41, 42, 43, 44, 45]])
三维花式索引
In [52]:
a = arange(64)
a.shape = 4,4,4
a
Out[52]:
array([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11],
[12, 13, 14, 15]],
[[16, 17, 18, 19],
[20, 21, 22, 23],
[24, 25, 26, 27],
[28, 29, 30, 31]],
[[32, 33, 34, 35],
[36, 37, 38, 39],
[40, 41, 42, 43],
[44, 45, 46, 47]],
[[48, 49, 50, 51],
[52, 53, 54, 55],
[56, 57, 58, 59],
[60, 61, 62, 63]]])
In [53]:
y = a[:,:,[2, -1]]
y
Out[53]:
array([[[ 2, 3],
[ 6, 7],
[10, 11],
[14, 15]],
[[18, 19],
[22, 23],
[26, 27],
[30, 31]],
[[34, 35],
[38, 39],
[42, 43],
[46, 47]],
[[50, 51],
[54, 55],
[58, 59],
[62, 63]]])
where语句
where(array)
where
函数会返回所有非零元素的索引。
一维数组
先看一维的例子:
In [54]:
a = array([0, 12, 5, 20])
判断数组中的元素是不是大于10:
In [55]:
a > 10
Out[55]:
array([False, True, False, True], dtype=bool)
数组中所有大于10的元素的索引位置:
In [56]:
where(a > 10)
Out[56]:
(array([1, 3], dtype=int64),)
注意到 where
的返回值是一个元组。
使用元组是由于 where 可以对多维数组使用,此时返回值就是多维的。
在使用的时候,我们可以这样:
In [57]:
indices = where(a > 10)
indices = indices[0]
indices
Out[57]:
array([1, 3], dtype=int64)
或者:
In [58]:
indices = where(a>10)[0]
indices
Out[58]:
array([1, 3], dtype=int64)
可以直接用 where
的返回值进行索引:
In [59]:
loc = where(a > 10)
a[loc]
Out[59]:
array([12, 20])
多维数组
考虑二维数组:
In [60]:
a = array([[0, 12, 5, 20],
[1, 2, 11, 15]])
loc = where(a > 10)
返回结果是一个二维的元组,每一维代表这一维的索引值:
In [61]:
loc
Out[61]:
(array([0, 0, 1, 1], dtype=int64), array([1, 3, 2, 3], dtype=int64))
也可以直接用来索引a:
In [62]:
a[loc]
Out[62]:
array([12, 20, 11, 15])
或者可以这样:
In [63]:
rows, cols = where(a>10)
In [64]:
rows
Out[64]:
array([0, 0, 1, 1], dtype=int64)
In [65]:
cols
Out[65]:
array([1, 3, 2, 3], dtype=int64)
In [66]:
a[rows, cols]
Out[66]:
array([12, 20, 11, 15])
再看另一个例子:
In [67]:
a = arange(25)
a.shape = 5,5
a
Out[67]:
array([[ 0, 1, 2, 3, 4],
[ 5, 6, 7, 8, 9],
[10, 11, 12, 13, 14],
[15, 16, 17, 18, 19],
[20, 21, 22, 23, 24]])
In [68]:
a > 12
Out[68]:
array([[False, False, False, False, False],
[False, False, False, False, False],
[False, False, False, True, True],
[ True, True, True, True, True],
[ True, True, True, True, True]], dtype=bool)
In [69]:
where(a > 12)
Out[69]:
(array([2, 2, 3, 3, 3, 3, 3, 4, 4, 4, 4, 4], dtype=int64),
array([3, 4, 0, 1, 2, 3, 4, 0, 1, 2, 3, 4], dtype=int64))
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论