- 本书赞誉
- 前言
- 第一部分 基础篇
- 第1章 系统基础信息模块详解
- 第2章 业务服务监控详解
- 第3章 定制业务质量报表详解
- 第4章 Python 与系统安全
- 第二部分 高级篇
- 第5章 系统批量运维管理器 pexpect 详解
- 第6章 系统批量运维管理器 paramiko 详解
- 第7章 系统批量运维管理器Fabric详解
- 第8章 从零开发一个轻量级 WebServer
- 第9章 集中化管理平台 Ansible 详解
- 第10章 集中化管理平台 Saltstack 详解
- 第11章 统一网络控制器 Func 详解
- 第12章 Python 大数据应用详解
- 第三部分 案例篇
- 第13章 从零开始打造 B/S 自动化运维平台
- 第14章 打造 Linux 系统安全审计功能
- 第15章 构建分布式质量监控平台
- 第16章 构建桌面版 C/S 自动化运维平台
1.1 系统性能信息模块 psutil
psutil是一个跨平台库( http://code.google.com/p/psutil/ ),能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能,如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。目前支持32位和64位的Linux、Windows、OS X、FreeBSD和Sun Solaris等操作系统,支持从2.4到3.4的Python版本,目前最新版本为2.0.0。通常我们获取操作系统信息往往采用编写shell来实现,如获取当前物理内存总大小及已使用大小,shell命令如下:
物理内存total值: free -m | grep Mem | awk '{print $2}' 物理内存used值: free -m | grep Mem | awk '{print $3}'
相比较而言,使用psutil库实现则更加简单明了。psutil大小单位一般都采用字节,如下:
>>> import psutil >>>mem = psutil.virtual_memory >>>mem.total,mem.used (506277888L, 500367360L)
psutil的源码安装步骤如下:
#wget https://pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certificate # tar -xzvf psutil-2.0.0.tar.gz # cd psutil-2.0.0 # python setup.py install
1.1.1 获取系统性能信息
采集系统的基本性能信息包括CPU、内存、磁盘、网络等,可以完整描述当前系统的运行状态及质量。psutil模块已经封装了这些方法,用户可以根据自身的应用场景,调用相应的方法来满足需求,非常简单实用。
(1)CPU信息
Linux操作系统的CPU利用率有以下几个部分:
User Time,执行用户进程的时间百分比;
System Time,执行内核进程和中断的时间百分比;
Wait IO,由于IO等待而使CPU处于idle(空闲)状态的时间百分比;
Idle,CPU处于idle状态的时间百分比。
我们使用Python的psutil.cpu_times方法可以非常简单地得到这些信息,同时也可以获取CPU的硬件相关信息,比如CPU的物理个数与逻辑个数,具体见下面的操作例子:
>>> import psutil >>>psutil.cpu_times#使用cpu_times方法获取CPU完整信息,需要显示所有逻辑CPU信息, >>>#指定方法变量percpu=True即可,如psutil.cpu_times(percpu=True) scputimes(user=38.039999999999999, nice=0.01, system=110.88, idle=177062.59, iowait=53.399999999999999, irq=2.9100000000000001, softirq=79.579999999999998, steal=0.0, guest=0.0) >>>psutil.cpu_times.user #获取单项数据信息,如用户user的CPU时间比 38.0 >>>psutil.cpu_count #获取CPU的逻辑个数,默认logical=True4 >>>psutil.cpu_count(logical=False) #获取CPU的物理个数 2 >>>
(2)内存信息
Linux系统的内存利用率信息涉及total(内存总数)、used(已使用的内存数)、free(空闲内存数)、buffers(缓冲使用数)、cache(缓存使用数)、swap(交换分区使用数)等,分别使用psutil.virtual_memory与psutil.swap_memory方法获取这些信息,具体见下面的操作例子:
>>> import psutil >>>mem = psutil.virtual_memory #使用psutil.virtual_memory方法获取内存完整信息 >>>mem svmem(total=506277888L, available=204951552L, percent=59.5, used=499867648L, free=6410240L, active=245858304, inactive=163733504, buffers=117035008L, cached=81506304) >>>mem.total #获取内存总数 506277888L >>>mem.free #获取空闲内存数 6410240L >>>psutil.swap_memory #获取SWAP分区信息sswap(total=1073733632L, used=0L, free=1073733632L, percent=0.0, sin=0, sout=0) >>>
(3)磁盘信息
在系统的所有磁盘信息中,我们更加关注磁盘的利用率及IO信息,其中磁盘利用率使用psutil.disk_usage方法获取。磁盘IO信息包括read_count(读IO数)、write_count(写IO数)、read_bytes(IO读字节数)、write_bytes(IO写字节数)、read_time(磁盘读时间)、write_time(磁盘写时间)等。这些IO信息可以使用psutil.disk_io_counters获取,具体见下面的操作例子:
>>>psutil.disk_partitions #使用psutil.disk_partitions方法获取磁盘完整信息 [sdiskpart(device='/dev/sda1', mountpoint='/', fstype='ext4', opts='rw'), sdiskpart(device='/dev/sda3', mountpoint='/data', fstype='ext4', opts='rw')] >>> >>>psutil.disk_usage('/') #使用psutil.disk_usage方法获取分区(参数)的使用情况 sdiskusage(total=15481577472, used=4008087552, free=10687057920, percent=25.899999999999999) >>> >>>psutil.disk_io_counters #使用psutil.disk_io_counters获取硬盘总的IO个数、 #读写信息 sdiskio(read_count=9424, write_count=35824, read_bytes=128006144, write_bytes=204312576, read_time=72266, write_time=182485) >>> >>>psutil.disk_io_counters(perdisk=True) #“perdisk=True”参数获取单个分区IO个数、 #读写信息 {'sda2': sdiskio(read_count=322, write_count=0, read_bytes=1445888, write_bytes=0, read_time=445, write_time=0), 'sda3': sdiskio(read_count=618, write_count=3, read_bytes=2855936, write_bytes=12288, read_time=871, write_time=155), 'sda1': sdiskio(read_count=8484, write_count=35821, read_bytes=123704320, write_bytes=204300288, read_time=70950, write_time=182330)}
(4)网络信息
系统的网络信息与磁盘IO类似,涉及几个关键点,包括bytes_sent(发送字节数)、bytes_recv=28220119(接收字节数)、packets_sent=200978(发送数据包数)、packets_recv=212672(接收数据包数)等。这些网络信息使用psutil.net_io_counters方法获取,具体见下面的操作例子:
>>>psutil.net_io_counters #使用psutil.net_io_counters获取网络总的IO信息,默 #认pernic=False snetio(bytes_sent=27098178, bytes_recv=28220119, packets_sent=200978, packets_recv=212672, errin=0, errout=0, dropin=0, dropout=0) >>>psutil.net_io_counters(pernic=True) #pernic=True输出每个网络接口的IO信息{'lo': snetio(bytes_sent=26406824, bytes_recv=26406824, packets_sent=198526, packets_recv=198526, errin=0, errout=0, dropin=0, dropout=0), 'eth0': snetio(bytes_sent=694750, bytes_recv=1816743, packets_sent=2478, packets_recv=14175, errin=0, errout=0, dropin=0, dropout=0)} >>>
(5)其他系统信息
除了前面介绍的几个获取系统基本信息的方法,psutil模块还支持获取用户登录、开机时间等信息,具体见下面的操作例子:
>>>psutil.users #使用psutil.users方法返回当前登录系统的用户信息 [suser(name='root', terminal='pts/0', host='192.168.1.103', started=1394638720.0), suser(name='root', terminal='pts/1', host='192.168.1.103', started=1394723840.0)] >>> import psutil, datetime >>>psutil.boot_time #使用psutil.boot_time方法获取开机时间,以Linux时间戳格式返回 1389563460.0 >>>datetime.datetime.fromtimestamp(psutil.boot_time).strftime("%Y-%m-%d %H:%M:%S") '2014-01-12 22:51:00' #转换成自然时间格式
1.1.2 系统进程管理方法
获得当前系统的进程信息,可以让运维人员得知应用程序的运行状态,包括进程的启动时间、查看或设置CPU亲和度、内存使用率、IO信息、socket连接、线程数等,这些信息可以呈现出指定进程是否存活、资源利用情况,为开发人员的代码优化、问题定位提供很好的数据参考。
(1)进程信息
psutil模块在获取进程信息方面也提供了很好的支持,包括使用psutil.pids方法获取所有进程PID,使用psutil.Process方法获取单个进程的名称、路径、状态、系统资源利用率等信息,具体见下面的操作例子:
>>> import psutil >>>psutil.pids #列出所有进程PID [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19……] >>> p = psutil.Process(2424) #实例化一个Process对象,参数为一进程PID >>> p.name #进程名 'java' >>> p.exe #进程bin路径 '/usr/java/jdk1.6.0_45/bin/java' >>>p.cwd #进程工作目录绝对路径 '/usr/local/hadoop-1.2.1' >>>p.status #进程状态 'sleeping' >>>p.create_time #进程创建时间,时间戳格式 1394852592.6900001 >>>p.uids #进程uid信息 puids(real=0, effective=0, saved=0) >>>p.gids #进程gid信息 pgids(real=0, effective=0, saved=0) >>>p.cpu_times #进程CPU时间信息,包括user、system两个CPU时间 pcputimes(user=9.0500000000000007, system=20.25) >>>p.cpu_affinity #get进程CPU亲和度,如要设置进程CPU亲和度,将CPU号作为参数即可 [0, 1] >>>p.memory_percent #进程内存利用率 14.147714861289776 >>>p.memory_info #进程内存rss、vms信息 pmem(rss=71626752, vms=1575665664) >>>p.io_counters #进程IO信息,包括读写IO数及字节数 pio(read_count=41133, write_count=16811, read_bytes=37023744, write_bytes=4722688) >>>p.connections #返回打开进程socket的namedutples列表,包括fs、family、laddr #等信息 [pconn(fd=65, family=10, type=1, laddr=('::ffff:192.168.1.20', 9000), raddr=,……] >>>p.num_threads #进程开启的线程数 33
(2)popen类的使用
psutil提供的popen类的作用是获取用户启动的应用程序进程信息,以便跟踪程序进程的运行状态。具体实现方法如下:
>>> import psutil >>>from subprocess import PIPE #通过psutil的Popen方法启动的应用程序,可以跟踪该程序运行的所有相关信息 >>> p = psutil.Popen(["/usr/bin/python", "-c", "print('hello')"], stdout=PIPE) >>>p.name 'python' >>>p.username 'root' >>>p.communicate ('hello\n', None) >>>p.cpu_times #得到进程运行的CPU时间,更多方法见上一小节 pcputimes(user=0.01, system=0.040000000000000001)
参考提示
1.1.1节示例参考 https://github.com/giampaolo/psutil 。
1.1.1节模块说明参考官网 http://psutil.readthedocs.org/en/latest/ 。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论