Python写的多线程备份、追踪脚本

Question

本帖最后由 ning_lianjie 于 2010-11-05 09:28 编辑

1. #!/usr/bin/python
3. import os,sys,time,re,threading
5. now=time.strftime('%Y%m%d')
6. log_02='/tmp/tongbu_stats_%s.csv' % (now)
8. dict_cmd={
9. 'test1':'/usr/bin/rsync -tzrlp --stats /tmp/test1 /tmp/test2010',
10. 'test2':'/usr/bin/rsync -tzrp --stats /tmp/test2 /tmp/test2010'
11. }
13. def write_title(log_stat):
14.     file_log=open(log_stat,'a')
15.     file_log.write('start_time,end_time,module,Number of files,Number of files transferred,Total file size(bytes),Total transferred file size(bytes)n')
16.     file_log.close()
18. def write_notes(cmd,log_stat,nam):
19.     fle=open(log_stat,'a')
20.     try:
21.         s_time=time.strftime('%H:%M:%S')
22.         cmd_put=os.popen(cmd)
23.         list_tmp=[]
24.         re_p=re.compile('(Number of files:|Number of files transferred:|Total file size:|Total transferred file size:) (d+)?')
25.         for each_line1 in cmd_put:
26.             for each_line2 in re_p.finditer(each_line1):
27.                 if each_line2 is not None:
28.                     list_tmp.append(each_line2.group(2))
29.                 else:
30.                     pass
31.         e_time=time.strftime('%H:%M:%S')
32.         cmd_stat='%s,%s,%s,%s,%s,%s,%s,%s' % (s_time,e_time,nam,list_tmp[0],list_tmp[1],list_tmp[2],list_tmp[3],os.linesep)
33.         cmd_put.close()
34.         fle.write(cmd_stat)
35.     except:
36.         cmd_stat='%s,%s,%s,%s,%s,%s' % (s_time,e_time,nam,'error','error','error','error'+os.linesep)
37.         fle.write(cmd_stat)
38.     fle.close()
40. if __name__ == '__main__':
41.     write_title(log_02)
42.     threads = {}
43.     for i in dict_cmd:
44.         t=threading.Thread(target=write_notes,args=(dict_cmd[i],log_02,i))
45.         print 'exec',i
46.         threads[i]=t
47.     for i in dict_cmd:
48.         threads[i].start()
49.         time.sleep(10)
50.         print 'exec',threads[i]
51.     for i in dict_cmd:
52.         threads[i].join()

复制代码注释：
1·同时执行一个脚本中的备份命令，避免服务资源的浪费。
2·最后的sleep是睡眠时间，避免同一时间，启动太多进程。

Answer 1

1.     for i in dict_cmd:
2.         threads[i]=threading.Thread(target=write_notes,args=(dict_cmd[i],log_02,i))
3.         threads[i].start()
4.         threads[i].join()
5.         time.sleep(10)

复制代码这种结构，并没有实现并行，而是每个线程运行之后，等待结束，再等10秒，才开始下一次循环。

Answer 2

本帖最后由 ning_lianjie 于 2010-11-05 09:30 编辑

回复 2# send_linux

    我昨晚测试，这个脚本还不是想象那样，需要修改。没有实现并行。
每个线程设置start。简写还是会出问题

Answer 3

注释：
1·同时执行一个脚本中的备份命令，避免服务资源的浪费。
2·最后的sleep是睡眠时间，避免同一时间 ...
ning_lianjie 发表于 2010-11-04 17:29

    谢谢分享啊，呵呵