发布于 2014-10-31 09:43:00 | 352 次阅读 | 评论: 0 | 来源: 网友投递
Python编程语言
Python 是一种面向对象、解释型计算机程序设计语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python语法简洁而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。
本文为大家讲解的是Python 线程池的原理和实现及subprocess模块实用说明，感兴趣的同学的同学参考下。
需求背景：
最近由于项目需要一个与linux shell交互的多线程程序，需要用python实现，之前从没接触过python，这次匆匆忙忙的使用python，发现python确实语法非常简 单，功能非常强大，因为自己是从零开始使用python，连语法都是现学的，所以将一些使用记录下来，希望能帮到大家。
使用python的需求简单的说是调用liunux下的ffmpeg获取音频的一些信息，需要用多线程实现
一、subprocess
因为是多线程，首先想到的是subprocess模块（官方文档说明此模块将会代替os模块和Popen2模块和command模块），这是python提供的开启子线程的标准库。可以通过pipe将子线程的stdin、stdout和stderr与主线程交互。
subprocess.call(["ls", "-l"]) subprocess.check_call(["ls", "-l"])
这是两个非常简单的例子，主线程都会等待子线程命令的完成，然后获取返回值，两个方法的唯一区别就是check_call会检查返回值，如果返回值不为0（即正确执行），则会抛出CalledProcessError异常。
Popen
那么我用的是Popen方法，实际上subprocess模块中其它的方法都是对Popen的封装，为了更方便的使用，如果我们自己需要定制某些功能，最后还是会回到Popen。
Popen具体的参数使用可以参考Python document
Popen接受元组为参数
child = subprocess.Popen(["ping","-c","5","www.google.com"])
与上述方法不同的是，使用Popen，主线程不会等待子线程完成，如果要等待，需要使用wait()方法。
先上我使用的代码：
command = ["ffmpeg","-i",songPath]; stdoutData,stderrData = subprocess.Popen(command,stdout=subprocess.PIPE,stderr=subprocess.PIPE).communicate();
上面也提到了，使用Popen可以自定义标准输入、标准输出和标准错误输出。
那么在这行代码中，我定义了stdoutData和stderrData分别接受命令行程序的标准输出和标准错误输出（即 stdout=subprocess.PIPE,stderr=subprocess.PIPE），都是通过管道（Pipe）实现。大家要注意，如果我们 要在接下来的主线程中使用Popen方法执行命令行程序后的输出数据，如print(stdoutData)，那么记住使用Popen.wait()，因 为主线程不会等待Popen执行完成。为什么我这里没有用呢？因为我这里使用了communicate方法，communicate方法代表子线程与主线 程之间的通信，是阻塞式的，如果使用了communicate方法，主线程会等待子线程的完成。
其实从另一个层面上来说，也是linux标准输入输出的管道重定向，只不过是把标准输入输出重定向到程序而已。
按照这种方法，我就用ffmpeg获取到了音频的输出。
那么问题来了，说好的多线程呢？因为communicate方法是阻塞式的，并不能开启多线程。所以在思考过后，我决定用在主线程中开启多个子线程，分别调用subprocess模块去获取音频的信息。既然都是用到了多线程，考虑到效率问题，自然联想到了线程池。
为什么需要线程池呢？
设想一下，如果我们使用有任务就开启一个子线程处理，处理完成后，销毁子线程或等得子线程自然死亡，那么如果我们的任务所需时间比较短，但是任务数量比较多，那么更多的时间是花在线程的创建和结束上面，效率肯定就低了。
线程池的原理：
既然是线程池（Thread pool），其实名字很形象，就是把指定数量的可用子线程放进一个"池里"，有任务时取出一个线程执行，任务执行完后，并不立即销毁线程，而是放进线程池 中，等待接收下一个任务。这样内存和cpu的开销也比较小，并且我们可以控制线程的数量。
线程池的实现：
线程池有很多种实现方式，在python中，已经给我们提供了一个很好的实现方式：Queue-队列。因为python中Queue本身就是同步的，所以也就是线程安全的，所以我们可以放心的让多个线程共享一个Queue。
那么说到线程池，那么理应也得有一个任务池，任务池中存放着待执行的任务，各个线程到任务池中取任务执行，那么用Queue来实现任务池是最好不过的。
先上代码：
class TaskManager():
def __init__(self,maxTasks,maxThreads):
#最大任务书，也就是Queue的容量
self._maxTasks = maxTasks;
#线程池中线程数量
self._maxThreads = maxThreads;
#业务代码
….
….
#任务池
self._taskQueue = Queue.Queue(maxTasks);
#线程池，使用列表实现
self._threads = [];
#在__init__中调用方法
self.initThreads();
self.initTaskQueue();
#初始化任务池
def initTaskQueue(self):
while True:
#业务代码
if not self._taskQueue.full():
getTasks(self._maxTasks - self._taskQueue.qsize());
for task in taskMap["tasks"]:
self._taskQueue.put(task);
time.sleep(1);
#初始化线程池
def initThreads(self):
for i in range(self._maxThreads):
#调用每个线程执行的具体任务
self._threads.append(Work(self,self._reportUrl));
def getTask(self):
return self._taskQueue.get();
#具体执行的任务
class Work(threading.Thread):
def __init__(self,taskmgr):
threading.Thread.__init__(self);
self._logger = logging.getLogger("");
self.start();
def run(self):
while True:
try:
#取出任务并执行相关操作
self._taskmgr.getTask();
……
……
time.sleep(1);
except Exception,e:
self._logger.exception(e);
线程池的实现主要分两部分，一部分是TaskMagager，即任务管理类，用来调度任务，一部分是Work，即具体需要执行的业务代码。线程池的这种设计模式在很多地方都可以借鉴。
TaskManager
先来看TaskManager，主要包含四个方法，一个构造方法，接受传进来的参数，执行任务池和线程池的大小等初始化信息，然后调用initTaskQueue和initThread方法初始化任务池和线程池。
最后一个方法getTask返回TaskManager类的一个实例。
Work
执行具体的业务
过程分析
关键点：
这里需要注意的是，前面提到过，Python中的Queue是线程安全的，Queue的get方法是阻塞式，也即，如果Queue为空，子线程取不到任务，会进行等待，直到Queue中有任务可取。
三、在TaskManager的__init__方法中，最好先启动线程，在启动任务池。
self.initThreads(); self.initTaskQueue();
否则在initTaskQueue（主线程）中的while循环会一直执行，将会阻塞线程池的执行。在第二点中说明过，先启动线程池，就算任务池没有任务，子线程也会阻塞等待任务池中出现新任务。