前情提要

之前由於平行計算的作業被視為類同或抄襲網路，正好最近學習Python，於是剛好在這裡作一個補充，新方法採用Python實現並行，一來學習用，二來為了完成作業。

Python平行計算

Python在平行計算方面使用的是GIL(Global Interperter Lock，全域性直譯器鎖)，被認為的多執行緒其實是偽的，比較雞肋，但在實驗環境中，配合GPU，其實還不是很雞肋，在此我們就講解一下；

Python的原直譯器CPython是有GIL的，在執行程式碼過程中，會產生互斥鎖來限制執行緒對共享資源的訪問，而GIL的作用就是，一個進行同一時間只能允許一個執行緒運算，擺明的單執行緒啊！

由於CPython中的GIL的存在我們可以暫時不奢望能在CPython中使用多執行緒利用多核資源進行平行計算了，因此我們在Python中可以利用多程序的方式充分利用多核資源。

平行計算的目的是將所有的核心都執行起來以提高程式碼的執行速度，在python中由於存在全域性直譯器鎖（GIL）如果使用預設的python多執行緒進行平行計算可能會發現程式碼的執行速度並不會加快，甚至會比使用但核心要慢！！！

用到的庫

下面就來簡單介紹幾個Python平行計算中用到的庫，最後再使用Python實現一個小例子，應該可以完成作業了吧？

在Thread和Process中，應當優選Process，因為Process更穩定，而且，Process可以分佈到多臺機器上，而Thread最多隻能分佈到同一臺機器的多個CPU上。當然我們處理一個簡單的例子用哪個都可以。

這裡我們使用Python的multiprocessing模組，其中managers子模組還支援把多程序分佈到多臺機器上。一個服務程序可以作為排程者，將任務分佈到其他多個程序中，依靠網路通訊。由於managers模組封裝很好，不必瞭解網路通訊的細節，就可以很容易地編寫分散式多程序程式。

• 簡單介紹一下multiprocessing模組的用法：

multiprocessing模組提供了一個Process類來代表一個程序物件。建立子程序時，只需要傳入一個執行函式和函式的引數，建立一個Process例項，start()方法啟動，join()方法可以等待子程序結束後再繼續往下執行，通常用於程序間的同步。

程式碼舉例（程式碼經過實驗，在Python3上執行）：

#-*-coding=utf-8-*-

from multiprocessing import Process
import os
import time


def run_process(name):
	time.sleep(2)
	print('Run child process %s is (%s). ' %(name, os.getpid()))

	pass

def hello_world():
	time.sleep(5)
	print('Run child process is (%s). ' %(os.getpid()))

	pass

if __name__ == "__main__":

	print("Parent process is %s." % (os.getpid()))

	p1 = Process(target=run_process, args=('test', ))
	p2 = Process(target=hello_world)

	print(" process will start...... ")

	p1.start()
	p2.start()
	p1.join()

	print(" process end!")
 

輸出如下：

一些並行模組通過修改pyhton的GIL機制突破了這個限制，使得Python在多核電腦中也能夠有效的進行平行計算。PP（Parallel Python）模組就是其中一種。

• PP（Parallel Python）模組舉例：

安裝pp模組的時候出現了一個問題，在這裡做出解釋：

pip install pp==1.6.5
Collecting pp==1.6.5
  Using cached https://files.pythonhosted.org/packages/14/e9/f69030681985226849becd36b04e2c0cb99babff23c8342bc4e30ded06b2/pp-1.6.5.tar.gz
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "/private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-1pnu5md4/pp/setup.py", line 12, in <module>
        from pp import version as VERSION
      File "/private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-1pnu5md4/pp/pp.py", line 121
        print sout,
                 ^
    SyntaxError: Missing parentheses in call to 'print'. Did you mean print(print sout, end=" ")?
    
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-xa12jeey/pp/

具體原因是因為pip工具預設呼叫了python3的語法運行了setup.py指令碼，但是該下載指令碼預設用的貌似是python2的語法，解決方法如下：

pip install setuptools --upgrade --user

接著執行：

pip install pp

出現：

Collecting pp
  Using cached https://files.pythonhosted.org/packages/14/e9/f69030681985226849becd36b04e2c0cb99babff23c8342bc4e30ded06b2/pp-1.6.5.tar.gz
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "/private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-i2brisl3/pp/setup.py", line 12, in <module>
        from pp import version as VERSION
      File "/private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-i2brisl3/pp/pp.py", line 121
        print sout,
                 ^
    SyntaxError: Missing parentheses in call to 'print'. Did you mean print(print sout, end=" ")?
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/gk/4tnnvlmj0zzg74xzmnkq8g0c0000gn/T/pip-install-i2brisl3/pp/

上述原因是使用pip（python3版本）工具時呼叫了python2的指令碼，導致無法正常呼叫對應版本的setup.py指令碼；

使用pip2安裝出現：

 Could not fetch URL https://pypi.python.org/simple/pp/: There was a problem confirming the ssl certificate: [SSL: TLSV1_ALERT_PROTOCOL_VERSION] tlsv1 alert protocol version (_ssl.c:590) - skipping
  Could not find a version that satisfies the requirement pp (from versions: )
No matching distribution found for pp

所以可能是python3上的pp模組並不是這個名字，我們使用其它方法把這個模組下載下來：

wget https://files.pythonhosted.org/packages/14/e9/f69030681985226849becd36b04e2c0cb99babff23c8342bc4e30ded06b2/pp-1.6.5.tar.gz
tar xvfz pp-1.6.5
cd pp-1.6.5
python setup.py install

這樣我們使用python2.7對pp模組進行了安裝，而且pp模組的最新版本1.6.5是隻支援python2的；接下來我們在python2.7下對pp模組進行引用，來完成平行計算的例子；

最後發現個問題，python版本對應有特定的pp版本，並不是不的支援了，詳細見網站PP模組版本，但是環境已經配好那就用python2吧暫時；

• 例子舉例，該例子實現了用平行計算的方法解決“從0到給定範圍內所有質數的和”：

#-*-coding=utf-8-*-

import time 
import math

def isprime(n):
	if not isinstance(n, int):
		raise TypeError("argument passed to is_prime is not of 'int' type")
	if n < 2:
		return False
	if n == 2:
		return True
	max = int(math.ceil(math.sqrt(n)))
	i = 2
	while i <= max:
		if n % i == 0:
			return False
		i += 1
	return True

def sum_primes(n):
	return sum([x for x in range(2, n) if isprime(x)])


#序列程式碼
print("{beg} serial process {beg}".format(beg='-'*16))
startTime = time.time()

inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
results = [(input,sum_primes(input)) for input in inputs]

for input, result in results:
    print("Sum of primes below %s is %s" % (input, result))

print("use: %.3fs"%( time.time()-startTime))


import pp

#並行程式碼
print("{beg} parallel process {beg}".format(beg='-'*16))
startTime = time.time()

job_server = pp.Server()

inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700)
jobs = [(input, job_server.submit(sum_primes, (input, ), (isprime, ),
        ("math", )) ) for input in inputs]

for input, job in jobs:
    print("Sum of primes below %s is %s" % (input, job()))

print("use: %.3fs"%( time.time()-startTime ) )

執行得出結果：

實驗總結

這次作業補充讓我學習了兩個python平行計算的模組，一個是使用多執行緒方法的mutilprocessing，另一個是真正實現平行計算的pp模組，在今後的學習中，可以利用這些實現的平行計算去加速執行大規模的計算量，另外在深度學習方面我們有強大的numpy以及利用gpu的庫，總的來說在平行計算的方面我們還有很多東西可以實踐，今天就到這了，希望這個作業可以過。