一. 大資料及資料探勘基礎

        第一部分主要簡單介紹三個問題（覺得無聊的直接調至第二部分）：
        1、什麼是大資料？
        2、什麼是資料探勘？
        3、大資料和資料探勘的區別？
        由於前面幾節課老師普及了大資料等一些基礎知識，這裡我並沒有詳細介紹，只是給幾張圖片，讓大家簡單瞭解下大資料和資料探勘相關的基礎概念，我分享更多的是實戰以及程式設計。
        <一>.大資料（Big Data）
        大資料（big data）指無法在一定時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的資訊資產。
        下圖是大資料經典的4V特徵。

        說到大資料，就不得不提Hadoop，而說到Hadoop，又不得不提Map-Reduce。

二. 安裝Python及基礎知識

       <一>.安裝Python
        在開始使用Python程式設計之前，需要介紹Python的安裝過程。python直譯器在Linux中可以內建使用安裝，windows中需要去http://www.python.org官網downloads頁面下載。具體步驟如下：
        第一步：開啟Web瀏覽器並訪問http://www.python.org官網；

        選中上圖中第三個圖示，即點選“Python （command line）命令列模式”，執行程式輸入如下程式碼：
        print 'hello world'
        則python命令列模式的直譯器會列印輸出“hello world”字串，如下圖所示。

        選中圖中的第一個圖片，點選“IDLE （Python GUI）”，即執行Python的整合開發環境（Python Integrated Development Environment，IDLE），執行結果如下圖。
        注意2：建議大家使用IDLE寫指令碼，完整的程式碼而不是通過命令列模式。

def fun1():  
    print 'Hello world'  
    print 'by eastmount csdn'    
print 'output'  
fun1()    
def fun2(val1,val2):  
    print val1  
    print val2    
fun2(8,15)  

        需要注意的是Ptthon中if條件語句條件無需圓括號()，條件後面需要新增冒號，它沒有花括號{}而是使用TAB實現區分。其中condition條件判斷通常有布林表示式(True|False 0-假|1-真 非0即真)、關係表示式(>= <= == !=)和邏輯運算表示式(and or not)。
        (2).雙分支語句
        它的基本格式是：
                                  if condition:
                                          statement
                                          statement
                                  else:
                                          statement
                                          statement
        (3).多分支語句
        if多分支由if-elif-else組成，其中elif相當於else if，同時它可以使用多個if的巢狀。具體程式碼如下所示：

#雙分支if-else
count = input("please input:")
print 'count=',count
if count>80:
    print 'lager than 80'
else:
    print 'lower than 80'
print 'End if-else'

#多分支if-elif-else
number = input("please input:")
print 'number=',number
if number>=90:
    print 'A'
elif number>=80:
    print 'B'
elif number>=70:
    print 'C'
elif number>=60:
    print 'D'
else:
    print 'No pass'
print 'End if-elif-else'

#條件判斷
sex = raw_input("plz input your sex:")
if sex=='male' or sex=='m' or sex=='man':
    print 'Man'
else:
    print 'Woman'

#迴圈while計數1+2+..+100
i = 1
s = 0
while i <= 100:
    s = s+i
    i = i+1
else:
    print 'exit while'
print 'sum = ',s

'''
輸出結果為：exit while
          sum = 5050
'''

        4、for迴圈
        該迴圈語句的基礎格式為：
for target in sequences:
                                                         statements
        target表示變數名,sequences表示序列,常見型別有list(列表)、tuple(元組)、strings(字串)和files(檔案).
Python的for沒有體現出迴圈的次數，不像C語言的for(i=0;i<10;i++)中i迴圈計數，Python的for指每次從序列sequences裡面的資料項取值放到target裡，取完即結束，取多少次迴圈多少次。其中in為成員資格運算子，檢查一個值是否在序列中。同樣可以使用break和continue跳出迴圈。
        下面是檔案迴圈遍歷的過程：

#檔案迴圈遍歷三種對比  
for n in open('for.py'，'r').read():  
    print n，  
print 'End'  
for n in open('for.py'，'r').readlines():  
    print n，  
print 'End'    
for n in open('for.py'，'r').readline():  
    print n，  
print 'End'  

#coding=utf-8 
import os
import string

print '貴州財經大學大資料金融學院，大家好！'

def fun1():
    print 'Hello world'
    print 'Goodbye!'

#計算和
def fun2(n, m):
    return n+m

#輸出結果
fun1()
s = fun2(3,8)
print 'sum = ' + str(s)
print 'sum =', s

#判斷語句 u表示unicode字串
if(s>10):
    print u'大於10'
else:
    print u'小於等於10'

#迴圈語句
i = 1
s = 0
while i<=100:
    s = s + i
    i = i + 1
else:
    print 'end while'
print 'sum =', s
'''
輸出結果為:sum=5050
'''

#for迴圈
num = [2, 4, 6, 8, 10]
for x in num:
    print x

三. 安裝PIP及第三方包

        接下來需要詳解介紹爬蟲相關的知識了，這裡主要涉及到下面幾個知識：

easy_install的用法：  
1） 安裝一個包  
 $ easy_install <package_name>  
 $ easy_install "<package_name>==<version>"  
2) 升級一個包  
 $ easy_install -U "<package_name>>=<version>"  
  
pip的用法  
1) 安裝一個包  
 $ pip install <package_name>  
 $ pip install <package_name>==<version>  
2) 升級一個包 (如果不提供version號，升級到最新版本）  
 $ pip install --upgrade <package_name>>=<version>  
3）刪除一個包  
 $ pip uninstall <package_name>  

四. Urllib下載網頁及圖片

        在使用pip install urllib或pip install urllib2後，下面這段程式碼是下載網頁。

#coding=utf-8
import os
import urllib
import httplib2
import webbrowser as web

#爬取線上網站
url = "http://www.baidu.com/"  
content = urllib.urlopen(url).read()  
open("baidu.html","w").write(content)
#瀏覽求開啟網站
web.open_new_tab("baidu.html")  

urlopen(url, data, timeout)

response = urllib2.urlopen("http://www.baidu.com") 
print response.read()

#coding=utf-8
import os
import urllib
import httplib2
import webbrowser as web

#爬取線上網站
url = "http://www.baidu.com/"  
content = urllib.urlopen(url).read()  
open("baidu.html","w").write(content)
#瀏覽求開啟網站
web.open_new_tab("baidu.html")  

#下載圖片 審查元素
pic_url = "https://www.baidu.com/img/bd_logo1.png"
pic_name = os.path.basename(pic_url)  #刪除路徑獲取圖片名字   
urllib.urlretrieve(pic_url, pic_name)


#本地檔案
content = urllib.urlopen("first.html").read()  
print content

#下載圖片 審查元素
pic_url = "imgs/bga1.jpg"
pic_name = os.path.basename(pic_url)  #刪除路徑獲取圖片名字   
urllib.urlretrieve(pic_url, pic_name)

import urllib
def callbackfunc(blocknum, blocksize, totalsize):
    '''回撥函式
    @blocknum: 已經下載的資料塊
    @blocksize: 資料塊的大小
    @totalsize: 遠端檔案的大小
    '''
    percent = 100.0 * blocknum * blocksize / totalsize
    if percent > 100:
        percent = 100
    print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)

五. HTML網頁基礎知識及審查元素

        HTML DOM是HTML Document Object Model（文件物件模型）的縮寫，HTML DOM則是專門適用於HTML/XHTML的文件物件模型。熟悉軟體開發的人員可以將HTML DOM理解為網頁的API。它將網頁中的各個元素都看作一個個物件，從而使網頁中的元素也可以被計算機語言獲取或者編輯。

<html>  
  <head>     
    <title>Python挖掘開發</title>  
  </head>  
    
  <body>  
    歡迎大家學習《基於Python的Web大資料爬取實戰指南》! <br>  
  </body>  
</html>

六. 安裝Selenium及網頁簡單爬取

        Selenium用於Web應用程式測試的工具，模擬瀏覽器使用者操作，通過Locating Elements 定位元素。安裝過程如下圖所示，通過pip install selenium安裝。
        注意：需要cd去到Scripts目錄進行安裝。

         selenium結合瀏覽器定位的基本函式包括：

#coding=utf-8
import os
import urllib
from selenium import webdriver          
from selenium.webdriver.common.keys import Keys          


#Open PhantomJS      
#driver = webdriver.PhantomJS(executable_path="phantomjs-1.9.1-windows\phantomjs.exe")  
driver = webdriver.Firefox()

#訪問url
driver.get("https://www.baidu.com/")    

print u'URL:'
print driver.current_url  
#當前連結: https://www.baidu.com/  

print u'標題:'
print driver.title  
#標題: 百度一下， 你就知道  
  
#print driver.page_source
#原始碼

#定位元素，注意u1（數字1）和ul（字母L）區別
print u'\n\n定位元素id:'
info1 = driver.find_element_by_id("u1").text
print info1


#定位元素
print u'\n\n定位元素xpath:'
info3 = driver.find_element_by_xpath("//div[@id='u1']/a")
print info3.text