python-mod 記錄

已完成的相關程式段

Python有無代理的簡單爬蟲程式

Python基於已有爬蟲資料的資料處理程式

基於 linear model 的口袋妖怪cp值預測（課堂作業練習）

機械學習與深度學習課程

機械學習課程連結（臺灣大學-李巨集毅版本）

學習進度——周（12號）

學習筆記：

mod建立
根據已經接觸的程式碼程式，def相關常用函式，為之後變成建立相對方便查詢與使用的程式碼庫。同時熟悉各個函式的使用細節。

完成無代理無隨機暫停無headers偽裝的爬蟲軟體，並執行獲取資訊。

毫無偽裝的程式碼在資料爬去進行到2/3左右時被發現並403查封。

嘗試對爬蟲進行偽裝，在其中加入hearders偽裝，加入隨機0到1的時間暫停，同時引入代理伺服器。由於免費代理伺服器極度不穩定，所以迴圈呼叫所有爬去到的代理地址，對所需開啟的網站進行嘗試，知道成功開啟並爬去到相關資訊。

執行已完成偽裝的爬蟲軟體，由於代理伺服器的不固定，需要迴圈驗證，爬去速度降低到接近1分鐘一個網頁的速度，對於整體2600多頁的網頁內容，速度過於緩慢，所以在權衡後，刪除了代理的使用，僅以隨機暫停，與隨機hearders進行偽裝。

成功爬去到所有資訊。（期間由於關閉過一次，忘記清楚原有資訊，所以總資料為5000多條）

對爬取到的資訊進行整理（主要是對一些列表資料進行重新劃分，去除\s的無用資訊，並通過一定的加權方法，最終計算得到使用者在所有種類的電影中最喜歡的一類。）
ps：完成代理與非代理爬蟲程式和其資料處理程式。

學習進度——周（19號）

學習筆記:

瞭解現代機械學習的基本分類：
supervised learning （最高效的學習方法，但需要的資料量極大） #之後的的機械學習方法資料使用量逐漸降低，學習效率逐漸下降
semi-supervised learning
transfor learning
unsupervised learning
reinforcement learning

Linear Model:
f(x)=b+w₁*x+w₂*x²+… …+w_n*xⁿ
——基礎的線性迴歸公式
L(f)=$\sum_{i=0}^n (yn-f(xn)^2)$
——基礎的誤差分析公式

Gradient Descent——以種隨機過程，存在global minimun 不等於logical minimum的可能性
過程：
(Randomly)pick an initial value
Compute $\frac{dL}{dw}\mid{w=wn}$
w1=wb-$\eta\frac{dL}{dw}\mid{w=wn}$

Regularization 一種使擬合曲線平滑化的處理方法
定義： L(f)=$\sum_{i=0}^n (yn-f(xn)^2)+\lambda\sum_{i=0}^nwi$

Linear Model 作業

深度學習可曾連結（臺灣大學-李巨集毅版本）