一、基本情況

• 隊名：要有格局才對
• 組長部落格
• 小組人數：10

二、衝刺概況彙報

根據擬定的團隊分工

• 在充分尊重大家意願的前提下、團隊分工如下(用名字唯一識別符號標識）：
• 前端組：萍、翁
• 後端組：石、林
• 資料組：碩、源、鬆、熙
• 管理組：蘇、唐
• alpha_3彙總：

姓名：蘇偉煌(組長)

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.基本分工部署
    • 2.GitHub部署
    • 3.緩解組員緊張情緒
    • 4.幫組測試組解決藥監局爬取攻堅
  • 展示GitHub當日程式碼/文件簽入記錄：

• 接下來的計劃
  • main:大家都有考試、成績很重要、暫不作過多計劃分工
  • 繼續爬取
  • 重構程式碼
  • 前端初步
• 還剩下哪些任務
  • 同上
  • 說點實際的：微機介面考試、圖形學考試、面向物件考試、人工智慧。
• 燃盡圖
  

• 遇到了哪些困難
  • 藥監局攻堅爬取、最後用抓包手段解決
• 有哪些收穫和疑問
  • 收穫：知道了用抓包的手段也可以在手機這種平臺爬取資料、很冷門的技巧，算是作為組長為數不多的小貢獻
  • 疑問：藥監局這種官方網站也會百疏一漏嗎

姓名：王毅萍

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.基本前端分工部署
    • 2.GitHub前端部署
    • 3.幫組測試組解決藥監局爬取攻堅
  • 展示GitHub當日程式碼/文件簽入記錄：
    
• 接下來的計劃
  • main:完成前端素材積累和初步測試
  • 程式碼重構
  • 繼續UI完善
  • 前端初步
• 還剩下哪些任務
  • 同上
  • 前端完善。
  • 學習vue框架、pyecharts
• 燃盡圖
  

• 遇到了哪些困難
  • 賬號密碼token連線故障
• 有哪些收穫和疑問
  • 收穫：和後端組溝通解決了跨域問題
  • 疑問：之前測試組豬尾巴的前端跨域問題和這次有些類似、但是合理的解決方法應該是後端修改

姓名：翁敏

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.程式碼重構
    • 3.瞭解vue大致的框架，完成了基本的環境的配置。
    • 4.再github上查找了一些別人網站設計的思路。
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.找一些vue系列的相關視訊學習，儘早入門，可以將知識運用到專案開發
  • 2.去vue官網看文件學習，查詢有沒有好用的外掛
  • 3.我想複習下週的兩門考試，這個目前來說對我比較重要，如果時間允許還是會盡量多打程式碼構思如何儘快完成本組課題的專案開發
• 還剩下哪些任務
  • 1.瞭解vue各個模組知識，能夠運用到本次專案中
  • 2.還有很多考試和大作業還沒有完成，任重道遠
  • 3.還沒有完全清楚瞭解如何使用vue完成網站開發。
• 燃盡圖
  

• 遇到了哪些困難
  • 1.vue_cli安裝完成，再執行rpm run serve時，報錯，大概意思是config配置報錯(還是啥的),找了很多資料，還是無法解決，最終remake重灌了
  • 2.對一些vue程式碼模組使用不明白，再沒有文件或者視訊的介紹情況下還是比較難以理解的。
• 有哪些收穫和疑問
  • 1.重灌vue_cli時候，直接把nodejs也給刪了（因為我覺得我當初nodejs安裝的路徑也有問題）於是就小心翼翼對著文件安裝nj和vue，看了別人的優秀文件，自愧不如，自己確實跟著學習到了很多東西，以前不懂的那些命令列指令各個字母串接再一起是什麼意思，別人的文件都一一闡述了，得到很多收穫。
  • 2.跟著視訊做了vue構建視訊的demo，vue確實很方便，以前用js進行頁面跳轉比較麻煩，vue內部自帶router模組方便快捷（不懂這樣描述是否正確）

學習進度條

PSP

姓名：陳本源（資料組）

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.爬蟲爬取淘寶（幾十萬條資料）
    • 2.爬蟲爬取比價網（幾十萬條資料）
    • 3.bug修復，程式碼重構
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.進行資料清洗
  • 2.開始學習PyEcharts，對爬取到的資料，進行資料分析
• 還剩下哪些任務
  • 1.對資料進行處理與分析
  • 2.生成視覺化圖
• 燃盡圖
  

• 遇到了哪些困難
  • 1.再爬取淘寶的過程中，由於網站的反爬機制，設定了cookies,成功爬取到頁面的相關資訊，但是由於本次任務爬取的資料量實在太過龐大，頻繁的訪問淘寶的url,導致連線多次被主動中斷，甚至出現ip被封，針對此問題本來打算使用selenium，通過動態模擬使用者點選行為，對頁面進行渲染，從而繞過反爬機制，實現爬取，但是該方法耗時長，對於本次任務需要爬取的巨大資料量顯然不適合。後又發現設定time.sleep設定url訪問間隔，但也同樣浪費時間，最後採用python自帶的fake_useragent庫，通過設定隨機頭對url進行訪問，大大降低了伺服器對機器爬蟲的認定概率，從而實現爬取53w條
  • 2.爬取比價網的過程中，同樣也是遇到了ip訪問限制，使用download_delay解決。
• 有哪些收穫和疑問
  • 1.隨機頭方法在scrapy爬蟲框架中，似乎起不到什麼作用，導致爬取比價網的過程很煎熬，
  • 2.瞭解了ip限制的解決方法。

姓名：石致彬

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.學習spring框架配置及一些工具的使用
    • 2.學習spring系列框架
    • 3.初步設計了所需要的表
    • 4.初步建立了資料庫
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.學習Web方面的知識
  • 2.編寫介面供資料組使用向資料庫中新增資料
  • 3.編寫介面供資料查詢使用
• 還剩下哪些任務
  • 1.學習web知識
  • 2.編寫介面
  • 3.學習雲伺服器的使用
  • 4.配置雲伺服器的環境
  • 5.部署到雲伺服器
• 燃盡圖
  

• 遇到了哪些困難
  • 1.時間不夠考試太多
  • 2.伺服器太貴了
• 有哪些收穫和疑問
  • 1.學習了資料庫的相關知識
  • 2.學習了用Java操作資料庫
  • 3.疑問：我們真的做得完嗎

姓名：黃艇淞（資料組）

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.bug修復，資料清洗
    • 2.爬蟲爬取比價網（幾十萬條資料）
    • 3.資料傳送至後端
  • 展示GitHub當日程式碼/文件簽入記錄：
    
• 接下來的計劃
  • 1.開始學習PyEcharts，對爬取到的資料，進行資料分析
• 還剩下哪些任務
  • 1.對資料進行處理與分析
  • 2.生成視覺化圖
• 燃盡圖
  

• 遇到了哪些困難
  • 1.再爬取淘寶的過程中，由於網站的反爬機制，設定了cookies,成功爬取到頁面的相關資訊，但是由於本次任務爬取的資料量實在太過龐大，頻繁的訪問淘寶的url,導致連線多次被主動中斷，甚至出現ip被封，針對此問題本來打算使用selenium，通過動態模擬使用者點選行為，對頁面進行渲染，從而繞過反爬機制，實現爬取，但是該方法耗時長，對於本次任務需要爬取的巨大資料量顯然不適合。後又發現設定time.sleep設定url訪問間隔，但也同樣浪費時間，最後採用python自帶的fake_useragent庫，通過設定隨機頭對url進行訪問，大大降低了伺服器對機器爬蟲的認定概率，從而實現爬取53w條
  • 2.爬取比價網的過程中，同樣也是遇到了ip訪問限制，使用download_delay解決。
• 有哪些收穫和疑問
  • 1.隨機頭方法在scrapy爬蟲框架中，似乎起不到什麼作用，導致爬取比價網的過程很煎熬，
  • 2.瞭解了ip限制的解決方法。

姓名：唐勁霆（管理組）

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.繼續製作視覺化資料分析圖。
    • 2.部落格編寫。
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.繼續學習製作視覺化分析的相關知識。
  • 2.製作更多的視覺化分析圖表。
  • 3.對功能進行測試。
• 還剩下哪些任務
  • 1.對功能進行測試。
  • 2.製作更多的視覺化分析圖表。
  • 3.任務分工，問題商討。
• 燃盡圖
  

• 遇到了哪些困難
  • 1.資料視覺化分析的方法較多，選擇上有一定的糾結。
  • 2.考慮需要繪製哪些資料的視覺化分析。
• 有哪些收穫和疑問
  • 1.學習了一些關於視覺化分析的知識。
  • 2.對JavaScript語言的掌握加深。

學習進度條

PSP

姓名：林志煌

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.程式碼重構
    • 2.寫了簡單的登入介面
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.繼續完善介面
  • 2.增加其他功能
• 還剩下哪些任務
  • 1.完善
  • 2.增加功能
• 燃盡圖
  

• 遇到了哪些困難
  • 1.知識點大多都忘了，只能邊查邊做
  • 2.模板幾乎都是要收費的
• 有哪些收穫和疑問
  • 1.收穫：複習了以前的知識，算是小鞏固
  • 2.疑問：暫時沒啥疑問

姓名：陳碩

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.資料清洗
    • 2.資料視覺化分析
    • 3.資料傳送至後端
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.進行資料清洗
  • 2.開始學習PyEcharts，對爬取到的資料，進行資料分析
• 還剩下哪些任務
  • 1.對資料進行處理與分析
  • 2.生成視覺化圖
• 燃盡圖
  

• 遇到了哪些困難
  • 1.爬蟲團隊在爬取淘寶的過程中，由於網站的反爬機制，設定了cookies,成功爬取到頁面的相關資訊，但是由於本次任務爬取的資料量實在太過龐大，頻繁的訪問淘寶的url,導致連線多次被主動中斷，甚至出現ip被封，針對此問題本來打算使用selenium，通過動態模擬使用者點選行為，對頁面進行渲染，從而繞過反爬機制，實現爬取，但是該方法耗時長，對於本次任務需要爬取的巨大資料量顯然不適合。後又發現設定time.sleep設定url訪問間隔，但也同樣浪費時間，最後採用python自帶的fake_useragent庫，通過設定隨機頭對url進行訪問，大大降低了伺服器對機器爬蟲的認定概率，從而實現爬取53w條
  • 2.爬取比價網的過程中，同樣也是遇到了ip訪問限制，使用download_delay解決。
• 有哪些收穫和疑問
  • 1.隨機頭方法在scrapy爬蟲框架中，似乎起不到什麼作用，導致爬取比價網的過程很煎熬，
  • 2.瞭解了ip限制的解決方法。

姓名：林澤熙

• 過去兩天完成了哪些任務:
  • 文字描述:
    • 1.資料清洗，bug修復
    • 2.資料傳送至後端
  • 展示GitHub當日程式碼/文件簽入記錄：
    

• 接下來的計劃
  • 1.進行資料清洗
  • 2.開始學習Pyecharts
• 還剩下哪些任務
  • 1.資料處理與分析
  • 2.資料視覺化
• 燃盡圖
  

• 遇到了哪些困難
  • 1.爬蟲團隊在爬取淘寶的過程中，由於網站的反爬機制，設定了cookies,成功爬取到頁面的相關資訊，但是由於本次任務爬取的資料量實在太過龐大，頻繁的訪問淘寶的url,導致連線多次被主動中斷，甚至出現ip被封，針對此問題本來打算使用selenium，通過動態模擬使用者點選行為，對頁面進行渲染，從而繞過反爬機制，實現爬取，但是該方法耗時長，對於本次任務需要爬取的巨大資料量顯然不適合。後又發現設定time.sleep設定url訪問間隔，但也同樣浪費時間，最後採用python自帶的fake_useragent庫，通過設定隨機頭對url進行訪問，大大降低了伺服器對機器爬蟲的認定概率，從而實現爬取53w條
  • 2.github使用不熟悉
  • 3.復現了組長的抓包爬取藥監局手段，完善了json欄位
• 有哪些收穫和疑問
  • 1.瞭解了ip限制的解決方法。
  • 2.python第三方庫功能強大，需要自己多多瞭解和使用

三、衝刺成果展示

PSP & 學習進度條（學習進度條每週追加）

PSP(全隊)

• 組內最新成果展示

  • 淘寶詞頻：
    
  • 京東詞頻
    

• 站立會議合照
  

• 會議耗時記錄（每次追加記錄）