Task3：論文程式碼統計（3天）Link

• 學習主題：論文程式碼統計（資料統計任務），統計所有論文類別下包含原始碼論文的比例；
• 學習內容：程式碼連結識別和統計；
• 學習成果：學會使用正則表示式；

資料處理方式

在原始arxiv資料集中作者經常會在論文的comments或abstract欄位中給出具體的程式碼連結，所以我們需要從這些欄位裡面找出程式碼的連結。

• 確定資料出現的位置；
• 使用正則表示式完成匹配；
• 完成相關的統計；

程式碼分析

1.匯入資料包

# 匯入所需的package
import seaborn as sns #用於畫圖
from bs4 import BeautifulSoup #用於爬取arxiv的資料
import re #用於正則表示式，匹配字串的模式
import requests #用於網路連線，傳送網路請求，使用域名獲取對應資訊
import json #讀取資料，我們的資料為json格式的
import pandas as pd #資料處理，資料分析
import matplotlib.pyplot as plt #畫圖工具
import json
import time
 

2.匯入資料

在comments欄位中抽取pages和figures和個數，首先完成欄位讀取

json_filename='D:/BaiduNetdiskDownload/archive/arxiv-metadata-oai-snapshot.json'
data = []
with open(json_filename, 'r') as f: 
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'abstract': d['abstract'], 'categories': d['categories'], 'comments': d['comments']}
        data.append(d)
        
data = pd.DataFrame(data) #將list變為dataframe格式，方便使用pandas進行分析
 

3.正則匹配並篩選出有pages的論文，並進行轉換，即對pages進行抽取：

# 使用正則表示式匹配，XX pages
data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))

# 篩選出有pages的論文
data = data[data['pages'].apply(len) > 0]

# 由於匹配得到的是一個list，如['19 pages']，需要進行轉換
data['pages'] = data['pages'].apply(lambda x: float(x[0].replace(' pages', '')))
 

4.對pages進行統計：

data['pages'].describe().astype(int)

out[4]: 論文平均的頁數為17頁，75%的論文在22頁以內，最長的論文有11232頁。

count    1089180
mean          17
std           22
min            1
25%            8
50%           13
75%           22
max        11232
Name: pages, dtype: int32

5.按照分類統計論文頁數，選取了論文的第一個類別的主要類別：

# 選擇主要類別
data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])

# 每類論文的平均頁數
plt.figure(figsize=(12, 6))
data.groupby(['categories'])['pages'].mean().plot(kind='bar')

<matplotlib.axes._subplots.AxesSubplot at 0x154875821d0>

6.接下來對論文圖表個數進行抽取：

data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
data = data[data['figures'].apply(len) > 0]
data['figures'] = data['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

我們對論文的程式碼連結進行提取，為了簡化任務我們只抽取github連結：

# 篩選包含github的論文
data_with_code = data[
    (data.comments.str.contains('github')==True)|
                      (data.abstract.str.contains('github')==True)
]
data_with_code['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')

# 使用正則表示式匹配論文
pattern = '[a-zA-z]+://github[^\s]*'
data_with_code['code_flag'] = data_with_code['text'].str.findall(pattern).apply(len)

並對論文按照類別進行繪圖：

data_with_code = data_with_code[data_with_code['code_flag'] == 1]
plt.figure(figsize=(12, 6))
data_with_code.groupby(['categories'])['code_flag'].count().plot(kind='bar')

<matplotlib.axes._subplots.AxesSubplot at 0x154a0511c50>