Spark Python API函式：pyspark API(3)

阿新 • • 發佈：2018-11-06

文章目錄

•   1 histogram
•   2 mean
•   3 variance
•   4 stdev
•   5 sampleStdev
•   6 sampleVariance
•   7 countByValue
•   8 top
•   9 takeOrdered
•   10 take
•   11 first
•   12 collectAsMap
•   13 keys
•   14 values
•   15 reduceByKey
•   16 reduceByKeyLocally

histogram

spark histogram

# histogram (example #1)

x = sc.parallelize([1,3,1,2,3])

y = x.histogram(buckets = 2)

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

([1, 2, 3], [2, 3])

# histogram (example #2)

x = sc.parallelize([1,3,1,2,3])

y = x.histogram([0,0.5,1,1.5,2,2.5,3,3.5])

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

([0, 0.5, 1, 1.5, 2, 2.5, 3, 3.5], [0, 0, 2, 0, 1, 0, 2])

mean

spark mean

# mean

x = sc.parallelize([1,3,2])

y = x.mean()

print(x.collect())

print(y)

[1, 3, 2]

2.0

variance

spark variance

# variance

x = sc.parallelize([1,3,2])

y = x.variance()

# divides by N

print(x.collect())

print(y)

[1, 3, 2]

0.666666666667

stdev

spark stdev

# stdev

x = sc.parallelize([1,3,2])

y = x.stdev() # divides by N

print(x.collect())

print(y)

[1, 3, 2]

0.816496580928

sampleStdev

spark sampleStdev

# sampleStdev

x = sc.parallelize([1,3,2])

y = x.sampleStdev() # divides by N-1

print(x.collect())

print(y)

[1, 3, 2]

1.0

sampleVariance

spark sampleVariance

# sampleVariance

x = sc.parallelize([1,3,2])

y = x.sampleVariance() # divides by N-1

print(x.collect())

print(y)

[1, 3, 2]

1.0

countByValue

spark countByValue

# countByValue

x = sc.parallelize([1,3,1,2,3])

y = x.countByValue()

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

defaultdict(<type 'int'>, {1: 2, 2: 1, 3: 2})

top

spark top

# top

x = sc.parallelize([1,3,1,2,3])

y = x.top(num = 3)

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

[3, 3, 2]

takeOrdered

spark takeOrdered

# takeOrdered

x = sc.parallelize([1,3,1,2,3])

y = x.takeOrdered(num = 3)

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

[1, 1, 2]

take

spark take

# take

x = sc.parallelize([1,3,1,2,3])

y = x.take(num = 3)

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

[1, 3, 1]

first

spark first

# first

x = sc.parallelize([1,3,1,2,3])

y = x.first()

print(x.collect())

print(y)

[1, 3, 1, 2, 3]

1

collectAsMap

spark collectAsMap

# collectAsMap

x = sc.parallelize([('C',3),('A',1),('B',2)])

y = x.collectAsMap()

print(x.collect())

print(y)

[('C', 3), ('A', 1), ('B', 2)]

{'A': 1, 'C': 3, 'B': 2}

keys

spark keys

# keys

x = sc.parallelize([('C',3),('A',1),('B',2)])

y = x.keys()

print(x.collect())

print(y.collect())

[('C', 3), ('A', 1), ('B', 2)]

['C', 'A', 'B']

values

spark values

# values

x = sc.parallelize([('C',3),('A',1),('B',2)])

y = x.values()

print(x.collect())

print(y.collect())

[('C', 3), ('A', 1), ('B', 2)]

[3, 1, 2]

reduceByKey

spark reduceByKey

# reduceByKey

x = sc.parallelize([('B',1),('B',2),('A',3),('A',4),('A',5)])

y = x.reduceByKey(lambda agg, obj: agg + obj)

print(x.collect())

print(y.collect())

[('B', 1), ('B', 2), ('A', 3), ('A', 4), ('A', 5)]

[('A', 12), ('B', 3)]

reduceByKeyLocally

spark reduceByKeyLocally

# reduceByKeyLocally

x = sc.parallelize([('B',1),('B',2),('A',3),('A',4),('A',5)])

y = x.reduceByKeyLocally(lambda agg, obj: agg + obj)

print(x.collect())

print(y)

[('B', 1), ('B', 2), ('A', 3), ('A', 4), ('A', 5)]

{'A': 12, 'B': 3}

Spark Python API函式：pyspark API(3)

文章目錄 • 1 histogram • 2 mean • 3 variance • 4 stdev • 5 sam

Spark Python API函式：pyspark API(4)

文章目錄 • 1 countByKey • 2 join • 3 leftOuterJoin • 4 rightOuterJoin • &nb

Spark Python API函式：pyspark API(2)

文章目錄 • 1 sortBy • 2 glom • 3 cartesian • 4 groupBy • 5 pip

Spark Python API函式：pyspark API(1)

文章目錄 • 1 pyspark version • 2 map • 3 flatMap • 4 mapPartitions •

Python numpy函式：zeros（）、ones（）、empty（）

轉自：https://blog.csdn.net/qq_28618765/article/details/78085457 在給陣列賦初始值的時候，經常會用到0陣列，而Python中，我們使用zero（）函式來實現。 ones函式可以建立任意維度和元素個數的陣列，其元素值均為1； empty

Python匿名函式：lamdba()函式

Python裡，這個小的函式。可以用來代替一些很小的函式。在影象，音訊，遊戲方面有比較重要的作用。當然，這也是我單獨寫出來的原因· 來一個簡單的例子: word：單詞列表 ff:遍歷列表裡面單詞的函式 >>> def ee(word,ff): ... for

在anaconda中安裝、切換python的版本：2.7~3.6

1如果安裝的是anaconda2，那麼python3的就要在conda中建立一個名為python36的環境，並下載對應版本python3.6，然後執行如下語句，應該就可以在anaconda2\envs\下建立一個python36的目錄，裡面就是建立python36環境必要檔

Tensorflow擬合函式：y=2x+3

本文程式碼在jupyter上實現擬合一個一元一次函式：y=2x+3，具體要求如下： 1、使用Tensorflow框架 2、利用迭代方法，優化器不限 3、給出擬合的引數值 4、把擬合過程視覺化 1.匯入模組 import tensorflow as tf im

python匿名函式：lambda函式

lambda函式也叫做匿名函式，即不需要用def單獨定義，沒有函式名。一般為了在表示式中書寫簡便，比如表示式的一部分需要對某個引數做簡單的運算操作，由於運算操作十分簡單覺得沒必要單獨用def定義一個函式來實現它，就可以用lambda函式直接書寫 lambda函

Python numpy函式：arange（）

arange()函式用於建立等差陣列，使用頻率很高。arange函式和range函式很像，兩個的區別是arange函式返回的是一個數據，而range函式返回的是list。另外，在使用arange前，需要先引入numpy，而range不用。其他，兩者都差不多我們對比著ran

《Spark Python API 官方文檔中文版》之 pyspark.sql (一)

開始 clear sorted 緩存 news 數據 sch json 大數摘要：在Spark開發中，由於需要用Python實現，發現API與Scala的略有不同，而Python API的中文資料相對很少。每次去查英文版API的說明相對比較慢，還是中文版比較容易get到所

API Star：一個 Python 3 的 API 框架

ces 方式發生 asn status .py 通過 enc static 為了在 Python 中快速構建 API，我主要依賴於 Flask。最近我遇到了一個名為 “API Star” 的基於 Python 3 的新 API 框架。由於幾個原因，我對它很感興趣。首先，該

Python記錄7：函式3，函式物件

#函式物件指的是:函式的記憶體地址可以像變數值一樣去使用,如何使用?def func(): print('from func')#1. 可以被引用# f=func# print(f)# f()#2. 可以當做引數傳給另外一個函式# def bar(x):# # print(x)# x()# bar(fu

Visual C++網路程式設計經典案例詳解第3章多執行緒與非同步套接字程式設計實現執行緒同步互斥物件使用API函式操作互斥物件

互斥物件和臨界區物件和事件物件作用一樣用於實現執行緒同步互斥物件可以線上程中使用 CreateMutex()建立並返回互斥物件原型如下 HANDLE CreateMutex( LPSECURITY_ATTIRIBUTES lpMutexAttributes,

[介面管理平臺] eoLinker AMS 專業版 V3.5 ：加入資料結構管理、通用函式管理、API 快速測試等近 30 項更新

eoLinker AMS是集API文件管理、API自動化測試、開發協作三位一體的綜合API開發管理平臺，是中國最大的線上API管理平臺。目前eoLinker AMS已經為來自全球的超過兩萬家企業託管超過一百萬的API，我們感謝每個曾經以及正在支援我們的企業以及開發者朋友，並對你們致以最誠摯的

C#：呼叫API函式，彈出對話方塊更改印表機預設設定

雖然說.NET為我們提供了很多列印設定的功能，比如PrintDialog。可是有的功能是沒有實現的，比如PrintDialog的窗體中，按下“印表機”後，出來的印表機設定視窗。會發現，這個印表機設定會根據不同的印表機而不同。而它更改的，是印表機的預設設定。怎麼實現這

Python--Matplotlib庫函式文件API

在此將Python中Matplotlib的庫函式進行總結，方便大家的學習查閱。本文轉自https://www.cnblogs.com/TensorSense/p/6795995.html plt.savefig(‘test’, d

python遞迴練習：生成一個n級深度的字典，例如：[1,2,3,4,5,6] 可以生成{1: {2: {3: {4: {6: 5}}}}}，寫一個函式定義n級

結果#encoding = utf-8#題目：#生成一個n級深度的字典，例如：[1,2,3,4,5,6] 可以生成{1: {2: {3: {4: {6: 5}}}}}，寫一個函式定義n級a=[1,2,3,4,5,6] def fun(n,i=0,dict1={}): if i ==n-1: dict1[a[

日記：opencv python介面函式2.X版本和3.X版本變化

在opencv3.X版本中，沒有了cv2.cv這一模組，其中對視訊屬性的讀取變化如下： fps = capture.get(cv2.CAP_PROP_FPS) size = (int(capture.get(cv2.CA

Pro Android學習筆記（一六十）：聯絡人API（3）：聯絡人資料

聯絡人資訊檢視reference中android.provider.ContactsContract.CommonDataKinds可以知道該版本的Android API聯絡人中帶有哪些資訊。在API level 19中，我們看到有以下的資訊：而各個資訊，例如Email，又有著他的結構，我們可以繼續

Spark Python API函式：pyspark API(3)

histogram

mean

variance

stdev

sampleStdev

sampleVariance

countByValue

top

takeOrdered

take

first

collectAsMap

keys

values

reduceByKey

reduceByKeyLocally

相關推薦