spark連線mongodb(許可權認證)示例
final String mgohost = "127.0.0.1";
SparkSession spark = SparkSession.builder()
.appName("spot")
.config("spark.mongodb.output.uri", "mongodb://spark:[email protected]" + mgohost + ":27017/admin")
.config("spark.mongodb.output.database","demo")
.config ("spark.mongodb.output.collection","test")
.getOrCreate();
- mongodb://使用者名稱:密碼@” + mgohost + “:27017/admin
- admin為mongodb系統database,通過系統庫連線database許可權認證通過
- demo指定其它database
- test指定collection
JavaSparkContext jc = new JavaSparkContext(spark.sparkContext());
JavaRDD<String> spotInfo = jc.textFile(input);
JavaRDD<Document> javaRDD = spotInfo.map(new Function<String, Document>() {
@Override
public Document call(String arg0) {
try {
Document document = new Document();
document.put("data", arg0);
return document;
} catch (Exception e) {
// TODO: handle exception
}
Document document = new Document();
document.put("error", "error");
return document;
}
}).filter(new Function<Document, Boolean>() {
@Override
public Boolean call(Document arg0) throws Exception {
if(arg0.containsKey("error")){
return false;
};
return true;
}
});
MongoSpark.save(javaRDD);
jc.stop();
- 遍歷檔案每一條資料返回Document儲存至mongodb資料庫
相關推薦
spark連線mongodb(許可權認證)示例
final String mgohost = "127.0.0.1"; SparkSession spark = SparkSession.builder() .appN
Mongodb安裝與設定副本集 二 (新增許可權認證)
1.Mongodb安裝與設定副本集 一,中配置了一個簡單的mongodb replica set環境,但是沒有新增認證,任何知道伺服器IP+埠的客戶端都能訪問 2.新增認證—接著上篇文章繼續配置 2.9:replica set許可權認證 , 通過openssl生
spark的JDBC連線池(Scala版)
一個Scala版的連線池,並在使用Spark Streaming進行Word Count時,把每批資料都存到mySql中 import java.sql.{Connection, DriverManager} import java.util object J
spark連線hive(spark-shell和eclipse兩種方式)
1、在伺服器(虛擬機器)spark-shell連線hive 1.1 將hive-site.xml拷貝到spark/conf裡 cp /opt/apache-hive-2.3.2-bin/conf/hive-site.xml /opt/spark-
SpringBoot學習:整合shiro(身份認證和許可權認證),使用EhCache快取
專案下載地址:http://download.csdn.NET/detail/aqsunkai/9805821 (一)在pom.xml中新增依賴: <properties> <shiro.version>1.3.2</shiro.ve
MongoDB 基礎安全性(許可權操作)
和其他所有資料庫一樣,許可權的管理都差不多一樣。mongodb儲存所有的使用者資訊在admin 資料庫的集合system.users中,儲存使用者名稱、密碼和資料庫資訊。mongodb預設不啟用授權認證,只要能連線到該伺服器,就可連線到mongod。若要啟用安全認證,需要更改
ios in-house 公布整個過程(startssl認證)
pri nload con popu ios 自己 連接 star 沒有 首先大體說一下步驟: 1。申請蘋果enterprise 賬號 為應用生成app id,provision profile等 詳見:http://www.th7.cn/Program/I
第十一章 springboot + mongodb(簡單查詢)
req all bool pan 可能 set 如果 創建 使用 1、mongodb在mac上的安裝 下載mongodb,https://www.mongodb.org/ 解壓縮到一個指定文件夾,如:/Users/enniu1/Desktop/zjg/mongodb
spark HelloWorld程序(scala版)
special hide dst tproxy top targe 提取 main read 使用本地模式,不需要安裝spark,引入相關JAR包即可: <dependency> <groupId>or
Spring MVC-視圖解析器(View Resolverr)-多重解析器(Multiple Resolver)示例(轉載實踐)
quest springmvc tab type elm utf servle err path 以下內容翻譯自:https://www.tutorialspoint.com/springmvc/springmvc_multiple_resolver_mapping.htm
windows7下MongoDB(V3.4)的使用及倉儲設計
nco string 存在 default 1.5 rem lec const 插入對象 簡單的介紹一下,我使用MongoDB的場景。 我們現在的物聯網環境下,有部分數據,采樣頻率為2000條記錄/分鐘,這樣下來一天24*60*2000=2880000約等於300萬條數據
Spark入門1(WordCount實現)
article sco ack 系列 .text col lines count sta 1 package com.test 2 3 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 7
MongoDB(課時4)
god 3.4 font url 麻煩 info nbsp delete es2017 3.4 數據操作(重點) 只要是數據庫就絕對離不開最核心的功能:CRUD(增加Create、讀取查詢Retrieve、更新Update、刪除Delete),除了增加之外,其他都很麻煩,最
mongodb(分片+副本)集群
product idf targe res 數據庫 圖片 you 還需要 server2 mongodb是最常用的noSql數據庫,在數據庫排名中已經上升到了前五。這篇文章介紹如何搭建高可用的mongodb(分片+副本)集群。 在搭建集群之前,需要首先了解幾個概念:路由,分
AD證書導入文檔(單向認證)
ad證書 方法 com app 單向 用戶 1.7 服務 root AD證書或者SSL證書導入的方法步驟(在root用戶下操作) 1、 將證書命名為AD-PRO.cer,並確定證書頒發給SJZDC1.yiling.com。 2、 將/app/ad_cert/keysto
Spark筆記整理(十二):日誌記錄與監控
提交 說明 默認 conf 分布 core view aps 版本 1 Standalone模式下 按照香飄葉子的文檔部署好完全分布式集群後,提交任務到Spark集群中,查看hadoop01:8080,想點擊查看某個已完成應用的歷史情況,出現下面的提示: Event log
Apache Shiro安全(許可權框架)學習筆記
簡介: Apache Shiro 是 Java 的一個安全(許可權)框架。• Shiro 可以非常容易的開發出足夠好的應用,其不僅可以用在JavaSE 環境,也可以用在 JavaEE 環境。• Shiro 可以完成:認證、授權、加密、會話管理、與Web 整合、快取等。• 下載:http://shiro.ap
netty報錯:遠端主機強迫關閉了一個現有的連線。(已解決)
昨天,java 整合netty服務的專案,在測試伺服器上,發現了一個問題: 1.專案netty包版本:netty-all-5.0.0.Alpha1.jar。 2.問題的描述:伺服器啟動,各種通訊正常,執行一段時間,大概10分鐘後,這個問題就出現了,並且客戶端傳送上來的資料,不再收到回寫資
python學習之網站的編寫(HTML,CSS,JS)(十七)----------示例,構造一個網頁的框架,上部標題,登入,logo,左側選單,右側內容,原始碼
結果: 顏色為了明顯,所以較為難看,可以根據自己的需要進行更改 原始碼: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title
python學習之網站的編寫(HTML,CSS,JS)(十六)----------示例,構造一個左側管理選單的功能,點選主選單才顯示下面的內容
結果: 程式碼: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>逆水行舟不進則退</title>