大資料系列3-第一章-大資料概論
1.大資料概論
行動硬碟-tb級別
資料分析的場景:
金融行業-資訊密集;;股票市場預測;;小額貸款;;支付寶信用:給使用者打標籤,銀行貸款;;
網際網路需求更大(更多的是一個媒體):精準營銷,流量運營,通過流量做營收,流量變現,ctr預測,;;
電信-移動網際網路;;政府行業;;使用者服務-雲平臺
1)大資料技術框架
nosql指的是key-value的引擎(mygdb,hbase,單機(redis),,解決了擴充套件問題,但不能寫sql,事務支援的不好)
oracle,sqlserver,dbto不能
大資料事務支援的不好
newsql,ortp(oracla,mysql,分析能力較差,跑複雜的系統通常沒結果。),orap(analysis-)高擴充套件
mysql引擎的擴充套件性不好。
2.hadoop開源生態系統
儲存,監控,工作流管理
3.spark開源生態系統
計算,開源大資料裡面的python,提供底層kernel,
4.Nosql簡介
5.典型資料平臺架構
6.liunx常用命令
二、大資料
相關推薦
大資料系列3-第一章-大資料概論
1.大資料概論 行動硬碟-tb級別 資料分析的場景: 金融行業-資訊密集;;股票市場預測;;小額貸款;;支付寶信用:給使用者打標籤,銀行貸款;; 網際網路需求更大(更多的是一個媒體):精準營銷,流量運營,通過流量做營收,流量變現,ctr預測,;; 電信-移動網際網路
【大話資料結構】第一章總結——資料結構緒論
程式設計 = 資料結構 + 演算法 前言 邊讀書邊做筆記,才能更好的學習。 以下是我根據《大話資料結構》做的總結,在加深自己印象的同時,希望可以幫助各位更好地瞭解資料結構。 1、基本概念和術語 資料: 是描述客觀事物的符號,是計算機
超越Hadoop的大資料分析之第一章介紹:為什麼超越Hadoop Map-Reduce
本文翻譯自《BIG DATA ANALYTICS BEYOND HADOOP》譯者:吳京潤 譯者注:本文是本書第一章的開頭,第一章其它部分由其他人翻譯。 你可能是一個視訊服務提供商,而你想基於網路環境動態的選擇合適的內容分發網路來優化終端使用者的體驗。或者你是一個政府監管機構,需要為網際網路頁
理論篇~第一章 大資料資料倉庫架構
接下來,我們以阿里巴巴大資料架構圖來介紹。 大資料系統體系分為資料採集層、資料計算層、資料服務層和資料應用層。簡單介紹一下這四層的具體作用和使用到的技術(講述的內容包含但不限於阿里巴巴的知識): 1 資料採集層 資料採集的物件主
政務大資料系列9:政務大資料的價值鏈
政務是個大市場,阿里、騰訊、電信、華為都在賠本賺吆喝。本文作者宇同學是資深從業人士,研發總監,他
政務大資料系列7:政務大資料的部署結構
政務是個大市場,阿里、騰訊、電信、華為都在賠本賺吆喝。本文作者宇同學是資深從業人士,研發總監,他
政務大資料系列8:政務大資料的安全體系
政務是個大市場,阿里、騰訊、電信、華為都在賠本賺吆喝。本文作者宇同學是資深從業人士,研發總監,他
政務大資料系列10:政務大資料的運營
政務是個大市場,阿里、騰訊、電信、華為都在賠本賺吆喝。本文作者宇同學是資深從業人士,研發總監,他
(資料結構)第一章 緒論
1.1 計算機與演算法 1.1.1 計算 計算首先是我們這門課程的直接研究物件和內容,也是我們這門課程的研究目的和目標。 物件:規律、一般性方法、技巧 目標:高效計算、低耗 繩索計算機 要求:通過直線l上給定的點A,作該直線的垂線。 過程: 計算
c++程式設計基礎 第一章基本資料與表示式
1.一個簡單的c++程式 結構化方法程式設計 面向物件的方法程式設計 2.c++語言的基本資料型別與儲存整型形式 ⑴c++語言的資料型別 ①基本型別 整型(int ,bool,enum) 浮點型(float,double) 字元型(cha
讀書筆記之《資料結構》---第一章 緒論
本章目錄: 什麼是資料結構 基本概念和術語 抽象資料型別的表示與實現 演算法和演算法分析 什麼是資料結構 書中介紹了三個資料結構的例子分別是:表、樹、圖 基本概念和術語 資料: 是對客觀事物的符號表示,在電腦科學中是指所有能輸入到計算機中的並被計算機程式處理
萌新向Python資料分析及資料探勘 第一章 Python基礎 (上)未排版
因word和部落格編輯器格式不能完全對接,正在重新排版,2019年1月1日發出第一章完整版 本文將參考《Python程式設計 從入門到實踐》的講述順序和例子,加上自己的理解,讓大家快速瞭解Python的基礎用法,並將拓展內容的連結新增在相關內容之後,方便大家閱讀。
萌新向Python資料分析及資料探勘 第一章 Python基礎 第一節 python安裝以及環境搭建 第二節 變數和簡單的資料型別
本文將參考《Python程式設計 從入門到實踐》的講述順序和例子,加上自己的理解,讓大家快速瞭解Python的基礎用法,並將拓展內容的連結新增在相關內容之後,方便大家閱讀。 好了!我們開始第一章的學習。 第一章 Python基礎 第一節 Python安裝以及環境搭建 Python
萌新向Python資料分析及資料探勘 第一章 Python基礎 第三節 列表簡介 第四節 操作列表
第一章 Python基礎 第三節 列表簡介 列表是是處理一組有序專案的資料結構,即可以在一個列表中儲存一個序列的專案。列表中的元素包括在方括號([])中,每個元素之間用逗號分割。列表是可變的資料型別,可以新增、刪除或是搜尋列表中的元素。列表可以理解為你用鉛筆在筆記本里記錄內容, 內容可以修改,每
第一章Python 資料模型
資料模型其實是對Python框架的描述,它規範了這門語言自身構建模組的介面,這些模組包括但不限於序列、迭代器、函式、類和上下文管理器。 magic and dunder:魔術方法(magic method)是特殊方法的暱稱。有些開發者
萌新向Python資料分析及資料探勘 第一章 Python基礎 第六節 字典
第一章 Python基礎 第六節 字典 字典類似於通過聯絡人名字查詢聯絡人電話號碼的電話本,即把鍵(名字)和值(電話號碼)聯絡在一起。注意,鍵必須是唯一的。並且python只能使用不可變的物件(比如字串)來作為字典的鍵,但是可以將不可變或可變的物件作為字典的值。舉一個簡單的字典例子。 如果說列表元組是
【資料結構】第一章總結
前言 之前自考的總結髮的很少,這次要認真的總結一些,一是因為資料結構比較底層,需要好好梳理這部分知識,二是總結過後印象更加的深刻,這次總結一下第一章內容 思維導圖 對於這章的理解
大崩潰-正在降臨的危機與金融風暴史(The Great Crash)閱讀筆記 第一章 大崩潰:貨幣戰爭的真相
很少有人會想到,一個發生危機的國家,完全可能利用自己的經濟崩潰去洗劫它國的財富,這期間的奧妙,就在於一個國家金融市場效率的高低 問題的關鍵在於:繁榮的時候,弱者與強者可以分享收益,和平共處。只有在崩潰的時候,市場優勝劣汰的法則才會真正發揮作用,弱者會被淘汰,而強者將會生存下來 儘管資本主義經濟週期中的衰退令
《利用Python進行資料分析》第一章讀書筆記
一、重要的Python庫 1. NumPy(Python科學計算的基礎包) 2. pandas(本書用得最多pandas物件是DataFrame) 3. matplotlib(繪製資料圖表得Python庫) 4. IPython(目的是提
spark-streaming系列------- 3. Kafka DirectDStream方式資料的接收
KafkaRDD分割槽個數的確定和每個分割槽資料接收的計算在KafkUtils.createDirectStream建立了DirectDStream,程式碼如下:def createDirectStream[ K: ClassTag, V: ClassTa