1. 程式人生 > >牛逼的OSQL----大資料匯入

牛逼的OSQL----大資料匯入

在執行SQL指令碼的時候要是出現了這些情況我咋辦呢?

步入正軌

應用場景:伺服器升級,比如原來是2003的系統,現在換成2008或者2012,那麼資料庫升級了不止一個檔次,咋辦?分離附加,備份還原都有點懸了,那麼就匯出指令碼唄(一般都是匯出兩份,一份是架構,一份是資料)

【應用場景二:類似於阿里雲這些別人的伺服器(說句傻叉的話,使用者資料都不在你的手上你這公司基本上也就差不多了)】

演示一下資料匯出的場景:

那麼問題來了~~發生了這些錯誤腫麼辦?我們的sql指令碼好幾個G了,正常途徑都沒用啊???

 

這裡呢得引入一下OSQL,先看看幫助文件:osql -?

執行命令:

osql -E -i C:\Users\DNT\Desktop\BigValues.sql
-E 表示使用 Windows 身份驗證    -i 表示執行輸入檔案裡面的sql指令碼

然後就這樣慢慢的執行了,你直接掛伺服器就好了,然後你就可以繼續coding了(*^__^*) 

相關推薦

OSQL----資料匯入

在執行SQL指令碼的時候要是出現了這些情況我咋辦呢? 步入正軌 應用場景:伺服器升級,比如原來是2003的系統,現在換成2008或者2012,那麼資料庫升級了不止一個檔次,咋辦?分離附加,備份還原都有點懸了,那麼就匯出指令碼唄(一般都是匯出兩份,一份是架構,一份是資料) 【應用場景二

oracle資料匯入sqlldr與匯出sqluldr2

1.匯出sqluldr2 oracle資料匯出工具sqluldr2——專業大資料匯出工具,能夠將資料已txt,csv,dbf等格式快速匯出,效率比普通匯出快70%。 根據查詢語句匯出 field=0x3a表示以分號進行欄位隔開 sqluldr2.exe username/pwd query=

資料匯入之Bulk Insert的一點總結

最近專案中需要對服務程式進行大規模的模擬測試,於是專門寫了一個測試程式,測試程式包含:測試資料的管理,功能測試,流程測試,壓力測試。     對於要測試的程式的資料來源來自資料庫,所以,需要模擬一個大的資料量,從1W,10W,100W,1000W...。其實,一直以來沒有怎

資料匯入EXCEL

    最近上頭給我派了一個活,oracle資料匯入excel,接任務的時候,我感覺比較輕鬆,心裡想,這很簡單,三下五除二,一個上午就可以搞定,因為之前實現過嘛!     但是在加上“大資料”烙印之後,就不是那麼簡單的一回事了,實現過程中,出現最常見的兩個問題:超出行數限制

2018最人新資料課程基礎 汽摩商城專案實戰 共享單車專案實戰 網際網路廣告實戰(視訊+原始碼+課件)

─01-JavaSE基礎-15天├─02-SpringMVC Mybatis 汽配城-8天│ ├─01-Mybatis第一天│ ├─02-Mybatis第二天│ ├─03-Springmvc第一天│ ├─04-Springmvc第二天│ ├─05-Springmvc第三天以及

SQL Server資料匯入匯出:將一張表的資料匯入到另一張表

         今天下午休息的時候又被扔給一項任務:把全國的街道資料匯入街道表。但是他們扔給我的SQL指令碼是從網上down的一個,跟平臺這邊的資料庫設計的完全不一樣。            

資料學習之推薦演算法真的很嗎?

本文轉載自科多大資料 很多產品,真的是像表面看上去的推薦演算法牛逼成就了他們嗎? 記得在2007年,Yahoo釋出了新的搜尋廣告系統Panama(內部可以看作是一個推薦演算法),試圖於Google的Adwords(個性化廣告推薦)一拼高下。按當時行業和專家的評測,推薦

源碼招:不服來戰!擼這些完整項目,你不都難!

fab 直流電機 通過 too 聚合 學習 自定義 eee 光照 經常有人問我有沒有什麽項目代碼,我回復說去 Github 找,但是還是好多人不知道如何找到那些比較好的項目。 今天花了點時間找了些安卓的項目,覺得還是不錯的,幾乎就是自己生活常用的一些 app ,如果你是

全網最乾貨!!! 年薪80萬的資料開發【教程】讀完此文全掌握!!!

事實上,大資料工作者可以施展拳腳的領域非常廣泛,從國防部、網際網路創業公司到金融機構,到處需要大資料專案來做創新驅動。 其實JAVA工程師轉型大資料有著天然優勢,不僅僅是前景和薪資等。技術層面來說,大資料使用的Hadoop(在分散式伺服器叢集上儲存海量資料並執行分散式分析應用的一種方法)需要JA

資料之scala(二) --- 對映,元組,簡單類,內部類,物件Object,Idea中安裝scala外掛,trait特質[介面],包和包的匯入

一、對映<Map> ----------------------------------------------------- 1.建立一個不可變的對映Map<k,v> ==> Map(k -> v) scala> val map

資料(二十):hive分割槽表、修改表語句與資料匯入匯出

一、分割槽表         分割槽表實際上就是對應一個HDFS檔案系統上的一個獨立的資料夾,該資料夾下是該分割槽所有的資料檔案,hive中的分割槽就是分目錄,把一個大的資料集更具業務需求分割成小的資料集。在查詢時通過where子句中的

[資料專案]-小學堂2018年資料24期-10階段3個專案

  2018最新最全大資料技術、專案視訊。整套視訊,非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾,詳細內容如下,需要的聯絡QQ:3164282908(加Q註明部落格園)。 更有海量大資料技術視訊、大資料專案視訊,機器學習深度學習技術視訊、專案視訊。Pyt

一位資深程式設計師大給予資料初學者的學習路線建議 - 程式設計人生

大資料學習路線   java(Java se,javaweb) Linux(shell,高併發架構,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 機器學習(R,m

資料視覺化是目前最的行業之一!這些必學庫你會幾個呢?

推薦   資料視覺化的庫有挺多的,這裡推薦幾個比較常用的: Matplotlib   Plotly   Seaborn   Ggplot   Bokeh   Py

資料ETL實踐探索(1)---- python 與oracle資料庫匯入匯出

文章大綱 ETL 簡介 工具的選擇 1. oracle資料泵 匯入匯出實戰 1.1 資料庫建立 1.2. installs Oracle 1.3 export / import data from oracle

除了vim, 還有哪些常用的的編輯器。 自行查詢資料, 調研除了gcc, 還有哪些常用的的編譯器,為什麼除錯的時候需要編譯選項中新增 -g在Linux下實現進度條程式

除了vim, 還有哪些常用的牛逼的編輯器, 並能夠橫向對比編輯器之間的區別和優缺點。 首先先有一個概念IDE(整合開發環境),厲害的有vs等等。vim以及Emacs就向著這個方向發展。為了實現其強大功能。vim有了多模式編輯有(normal,insert,vis

學習筆記:從0開始學習資料-30. solr通過java匯入doc,pdf文件建立全文檢索

1. eclipse 新建maven專案solr,pom.xml 加入依賴 2 在專案下新建類updoctest package com.linbin.solr; import java.io.File; import java.io.IOException; import org.

學習筆記:從0開始學習資料-29. solr增加ik中文分詞器並匯入doc,pdf文件全文檢索

環境 centos7,solr7.5.0 1. 新建core 從  solr-7.5.0/example/files/conf 作為配置檔案模板,建立core,名為mycore 2.下載分詞器 從https://search.maven.org/search?q=g:com

學習筆記:從0開始學習資料-28. solr儲存資料在hdfs並從mysql匯入資料

環境 centos7  hadoop2.6.0  solr-7.5.0 一、建立hdfs為儲存的core 1.在hdfs建立索引資料目錄 [[email protected] bin]# hadoop fs -mkdir /user/solr/ [[email&

架構師實踐日 11.9 南京站報名 | 技術帶你剖析資料平臺內部演進中的挑戰與實踐

從網際網路時代到物聯網時代,資料成為了企業的核心資產,挖掘資料價值成為了企業資料探索、技術應用的重中之重,甚至將影響到企業未來的發展和商業模式。但大資料體量大、多樣性、價值密度低、速度快等特徵,也給大資料的應用研發工作帶來了不少挑戰。  如何應對大資料