linux檔案每行數值總和相加

阿新 • • 發佈：2018-11-17

1、原始檔案情況
1.1、檔案數

[[email protected] result]$ ll room54000-htm_2018-* 
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 18:59 room54000-htm_2018-09-30-00.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 18:59 room54000-htm_2018-09-30-01.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:00 room54000-htm_2018-09-30-02.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 18:59 room54000-htm_2018-09-30-03.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:00 room54000-htm_2018-09-30-04.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:02 room54000-htm_2018-09-30-05.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:02 room54000-htm_2018-09-30-06.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:03 room54000-htm_2018-09-30-07.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:03 room54000-htm_2018-09-30-08.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:05 room54000-htm_2018-09-30-09.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:06 room54000-htm_2018-09-30-10.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:06 room54000-htm_2018-09-30-11.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:06 room54000-htm_2018-09-30-12.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:07 room54000-htm_2018-09-30-13.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:09 room54000-htm_2018-09-30-14.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:09 room54000-htm_2018-09-30-15.txt
-rw-rw-r-- 1 hadoop hadoop 2 Oct  9 19:10 room54000-htm_2018-09-30-16.txt

1.2、檔案內容

[[email protected] result]$ cat room54000-htm_2018-*
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
7
0
0
0
0
0

2、單列數值統計
cat room54000-htm_2018-*|grep -v 0|awk '{sum +=$1};END {print sum}'
cat room54000-htm_2018-*|awk '{sum +=$1};END {print sum}'

[[email protected] result]$ cat room54000-htm_2018-*|awk '{sum +=$1};END {print sum}'
516
[ 
[email protected] result]$ cat room54000-htm_2018-*|grep -v 0|awk '{sum +=$1};END {print sum}'
516
[[email protected] result]$

3、說明
適用於資料跑批後，將每一份的彙總結果再彙總的情況。

linux檔案每行數值總和相加

1、原始檔案情況1.1、檔案數 [[email protected] result]$ ll room54000-htm_2018-* -rw-rw-r-- 1 hadoop hadoop 2 Oct 9 18:59 room54000-htm_2018-0

python剔除文字檔案每行頭尾的空格字元

#encoding=utf-8 def trimLineSpace(finput, foutput):fInputHandle = open ( fInput )fOutputHandle = open (fOutput, 'w')lines = fInputHandle.

python:在csv檔案每行末寫入一列——方法1

with open(os.path.join(os.path.dirname(__file__), "file1")) as csvFile: rows = csv.reader(csvFile) with open(os.path.join(os.path.

c語言執行linux命令並通過結構體返回每行命令的輸出

打印 linux pop sscanf [] #define ufs pan pipe #include <stdio.h> #include <stdlib.h> #include <unistd.h>

C++ 使用 fscanf 命令迴圈讀取 TXT每行的數值資料（不用陣列）

// 設定匯入的衛星角速度和角加速度資料 char parasfileomega[100]; int flag = 1; printf("是否匯入預

Linux環境下在檔案的行首或者行尾新增字串方法（乾貨）

1. sed 's/$/ aischang/' abc.txt >> test.txt 將檔案abc.txt追加 aischang到每行末尾，寫入到檔案test.txt， $為末尾符號，$代表替換末尾為 aischang 2. sed 's

c++讀檔案（一次全讀/每行讀/多次讀）

我以為這些都很容易在網上找到，誰知網上亂七八糟的東西太多，讓我找了很久。。開發環境為Windows，VS2013 一次全讀： std::ifstream t(path); //讀檔案ifstream,寫檔案ofstream，可讀可寫fstream std::stringstr

讀取cfg檔案（讀取檔案的每行內容）

讀取檔案 [convolutional] batch_normalize=1 filters=32 size=3 stride=1 pad=1 activation=leaky # Downsample [convolutional] batch_normalize=1 filters=64

Linux擷取檔案指定行數之間的內容

在叢集上跑資料時市場會出問題，為了方便檢視日誌個人喜歡將日誌下載本地使用notepad檢視，但是由於叢集是公用資源，每一個日誌檔案都會非常大，如圖：不便於下載到本地進行檢視，為了可以將你關注的部分日誌下載到本地，可以進行如下操作： 1: 確定有自己業務有關的日誌在檔案中的行數

Windows檔案換行符轉Linux換行符

前段時間，有個朋友碰到由於Windows的換行符和Linux換行符不一樣，導致程式編譯不通過。這個問題之前自己也碰到過，網上資料也蠻多，不過還是藉此總結總結，因為發現總結+實踐的方式能夠讓自己更好的提升。作業系統檔案換行符首先介紹下，在ASCI

Linux 下wc 統計遞迴統計目錄及其子目錄下檔案的行數

原文連結：http://blog.csdn.net/a_ran/article/details/43939261 wc 命令用於統計檔案內容的行數、單詞數、字母數。如果想遞迴的統計一目錄下及其子目錄下所有匹配檔案的總的行數和每個檔案的行數，可以使用一下命令。 wc

linux檔案檢視與刪除換行符

從Excel中複製貼上了一行數字到文字中，沒曾想每行後面都有一個換行符。在linux下很多命令操作都出錯，令我一度懷疑是自己的電腦或者是系統出了Bug。結果師兄提醒說，你的文字可能有換行符，結果還真是～ 1. linux查詢文字中是否存在換行符 cat -A filename

Linux 檔案擷取前幾行、後幾行、中間幾行命令

如果你只想看檔案的前100行，可以使用head命令，如 head -100 filename 如果你想檢視檔案的後100行，可以使用tail命令，如： tail -100 filename 或 tail -n 100 filename

SQL中根據行號設定每行資料的排序數值

根據行號自動把當前行號插入到某列中實現排序 update tempTable set DisplayOrder = right( CAST(rownum as NVARCHAR),5) from( &nb

讀pkl檔案，並打印出每行的權重

import torch from test01 import Net model = Net() model.load_state_dict(torch.load(r"C:\Users\admin\Desktop\test1\w.pkl")) print(model.fc1.weight) pr

Linux應用隨筆（四）檔案換行問題解決方案

最近都在Debian上程式設計，檔案發給別人卻發現都擠在了一行。原因是linux上換行是\n，而window是\r\n。這樣會導致windows上的文字在linux上看是正常的，而linux上編輯的文字在windows上檢視卻是沒有換行的。在linux上可以

Windows和Linux系統文字檔案換行符互相轉換

不需要使用其它程式，只用sed命令就OK。 Windows轉換到Linux為： #windows2linux.sh sed -i 's/.$//' $1 Linux轉換到Windows為： #linux2windows.sh sed -i 's/$/\r/' $1

Flume根據檔案中每行開始的日期進行資料夾分類匯入HDFS

這裡使用Flume只需要建立一個新的flume配置檔案就可以了，我這裡將配置檔案取名為access_hdfs.properties，下面是配置檔案內容： #-----------------access_hdfs.properties---------------# #--

windows和linux下讀取檔案換行符的一個坑——\r\n和\n

拿同事的一個windows下的C程式，在Linux下跑，結果不正確。定位為讀取.ini配置檔案錯誤。該配置檔案是在windows下編輯的，網上查到資料，說是windows和linux下對換行符處理不同導致的。

linux和windows的文字檔案換行格式轉換

在基於雙系統平臺做開發時，我們經常需要將Linux下的文字檔案上傳到windows，或將windows下的文字檔案上傳到Linux，但是會出現亂碼和換行符的問題。這是因為Linux和Window下的文字檔案的編碼格式不同造成的。Windows中預設的檔案格式

linux檔案每行數值總和相加

相關推薦