使用iconv對檔案批量轉碼
本文映象地址
Windows下中文使用的編碼一般預設為GB18030,git無法識別裡面的中文,在Linux和Mac上開啟會出現亂碼問題
iconv可以對單個檔案進行轉碼,使用方式如下:
顯示支援的編碼
iconv -l
將GB18030碼轉為UTF-8碼,並重定向到new.file中.
iconv -f GB18030 -t UTF-8 old.file > new.file
-f 原編碼
-t 目標編碼
結合file -exec 可以實現批量轉碼(會覆蓋原有檔案,請謹慎操作)
find $PWD -type f -exec sh -c “iconv -f GBK -t UTF-8 {} > ~/temp” ; -exec mv ~/temp {} ;
有一個讓人比較疑惑的一點是我本來是沒有使用sh輔助,直接執行iconv命令的話, 結果就出錯了,原因不太清楚,先記錄在這裡。
test目錄下只有三個檔案,都是GBK編碼的,為什麼就會提示不行呢。
相關推薦
使用iconv對檔案批量轉碼
本文映象地址 Windows下中文使用的編碼一般預設為GB18030,git無法識別裡面的中文,在Linux和Mac上開啟會出現亂碼問題 iconv可以對單個檔案進行轉碼,使用方式如下: 顯示支援的編碼 iconv -l 將GB18030碼轉為UTF-8碼,並重
java對視訊進行轉碼
這裡有兩個方案: 1.利用國外一個大佬寫的jar包jave,裡面集成了ffmpeg,目前原始碼應該是更新到1.0.2,看了下原始碼應該發現,這個功能還是非常強大的,如果不需要轉碼,只需要獲取下圖片,視訊資訊,更是方便= = 。 JAVE(Java Aud
使用正則表示式-對檔案批量重新命名
import reimport os# re.match ;使用者匹配字串開頭:如果不是起始位置匹配成功的話,match()就返回none# 引數1:匹配的正則表示式,引數2:要匹配的字串,標誌位,用於控制正則表示式的匹配方式,如:是否區分大小寫,多行匹配(非必填)# 我們可以使用group(num) 或 g
window下對檔案批量刪除指定字尾名處理
linux下有shell,可以快速得刪除以.py為結尾的檔案: rm *.py 但是window下如何快速刪除?並寫個指令碼進行自動化刪除一個資料夾下的所有.py為結尾的檔案呢? Window下有
python:epub檔案批量轉TXT
寫在前面 程式碼很菜,而且寫了很久之後才寫的筆記,程式碼裡僅包含主要函式的實現。 原因 有很多很多,大概8000本epub檔案需要轉換成TXT。沒找到現成工具偷懶,就想寫一段程式碼代工。 缺點 只對文字有效,圖片類無法轉化。 原理 先轉換成壓縮
linux下大檔案編碼轉碼及將oracle中資料匯入mysql
這篇文章有不少廢話,只是為了發洩一下。如果讀者找需要解決的問題的辦法,直接無視這些廢話。 最近做的專案要將Oracle中資料匯入Mysql, 資料量約有兩千萬條,慶幸的是隻有一張表,而且資料結構比較簡單。在這個過程中遇到不少坑,現在
利用FFmpeg對視訊進行轉碼壓縮
基本原理 執行FFmpeg的視訊壓縮命令 ffmpeg -i input.mov -b:v 640k output.mp4 #include "jni.h" #include "ffmpeg.h" //視訊轉碼壓縮主函式入口 //ffmpeg_mod.c有
JS 對中文進行轉碼防止亂碼
var BREED_TYPE = escape(breedType);//進行轉碼 diag.URL = 'test_add.jsp?BREED_TYPE='+BREED_TYPE //彈出一
利用Python對檔案批量命名
# -*- coding: gbk -*- import os def rename(): path = r"C:\User\Desktop"; # 碟符 filelist = os.listdir(path) num = 1 #計數 for files in fil
將UCS-2 Little Endian(即 utf-16)編碼的txt檔案批量轉化為utf-8編碼(python)
折騰了好久,終於搞定了。參考連結:python使用codecs模組進行檔案操作-讀寫中英文字元 - CSDN部落格 http://blog.csdn.net/chenyxh2005/article/details/72465758#t0程式碼:import os import
將各種格式flv,avi,mp4等的檔案,轉碼成MP4(無音訊)
/* * test14.cpp * * 將各種格式flv,mp4的檔案,轉碼成MP4 */ #include <string.h> #include <math.h> #include "test06.h" #defi
Unicode字符集批量轉碼為漢字(互轉)
看到網上不少地方傳輸中文的時候用的是類似/u4e2d/u56fd的字元,就是Unicode編碼的字元,想知道具體什麼內容,又不容易看出來,所以想把這個字符集解碼為正常的字元。開始我通過Encoding轉換編碼格式,發現行不通,怎麼都不能正常解開,然後在網上淘了些類似
Python實現批量處理檔案的縮排和轉碼問題
最近把很久前的C程式碼傳到Github上的時候,發現全部上百個原始檔的程式碼縮排都變成了8格,而且裡面的中文都出現了亂碼,所以決定寫個程式來批量處理所有檔案的格式。這段關於轉碼的程式碼可以適用於很
對 url 中含有的中文進行轉碼操作
www 勘誤 utili reason main letter ins 兩個 int 對 url 中含有的中文進行轉碼操作 一般情況下,將帶有中文的 url 拷貝到開發工具,開發工具都會有相應的轉碼(自動轉碼), 現在大部分的瀏覽器也可以對含有中文的 url 進行轉碼(自
qsv檔案轉碼mp4格式過程記錄
之前幫一個朋友剪輯配音視訊,原始檔在愛奇藝裡,特有的qsv格式讓我白忙活一下午。 晚上趁著有空,在網上查詢資料,翻閱了很多檔案,都讓我無從下手。 基本都是一個套路,轉成fiv格式,再轉mp4格式,但是轉出來的檔案大了十幾倍,視訊檔案也混亂,音訊不同步,無法正常擷取和放映。 在一個貼吧中找到一個特別好的辦
使用gulp將檔案轉碼至utf-8格式
在前兩篇文章中,我除了看《MySQL必知必會》之外,還參考了《SQL基礎教程(第2版)》。但是把參考這本書裡的SQL語句導進新建的資料庫時遇到了點麻煩:我在執行SQL檔案後發現表中中文字元全部亂碼。在檢查檔案格式之後發現,隨書給出的SQL檔案的編碼是GB2312……那就先得把這麼些檔案轉成utf-8格式才能適
如何最快地批量執行音視訊轉碼
為什麼要有這個需求?我們知道,單純的轉format ,不轉codec ,其實僅僅是io 操作,這個操作是很快的,但是一旦需要decodec & encodec ,這個操作是非常耗時,耗cpu的,因為這個地方有解壓縮和壓縮的操作。如果批量任務需要轉碼,而且是同時轉碼
Sqlite表結構讀取工具,word批量轉html,線上雲剪貼簿,檔案批量提取工具;
工欲善其事必先利其器,本週為您推薦工具排行 Sqlite表結構讀取工具,word批量轉html,線上雲剪貼簿,檔案批量提取工具; 本週我們又要發乾貨了,準備好接受了嗎? 為什麼是乾貨,就是因為不是水貨,因為幹了,所以是乾貨,也就是實打實的。當然哈
Java實現視訊轉碼 mp4檔案轉編碼集
相關jar 下載路徑 import java.io.File; import it.sauronsoftware.jave.AudioAttributes; import it.sauronsoftware.jave.Encoder; import it.sa
java 檔案轉碼(gb2315,gbk,utf-8)csv,excel
最近做資料處理,需要將爬取的資料入庫,但是演算法提供的資料編碼格式和資料庫總是有出入,導致匯入的資料亂碼,所以寫一個轉碼程式,將檔案編碼轉為和資料庫一致。 package com.bjk.transcode; import java.io.FileInputStream; import j