FileDetector-基於java開發的照片整理工具
阿新 • • 發佈:2019-01-27
1. 專案背景
開發這個功能的主要原因如下:
1. 大學期間拍攝了約50G的照片,照片很多
2. 存放不規範,導致同一張照片出現在不同的資料夾內,可讀性差,無法形成記憶線。
3. 重複存放過多,很多照片都有冗餘備份,導致磁碟空間越來越不夠用。
2. 解決思路
- 根據照片拍攝時間對照片檔案重新命名,並移動到統一資料夾內。
- 重複檔案只移動一份,結果是除了目標資料夾內的照片以外,其他照片都是冗餘照片。
注意:並非所有照片都有拍攝時間,只有數碼相機與手機拍攝的才有。部分網上下載的圖片也有原始拍攝時間。沒有拍攝時間的照片不作處理。
3. 專案概述
3.1 專案依賴
這裡的依賴都比較普通,只有一個比較特殊:metadata-extractor是用來提取照片中的拍攝時間的。joda-time用來規範日期格式。
3.2 專案結構
功能實現比較簡單,根據業務分了biz/service/util/ui包。其中ui開發的比較粗糙,因為java開發基本上已經轉入了後端,swing已經很少用到了,能跑起來就行。
3.3 專案流程圖
1.重複檔案刪除
2.按拍攝時間重新命名照片
3.移動檔案到目標資料夾
3.4 專案下載
關鍵程式碼
1.重複檔案檢測
package cuishining.bizz;
import java.io.File;
import java.io.IOException;
import java.util.List;
import java.util.Set;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.google.common.collect.HashMultimap;
import com.google.common.hash.Hashing;
import com.google.common.io.Files;
import cuishining.util.FileUtil;
/**
* Created by shining.cui on 2016/7/20.
*/
public class DuplicateFileDetector {
private static final Logger logger = LoggerFactory.getLogger(DuplicateFileDetector.class);
public HashMultimap<Long, String> detect(String path, String nameSuffix) {
List<File> fileList = FileUtil.getAllFilesUnderPath(path, nameSuffix);
HashMultimap<Long, String> md5AndFilePathMultiMap = analyzeMd5OfAllFiles(fileList);
return analyzeDuplicateFiles(md5AndFilePathMultiMap);
}
private HashMultimap<Long, String> analyzeMd5OfAllFiles(List<File> fileList) {
HashMultimap<Long, String> md5FileNameMultiMap = HashMultimap.create();
for (File file : fileList) {
logger.info("檔案{},正在分析中……",file);
try {
long md5 = Files.hash(file, Hashing.md5()).asLong();
String path = file.getCanonicalPath();
md5FileNameMultiMap.put(md5, path);
} catch (IOException e) {
logger.error("檔案hash出錯,請檢查檔案是否可讀。",e);
}
}
return md5FileNameMultiMap;
}
private HashMultimap<Long, String> analyzeDuplicateFiles(HashMultimap<Long, String> multimap) {
Set<Long> md5s = multimap.keySet();
HashMultimap<Long, String> duplicateFilesMap = HashMultimap.create();
for (Long md5 : md5s) {
Set<String> fileNames = multimap.get(md5);
// 如果對應md5的value多於1個,證明是重複的檔案,放入新的map中返回
if (fileNames.size() > 1) {
for (String name : fileNames) {
duplicateFilesMap.put(md5, name);
}
}
}
return duplicateFilesMap;
}
}
2.重新命名策略
package cuishining.service.impl;
import java.io.File;
import java.util.List;
import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import cuishining.service.RenamePolicy;
import cuishining.util.JpgFileUtil;
/**
* Created by shining.cui on 2016/7/23.
*/
public class RenameByTimePolicy implements RenamePolicy {
private static final Logger logger = LoggerFactory.getLogger(RenameByTimePolicy.class);
@Override
public boolean rename(List<File> fileList) {
logger.info("接受引數fileList為:{}", fileList);
for (File file : fileList) {
String photoTimeStr = JpgFileUtil.getPhotoTimeStr(file);
if (StringUtils.isEmpty(photoTimeStr)) {
logger.error("檔案{}不存在拍攝日期,無法重新命名",file);
}
String path = file.getParentFile().getAbsolutePath();
if (StringUtils.isNotEmpty(photoTimeStr)) {
renameFile(file, photoTimeStr, path);
}
}
return true;
}
private void renameFile(File file, String photoTimeStr, String path) {
logger.info("檔案{}正在重新命名中……",file);
File renamedFile = new File(path + File.separator + photoTimeStr + ".jpg");
if (renamedFile.exists()) {
logger.error("{}檔案已經存在,無法重新命名。", renamedFile);
} else {
boolean renameSuccess = file.renameTo(renamedFile);
if (renameSuccess) {
logger.info("{}檔案命名為{}", file.getName(), renamedFile.getName());
}
}
}
}
3.檔案處理工具
package cuishining.util;
import java.io.File;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Set;
import com.google.common.collect.HashMultimap;
import com.google.common.io.Files;
import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.google.common.collect.Lists;
/**
* 檔案處理工具
* Created by shining.cui on 2016/7/12.
*/
public class FileUtil {
public static Logger logger = LoggerFactory.getLogger(FileUtil.class);
/**
* 讀取指定路徑下的所有檔案,使用佇列實現
*
* @param filePath 指定的資料夾目錄
* @param nameSuffix 指定字尾,若為null或者" "則匹配所有
* @return 資料夾及其子資料夾內所有檔案
*/
public static List<File> getAllFilesUnderPath(String filePath, String nameSuffix) {
logger.info("接受的資料夾路徑為:{},檔名匹配字尾為:{}", filePath, nameSuffix);
File basicfile = new File(filePath);
List<File> fileLis = Lists.newArrayList();
LinkedList<File> fileQueue = Lists.newLinkedList(Lists.newArrayList(basicfile));
while (!fileQueue.isEmpty()) {
File file = fileQueue.poll();
if (file.isDirectory() && file.listFiles() != null) {
fileQueue.addAll(Lists.newArrayList(file.listFiles()));
} else {
fileQueue = matchTheSuffix(file, nameSuffix, fileQueue, fileLis);
}
}
logger.info("得到的檔案列表的長度為:{}", fileLis.size());
return fileLis;
}
private static LinkedList<File> matchTheSuffix(File file, String nameSuffix, LinkedList<File> fileQueue,
List<File> fileList) {
String fileName = file.getName();
if (StringUtils.isNotEmpty(nameSuffix)
&& StringUtils.endsWith(fileName.toLowerCase(), nameSuffix.toLowerCase())) {
// 當有後綴名時,匹配的放入佇列
fileList.add(file);
} else if (StringUtils.isEmpty(nameSuffix)) {
// 沒有匹配名時,所有的都放入佇列
fileList.add(file);
}
return fileQueue;
}
public static String deleteFilesFromMultiMap(HashMultimap<Long, String> duplicateFileMultimap) {
Set<Long> md5s = duplicateFileMultimap.keySet();
StringBuilder sb = new StringBuilder();
int count = 0;
for (long md5 : md5s) {
ArrayList<String> filenames = Lists.newArrayList(duplicateFileMultimap.get(md5));
sb.append("以下重複檔案:\n");
for (String filename : filenames) {
sb.append(filename).append("\n");
}
String firstDupFile = filenames.get(0);
File file = new File(firstDupFile);
boolean delete = file.delete();
if (delete) {
logger.info("檔案{}已被刪除", firstDupFile);
sb.append("檔案").append(firstDupFile).append("已被刪除");
count++;
} else {
logger.error("檔案{}刪除失敗", firstDupFile);
}
}
sb.append("共刪除").append(count).append("個檔案");
logger.info("共刪除{}個檔案",count);
return sb.toString();
}
}
4.照片事件提取工具
package cuishining.util;
import java.io.File;
import java.io.IOException;
import java.util.Date;
import org.joda.time.DateTime;
import org.joda.time.DateTimeZone;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.drew.imaging.ImageMetadataReader;
import com.drew.imaging.ImageProcessingException;
import com.drew.metadata.Directory;
import com.drew.metadata.Metadata;
import com.drew.metadata.exif.ExifDirectoryBase;
/**
* Created by shining.cui on 2016/7/23.
*/
public class JpgFileUtil {
private static final Logger logger = LoggerFactory.getLogger(JpgFileUtil.class);
public static String getPhotoTimeStr(File file) {
Date date = null;
try {
Metadata metadata = ImageMetadataReader.readMetadata(file);
for (Directory dr : metadata.getDirectories()) {
if (dr.containsTag(ExifDirectoryBase.TAG_DATETIME_ORIGINAL)) {
date = dr.getDate(ExifDirectoryBase.TAG_DATETIME_ORIGINAL);
}
if (date != null) {
return TimeUtil.parseDateFromJpgFileDate(date);
}
}
} catch (ImageProcessingException e) {
logger.error("jpg檔案讀取錯誤", e);
} catch (IOException e) {
logger.error("發生io錯誤", e);
}
return null;
}
}
5.時間工具
package cuishining.util;
import org.joda.time.DateTime;
import org.joda.time.DateTimeZone;
import java.util.Date;
/**
* Created by shining.cui on 2016/7/25.
*/
public class TimeUtil {
private static final String timeFormatStr = "yyyy-MM-dd HH-mm-ss";
private static final String timeFormatStr1 = "yyyy-MM-dd HH:mm:ss";
public static String parseDateFromSystemDate(Date date) {
return new DateTime(date).toString(timeFormatStr1);
}
public static String parseDateFromJpgFileDate(Date date) {
return new DateTime(date, DateTimeZone.UTC).toString(timeFormatStr);
}
}
總結
專案總體思想是根據md5刪除重複照片,然後根據拍攝時間重新命名之後移動到統一資料夾內。可以在同一個資料夾內按照拍攝時間瀏覽照片,比較有歷史感,容易喚起回憶。