1. 程式人生 > >FileDetector-基於java開發的照片整理工具

FileDetector-基於java開發的照片整理工具

1. 專案背景

開發這個功能的主要原因如下:
1. 大學期間拍攝了約50G的照片,照片很多
2. 存放不規範,導致同一張照片出現在不同的資料夾內,可讀性差,無法形成記憶線。
3. 重複存放過多,很多照片都有冗餘備份,導致磁碟空間越來越不夠用。

2. 解決思路

  1. 根據照片拍攝時間對照片檔案重新命名,並移動到統一資料夾內。
  2. 重複檔案只移動一份,結果是除了目標資料夾內的照片以外,其他照片都是冗餘照片。

注意:並非所有照片都有拍攝時間,只有數碼相機與手機拍攝的才有。部分網上下載的圖片也有原始拍攝時間。沒有拍攝時間的照片不作處理。

3. 專案概述

3.1 專案依賴

專案依賴
這裡的依賴都比較普通,只有一個比較特殊:metadata-extractor是用來提取照片中的拍攝時間的。joda-time用來規範日期格式。

3.2 專案結構

專案結構
功能實現比較簡單,根據業務分了biz/service/util/ui包。其中ui開發的比較粗糙,因為java開發基本上已經轉入了後端,swing已經很少用到了,能跑起來就行。

3.3 專案流程圖

1.重複檔案刪除

Created with Raphaël 2.1.0開始使用者輸入目錄獲取目錄下所有檔案對所有檔案進行hash得到MultiMap根據hashcode刪除重複的檔案結束

2.按拍攝時間重新命名照片

Created with Raphaël 2.1.0開始使用者輸入目錄與字尾獲取目錄下所有後綴匹配檔案通過metadata獲得拍攝時間並重命名結束

3.移動檔案到目標資料夾

Created with Raphaël 2.1.0開始使用者輸入目錄與字尾獲取目錄下所有後綴匹配檔案移動檔案到目標資料夾結束

3.4 專案下載

程式碼地址:github地址
可執行應用地址:應用地址

關鍵程式碼

1.重複檔案檢測

package cuishining.bizz;

import java.io.File;
import java.io.IOException;
import java.util.List;
import java.util.Set;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import
com.google.common.collect.HashMultimap; import com.google.common.hash.Hashing; import com.google.common.io.Files; import cuishining.util.FileUtil; /** * Created by shining.cui on 2016/7/20. */ public class DuplicateFileDetector { private static final Logger logger = LoggerFactory.getLogger(DuplicateFileDetector.class); public HashMultimap<Long, String> detect(String path, String nameSuffix) { List<File> fileList = FileUtil.getAllFilesUnderPath(path, nameSuffix); HashMultimap<Long, String> md5AndFilePathMultiMap = analyzeMd5OfAllFiles(fileList); return analyzeDuplicateFiles(md5AndFilePathMultiMap); } private HashMultimap<Long, String> analyzeMd5OfAllFiles(List<File> fileList) { HashMultimap<Long, String> md5FileNameMultiMap = HashMultimap.create(); for (File file : fileList) { logger.info("檔案{},正在分析中……",file); try { long md5 = Files.hash(file, Hashing.md5()).asLong(); String path = file.getCanonicalPath(); md5FileNameMultiMap.put(md5, path); } catch (IOException e) { logger.error("檔案hash出錯,請檢查檔案是否可讀。",e); } } return md5FileNameMultiMap; } private HashMultimap<Long, String> analyzeDuplicateFiles(HashMultimap<Long, String> multimap) { Set<Long> md5s = multimap.keySet(); HashMultimap<Long, String> duplicateFilesMap = HashMultimap.create(); for (Long md5 : md5s) { Set<String> fileNames = multimap.get(md5); // 如果對應md5的value多於1個,證明是重複的檔案,放入新的map中返回 if (fileNames.size() > 1) { for (String name : fileNames) { duplicateFilesMap.put(md5, name); } } } return duplicateFilesMap; } }

2.重新命名策略

package cuishining.service.impl;

import java.io.File;
import java.util.List;

import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import cuishining.service.RenamePolicy;
import cuishining.util.JpgFileUtil;

/**
 * Created by shining.cui on 2016/7/23.
 */
public class RenameByTimePolicy implements RenamePolicy {
    private static final Logger logger = LoggerFactory.getLogger(RenameByTimePolicy.class);

    @Override
    public boolean rename(List<File> fileList) {
        logger.info("接受引數fileList為:{}", fileList);
        for (File file : fileList) {
            String photoTimeStr = JpgFileUtil.getPhotoTimeStr(file);
            if (StringUtils.isEmpty(photoTimeStr)) {
                logger.error("檔案{}不存在拍攝日期,無法重新命名",file);
            }
            String path = file.getParentFile().getAbsolutePath();
            if (StringUtils.isNotEmpty(photoTimeStr)) {
                renameFile(file, photoTimeStr, path);
            }
        }
        return true;
    }

    private void renameFile(File file, String photoTimeStr, String path) {
        logger.info("檔案{}正在重新命名中……",file);
        File renamedFile = new File(path + File.separator + photoTimeStr + ".jpg");
        if (renamedFile.exists()) {
            logger.error("{}檔案已經存在,無法重新命名。", renamedFile);
        } else {
            boolean renameSuccess = file.renameTo(renamedFile);
            if (renameSuccess) {
                logger.info("{}檔案命名為{}", file.getName(), renamedFile.getName());
            }
        }
    }
}

3.檔案處理工具

package cuishining.util;

import java.io.File;
import java.util.ArrayList;
import java.util.LinkedList;
import java.util.List;
import java.util.Set;

import com.google.common.collect.HashMultimap;
import com.google.common.io.Files;
import org.apache.commons.lang.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.google.common.collect.Lists;

/**
 *   檔案處理工具
 * Created by shining.cui on 2016/7/12.
 */
public class FileUtil {
    public static Logger logger = LoggerFactory.getLogger(FileUtil.class);

    /**
     * 讀取指定路徑下的所有檔案,使用佇列實現
     * 
     * @param filePath 指定的資料夾目錄
     * @param nameSuffix 指定字尾,若為null或者" "則匹配所有
     * @return 資料夾及其子資料夾內所有檔案
     */
    public static List<File> getAllFilesUnderPath(String filePath, String nameSuffix) {
        logger.info("接受的資料夾路徑為:{},檔名匹配字尾為:{}", filePath, nameSuffix);
        File basicfile = new File(filePath);
        List<File> fileLis = Lists.newArrayList();
        LinkedList<File> fileQueue = Lists.newLinkedList(Lists.newArrayList(basicfile));
        while (!fileQueue.isEmpty()) {
            File file = fileQueue.poll();
            if (file.isDirectory() && file.listFiles() != null) {
                fileQueue.addAll(Lists.newArrayList(file.listFiles()));
            } else {
                fileQueue = matchTheSuffix(file, nameSuffix, fileQueue, fileLis);
            }
        }
        logger.info("得到的檔案列表的長度為:{}", fileLis.size());
        return fileLis;
    }

    private static LinkedList<File> matchTheSuffix(File file, String nameSuffix, LinkedList<File> fileQueue,
            List<File> fileList) {
        String fileName = file.getName();
        if (StringUtils.isNotEmpty(nameSuffix)
                && StringUtils.endsWith(fileName.toLowerCase(), nameSuffix.toLowerCase())) {
            // 當有後綴名時,匹配的放入佇列
            fileList.add(file);
        } else if (StringUtils.isEmpty(nameSuffix)) {
            // 沒有匹配名時,所有的都放入佇列
            fileList.add(file);
        }
        return fileQueue;
    }

    public static String deleteFilesFromMultiMap(HashMultimap<Long, String> duplicateFileMultimap) {
        Set<Long> md5s = duplicateFileMultimap.keySet();
        StringBuilder sb = new StringBuilder();
        int count = 0;
        for (long md5 : md5s) {
            ArrayList<String> filenames = Lists.newArrayList(duplicateFileMultimap.get(md5));
            sb.append("以下重複檔案:\n");
            for (String filename : filenames) {
                    sb.append(filename).append("\n");
            }
            String firstDupFile = filenames.get(0);
            File file = new File(firstDupFile);
            boolean delete = file.delete();
            if (delete) {
                logger.info("檔案{}已被刪除", firstDupFile);
                sb.append("檔案").append(firstDupFile).append("已被刪除");
                count++;
            } else {
                logger.error("檔案{}刪除失敗", firstDupFile);
            }
        }
        sb.append("共刪除").append(count).append("個檔案");
        logger.info("共刪除{}個檔案",count);
        return sb.toString();
    }
}

4.照片事件提取工具

package cuishining.util;

import java.io.File;
import java.io.IOException;
import java.util.Date;

import org.joda.time.DateTime;
import org.joda.time.DateTimeZone;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import com.drew.imaging.ImageMetadataReader;
import com.drew.imaging.ImageProcessingException;
import com.drew.metadata.Directory;
import com.drew.metadata.Metadata;
import com.drew.metadata.exif.ExifDirectoryBase;

/**
 * Created by shining.cui on 2016/7/23.
 */
public class JpgFileUtil {
    private static final Logger logger = LoggerFactory.getLogger(JpgFileUtil.class);

    public static String getPhotoTimeStr(File file) {
        Date date = null;
        try {
            Metadata metadata = ImageMetadataReader.readMetadata(file);
            for (Directory dr : metadata.getDirectories()) {
                if (dr.containsTag(ExifDirectoryBase.TAG_DATETIME_ORIGINAL)) {
                    date = dr.getDate(ExifDirectoryBase.TAG_DATETIME_ORIGINAL);
                }
                if (date != null) {
                    return TimeUtil.parseDateFromJpgFileDate(date);
                }
            }
        } catch (ImageProcessingException e) {
            logger.error("jpg檔案讀取錯誤", e);
        } catch (IOException e) {
            logger.error("發生io錯誤", e);
        }
        return null;
    }
}

5.時間工具

package cuishining.util;

import org.joda.time.DateTime;
import org.joda.time.DateTimeZone;

import java.util.Date;

/**
 * Created by shining.cui on 2016/7/25.
 */
public class TimeUtil {
    private static final String timeFormatStr = "yyyy-MM-dd HH-mm-ss";
    private static final String timeFormatStr1 = "yyyy-MM-dd HH:mm:ss";

    public static String parseDateFromSystemDate(Date date) {
       return new DateTime(date).toString(timeFormatStr1);
    }

    public static String parseDateFromJpgFileDate(Date date) {
        return new DateTime(date, DateTimeZone.UTC).toString(timeFormatStr);
    }
}

總結

專案總體思想是根據md5刪除重複照片,然後根據拍攝時間重新命名之後移動到統一資料夾內。可以在同一個資料夾內按照拍攝時間瀏覽照片,比較有歷史感,容易喚起回憶。