目錄

1、Spring 中整合camel-ftp

  近期專案中涉及到定期獲取讀取並解析ftp伺服器上的檔案，自己實現ftp-client的有些複雜，因此考慮整合camel-ftp的方式來解決ftp檔案的下載問題。自己則專注於檔案的解析工作.

demo: https://github.com/LuckyDL/ftp-camel-demo

1.1、POM引用

<dependency>
    <groupId>org.apache.camel</groupId>
    <artifactId>camel-spring-boot-starter</artifactId>
    <version>2.22.1</version>
</dependency>
<dependency>
    <groupId>org.apache.camel</groupId>
    <artifactId>camel-ftp</artifactId>
    <version>2.22.1</version>
</dependency>
 

• 注意： 在選擇版本的時候，如果SpringBoot版本是1.5.10.RELEASE的話，那麼camel的版本最高只能使用2.21.2，使用2.22版本將會報錯。經測試的配套關係如下：

SrpingBoot	Camel
1.5	<=2.21.2
2.0	>=2.22.x

其他情況都會出現錯誤.

1.2、SpringBoot application.yml配置

ftp:
  addr: 172.18.18.19:21    # ftp地址、埠
  name: ftpuser
  password: ftp2018
  options: password=${ftp.password}&readLock=rename&delay=10s&binary=true&filter=#zipFileFilter&noop=true&recursive=true
  url: ftp://${ftp.name}@${ftp.addr}/?${ftp.options}
  # 本地下載目錄
  local-dir: /var/data

# 後臺執行程序
camel:
  springboot:
    main-run-controller: true

management:
  endpoint:
    camelroutes:
      enabled: true
      read-only: true
 

配置說明：

• delay：每次讀取時間間隔
• filter: 指定檔案過濾器
• noop：讀取後對原始檔不做任何處理
• recursive：遞迴掃描子目錄，需要在過濾器中允許掃描子目錄
• readLock：對正在寫入的檔案的處理機制

更多引數配置見官方手冊

1.3、配置路由

  要配置從遠端伺服器下載檔案到本地，格式如下，from內部為我們在上面配置的url，to為本地檔案路徑。

@Component
public class DownloadRoute extends RouteBuilder {
    /** logger */
    private static final Logger logger = LoggerFactory.getLogger(DownloadRoute.class);

    @Value("${ftp.server.info}")
    private String sftpServer;
    
    @Value("${ftp.local.dir}")
    private String downloadLocation;
    
    @Autowired
    private DataProcessor dataProcessor;

    @Override
    public void configure() throws Exception{
        from(sftpServer)
                .to(downloadLocation)
                .process(dataProcessor)
                .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete.");
    }
}
 

說明：  若將from配置為本地地址，to配置為遠端地址，則可以實現向遠端伺服器上傳檔案  process是資料處理器，如果僅僅是下載檔案到本地，那麼就不需要該配置。

也可以配置多條路由也處理不同的業務：

@Override
    public void configure() throws Exception{
        // route1
        from(sftpServer)
                .to(downloadLocation)
                .process(dataProcessor)
                .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete.");
        // route2
        from(xxx).to(xxxx);
        
        // route3
        from(xxxx).to(xxx).process(xxx);
    }

1.4、配置檔案過濾

  如果ftp伺服器上有很多檔案，但是我們需要的只是其中的一種，全部下載下來，有業務層來實現過濾肯定不合適，我們可以使用camel-ftp的檔案過濾器，通過url中的filter來指定，如“filter=#zipFileFilter”, 使用者需要實現GenericFileFilter介面的accept方法。

  例如我們只需要下載字尾名為.zip的壓縮包到本地，過濾器的編寫方法如下，因為我要遞迴掃描子目錄，因此型別為目錄的檔案也需要允許通過。

/**
 * camel ftp zip檔案過濾器
 */
@Component
public class ZipFileFilter implements GenericFileFilter {
    
    @Override
    public boolean accept(GenericFile file) {
        return file.getFileName().endsWith(".zip") || file.isDirectory();
    }
}

1.5、檔案處理器

  檔案處理器就是我們對下載到本地的檔案進行處理的操作，比如我們可能需要對下載的檔案重新規劃目錄；或者解析檔案並進行入庫操作等。這就需要通過實現Processer的process方法。   本文中的demo就是通過processor來解析zip包中的檔案內容：

@Component
public class DataProcessor implements Processor {

    /** logger */
    private static final Logger logger = LoggerFactory.getLogger(DataProcessor.class);


    @Value("${ftp.local-dir}")
    private String fileDir;

    @Override
    public void process(Exchange exchange) throws Exception {
        GenericFileMessage<RandomAccessFile> inFileMessage = (GenericFileMessage<RandomAccessFile>) exchange.getIn();
        String fileName = inFileMessage.getGenericFile().getFileName();
        String file_path = fileDir + '/' + fileName;
        readZip(file_path);
    }
    
    ...   // 省略資料處理方法
}

2、參考資料

  關於camel ftp的各個引數配置，參見官方手冊：http://camel.apache.org/ftp2.html

  此處需要注意的是，camel ftp手冊裡面只寫了ftp獨有的一些配置項，camel-ftp元件繼承自camel-file，手冊裡面有說明，就一句話，不注意就可能忽略了，筆者就是沒注意，被遞迴掃描子目錄的問題折騰了2天（閱讀要細心o(╥﹏╥)o）。。。因此有一些引數配置項可能在camel-ftp手冊裡面找不到，請移步至：http://camel.apache.org/file2.html