apache beam ElasticSearchIO 遇到異常後job中斷執行 自己定製beam IO
阿新 • • 發佈:2018-12-27
可以將 ElasticSearchIO.java 原始碼拷貝至自己的專案。改名為MyElasticSearchIO.java。自己定製實現。這時編譯會遇到auto.value失敗。在pom.xml中加入如下依賴:
<!-- googles --> <!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value --> <dependency> <groupId>com.google.auto.value</groupId> <artifactId>auto-value</artifactId> <version>1.6.3</version> <scope>provided</scope> </dependency> <!-- https://mvnrepository.com/artifact/com.google.guava/guava --> <dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>27.0.1-jre</version> </dependency>
報錯是在flushBatch裡面的checkForErrors出現。