1. 程式人生 > 實用技巧 >flume實時採集mysql資料到kafka

flume實時採集mysql資料到kafka

資料校驗是在平時的編碼過程中常做的工作,在系統的各個層可能都要去實現一些校驗邏輯,再去做業務處理。這些繁瑣的校驗與我們的業務程式碼在一塊就會顯得臃腫。而且這些校驗通常是業務無關的。也是在工作中使用到Hibernate Validator,但卻發現有人沒有使用好它(竟然還能看到一些if else的校驗程式碼...),所以在這裡決定整理下關於Hibernate Validator的使用

Bean Validation 2.0(JSR 380)定義了用於實體和方法驗證的元資料模型和API,Hibernate Validator是目前最好的實現,這篇主要是說Hibernate Validator的使用

Hibernate Validator的使用

依賴

如果是Spring Boot專案,那麼spring-boot-starter-web中就已經依賴hibernate-validator

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>

如果是Spring Mvc,那可以直接新增hibernate-validator依賴

<dependency>
<groupId>org.hibernate.validator</groupId> <artifactId>hibernate-validator</artifactId> <version>6.0.17.Final</version> </dependency>

bean約束宣告和驗證,Validator

先給我們的Java物件新增約束註解

@Data
@AllArgsConstructor
public class User {

    private String id;

    @NotBlank
    @Size(max 
= 20) private String name; @NotNull @Pattern(regexp = "[A-Z][a-z][0-9]") private String password; @NotNull private Integer age; @Max(10) @Min(1) private Integer level; }

驗證實體例項需要先獲取Validator例項

ValidatorFactory factory = Validation.buildDefaultValidatorFactory();
validator = factory.getValidator();

Validator介面有三個方法,可用於驗證整個實體或僅驗證實體的單個屬性

  • Validator#validate() 驗證所有bean的所有約束
  • Validator#validateProperty() 驗證單個屬性
  • Validator#validateValue() 檢查給定類的單個屬性是否可以成功驗證
public class UserTest {

    private static Validator validator;

    @BeforeAll
    public static void setUpValidator() {
        ValidatorFactory factory = Validation.buildDefaultValidatorFactory();
        validator = factory.getValidator();
    }

    @Test
    public void validatorTest() {
        User user = new User(null, "", "!@#$", null, 11);

        // 驗證所有bean的所有約束
        Set<ConstraintViolation<User>> constraintViolations = validator.validate(user);
        // 驗證單個屬性
        Set<ConstraintViolation<User>> constraintViolations2 = validator.validateProperty(user, "name");
        // 檢查給定類的單個屬性是否可以成功驗證
        Set<ConstraintViolation<User>> constraintViolations3 = validator.validateValue(User.class, "password", "sa!");

        constraintViolations.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
        constraintViolations2.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
        constraintViolations3.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
    }
}

測試結果

不能為空
最大不能超過10
需要匹配正則表示式"[A-Z][a-z][0-9]"
不能為null
不能為空
需要匹配正則表示式"[A-Z][a-z][0-9]"

方法約束宣告和驗證,ExecutableValidator

從Bean Validation 1.1開始,約束不僅可以應用於JavaBean及其屬性,而且可以應用於任何Java型別的方法和建構函式的引數和返回值,這裡簡單看一個例子

public class RentalStation {

    public RentalStation(@NotNull String name) {
        //...
    }

    public void rentCar(@NotNull @Future LocalDate startDate, @Min(1) int durationInDays) {
        //...
    }

    @NotNull
    @Size(min = 1)
    public List<@NotNull String> getCustomers() {
        //...
        return null;
    }
}

ExecutableValidator介面可以完成方法約束的驗證

ValidatorFactory factory = Validation.buildDefaultValidatorFactory();
executableValidator = factory.getValidator().forExecutables();

ExecutableValidator介面共有四種方法:

validateParameters()和validateReturnValue()用於方法驗證
validateConstructorParameters()和validateConstructorReturnValue()用於建構函式驗證

public class RentalStationTest {

    private static ExecutableValidator executableValidator;

    @BeforeAll
    public static void setUpValidator() {
        ValidatorFactory factory = Validation.buildDefaultValidatorFactory();
        executableValidator = factory.getValidator().forExecutables();
    }

    @Test
    public void validatorTest() throws NoSuchMethodException {
        RentalStation rentalStation = new RentalStation("z");

        Method method = RentalStation.class.getMethod("rentCar", LocalDate.class, int.class);
        Object[] parameterValues = {LocalDate.now().minusDays(1), 0};
        Set<ConstraintViolation<RentalStation>> violations = executableValidator.validateParameters(
                rentalStation, method, parameterValues);

        violations.forEach(violation -> System.out.println(violation.getMessage()));
    }
}

測試結果

需要是一個將來的時間
最小不能小於1

約束註解

validator-api-2.0的約束註解有22個,具體我們看下面表格

空與非空檢查

註解支援Java型別說明
@Null Object 為null
@NotNull Object 不為null
@NotBlank CharSequence 不為null,且必須有一個非空格字元
@NotEmpty CharSequence、Collection、Map、Array 不為null,且不為空(length/size>0)

Boolean值檢查

註解支援Java型別說明備註
@AssertTrue boolean、Boolean 為true 為null有效
@AssertFalse boolean、Boolean 為false 為null有效

日期檢查

註解支援Java型別說明備註
@Future Date、Calendar、Instant、LocalDate、LocalDateTime、LocalTime、MonthDay、OffsetDateTime、OffsetTime、Year、YearMonth、ZonedDateTime、HijrahDate、JapaneseDate、MinguoDate、ThaiBuddhistDate 驗證日期為當前時間之後 為null有效
@FutureOrPresent Date、Calendar、Instant、LocalDate、LocalDateTime、LocalTime、MonthDay、OffsetDateTime、OffsetTime、Year、YearMonth、ZonedDateTime、HijrahDate、JapaneseDate、MinguoDate、ThaiBuddhistDate 驗證日期為當前時間或之後 為null有效
@Past Date、Calendar、Instant、LocalDate、LocalDateTime、LocalTime、MonthDay、OffsetDateTime、OffsetTime、Year、YearMonth、ZonedDateTime、HijrahDate、JapaneseDate、MinguoDate、ThaiBuddhistDate 驗證日期為當前時間之前 為null有效
@PastOrPresent Date、Calendar、Instant、LocalDate、LocalDateTime、LocalTime、MonthDay、OffsetDateTime、OffsetTime、Year、YearMonth、ZonedDateTime、HijrahDate、JapaneseDate、MinguoDate、ThaiBuddhistDate 驗證日期為當前時間或之前 為null有效

數值檢查

註解支援Java型別說明備註
@Max BigDecimal、BigInteger,byte、short、int、long以及包裝類 小於或等於 為null有效
@Min BigDecimal、BigInteger,byte、short、int、long以及包裝類 大於或等於 為null有效
@DecimalMax BigDecimal、BigInteger、CharSequence,byte、short、int、long以及包裝類 小於或等於 為null有效
@DecimalMin BigDecimal、BigInteger、CharSequence,byte、short、int、long以及包裝類 大於或等於 為null有效
@Negative BigDecimal、BigInteger,byte、short、int、long、float、double以及包裝類 負數 為null有效,0無效
@NegativeOrZero BigDecimal、BigInteger,byte、short、int、long、float、double以及包裝類 負數或零 為null有效
@Positive BigDecimal、BigInteger,byte、short、int、long、float、double以及包裝類 正數 為null有效,0無效
@PositiveOrZero BigDecimal、BigInteger,byte、short、int、long、float、double以及包裝類 正數或零 為null有效
@Digits(integer = 3, fraction = 2) BigDecimal、BigInteger、CharSequence,byte、short、int、long以及包裝類 整數位數和小數位數上限 為null有效

其他

註解支援Java型別說明備註
@Pattern CharSequence 匹配指定的正則表示式 為null有效
@Email CharSequence 郵箱地址 為null有效,預設正則 '.*'
@Size CharSequence、Collection、Map、Array 大小範圍(length/size>0) 為null有效

hibernate-validator擴充套件約束(部分)

註解支援Java型別說明
@Length String 字串長度範圍
@Range 數值型別和String 指定範圍
@URL URL地址驗證

自定義約束註解

除了以上提供的約束註解(大部分情況都是能夠滿足的),我們還可以根據自己的需求自定義自己的約束註解

定義自定義約束,有三個步驟

  • 建立約束註解
  • 實現一個驗證器
  • 定義預設的錯誤資訊

那麼下面就直接來定義一個簡單的驗證手機號碼的註解

@Documented
@Target({METHOD, FIELD, ANNOTATION_TYPE, CONSTRUCTOR, PARAMETER, TYPE_USE})
@Constraint(validatedBy = {MobileValidator.class})
@Retention(RUNTIME)
@Repeatable(Mobile.List.class)
public @interface Mobile {

    /**
     * 錯誤提示資訊,可以寫死,也可以填寫國際化的key
     */
    String message() default "手機號碼不正確";

    Class<?>[] groups() default {};
    
    Class<? extends Payload>[] payload() default {};

    String regexp() default "^1([38][0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|9[89])\\d{8}$";

    @Target({METHOD, FIELD, ANNOTATION_TYPE, CONSTRUCTOR, PARAMETER, TYPE_USE})
    @Retention(RUNTIME)
    @Documented
    @interface List {
        Mobile[] value();
    }
}

關於註解的配置這裡不說了,自定義約束需要下面3個屬性

  • message 錯誤提示資訊,可以寫死,也可以填寫國際化的key
  • groups 分組資訊,允許指定此約束所屬的驗證組(下面會說到分組約束)
  • payload 有效負載,可以通過payload來標記一些需要特殊處理的操作

@Repeatable註解和List定義可以讓該註解在同一個位置重複多次,通常是不同的配置(比如不同的分組和訊息)

@Constraint(validatedBy = {MobileValidator.class})該註解是指明我們的自定義約束的驗證器,那下面就看一下驗證器的寫法,需要實現javax.validation.ConstraintValidator介面

public class MobileValidator implements ConstraintValidator<Mobile, String> {

    /**
     * 手機驗證規則
     */
    private Pattern pattern;

    @Override
    public void initialize(Mobile mobile) {
        pattern = Pattern.compile(mobile.regexp());
    }

    @Override
    public boolean isValid(String value, ConstraintValidatorContext context) {
        if (value == null) {
            return true;
        }

        return pattern.matcher(value).matches();
    }
}

ConstraintValidator介面定義了在實現中設定的兩個型別引數。第一個指定要驗證的註解類(如Mobile),第二個指定驗證器可以處理的元素型別(如String);initialize()方法可以訪問約束註解的屬性值;isValid()方法用於驗證,返回true表示驗證通過

Bean驗證規範建議將空值視為有效。如果null不是元素的有效值,則應使用@NotNull 顯式註釋

到這裡我們自定義的約束就寫好了,可以用個例子來測試一下

public class MobileTest {

    public void setMobile(@Mobile String mobile){
        // to do
    }

    private static ExecutableValidator executableValidator;

    @BeforeAll
    public static void setUpValidator() {
        ValidatorFactory factory = Validation.buildDefaultValidatorFactory();
        executableValidator = factory.getValidator().forExecutables();
    }

    @Test
    public void manufacturerIsNull() throws NoSuchMethodException {
        MobileTest mobileTest = new MobileTest();

        Method method = MobileTest.class.getMethod("setMobile", String.class);
        Object[] parameterValues = {"1111111"};
        Set<ConstraintViolation<MobileTest>> violations = executableValidator.validateParameters(
                mobileTest, method, parameterValues);

        violations.forEach(violation -> System.out.println(violation.getMessage()));
    }
}

手機號碼不正確

分組約束

在上面的自定義約束中,有個groups屬性是用來指定驗證約束的分組,我們在為屬性加上註解的時候,如果沒有配置分組資訊,那麼預設會採用預設分組 javax.validation.groups.Default

分組是用介面定義的,用做標識,這裡建立兩個標識AddGroupUpdateGroup,分別標識新增和修改

public interface AddGroup {
}

public interface UpdateGroup {
}

然後對我們的User物件的id屬性做分組標識

@Data
@NoArgsConstructor
@AllArgsConstructor
public class User {

    @Null(groups = AddGroup.class)
    @NotBlank(groups = UpdateGroup.class)
    private String id;
    
    // ... 省略了其他屬性
}    

我們看下如何使用

@Test
public void validatorGroupTest() {
    User user = new User();

    // 檢查給定類的單個屬性是否可以成功驗證
    Set<ConstraintViolation<User>> constraintViolations = validator.validateValue(User.class, "id", "", UpdateGroup.class);
    Set<ConstraintViolation<User>> constraintViolations2 = validator.validateValue(User.class, "id", "");
    Set<ConstraintViolation<User>> constraintViolations3 = validator.validateValue(User.class, "id", "", AddGroup.class);

    constraintViolations.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
    constraintViolations2.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
    constraintViolations3.forEach(constraintViolation -> System.out.println(constraintViolation.getMessage()));
}

上面的測試只有加了UpdateGroug分組才會驗證,返回錯誤資訊,而下面的constraintViolations2並不會去驗證,因為預設會採用Default分組。如果想要不標記分組的時候,也會去驗證Default分組,可以去繼承預設分組

public interface AddGroup extends Default {
}

在Spring中使用Hibernate Validator

上面介紹了Validator的一些使用,還有註解的介紹,那麼在Spring中我們怎麼去使用Hibernate Validator做驗證呢?或者說再Web專案中怎麼使用Hibernate Validator?

spring-boot-starter-web中是添加了hibernate-validator依賴的,說明Spring Boot本身也是使用到了Hibernate Validator驗證框架的

配置Validator

@Configuration
public class ValidatorConfig {

    /**
     * 配置驗證器
     *
     * @return validator
     */
    @Bean
    public Validator validator() {
        ValidatorFactory validatorFactory = Validation.byProvider(HibernateValidator.class)
                .configure()
                // 快速失敗模式
                .failFast(true)
                // .addProperty( "hibernate.validator.fail_fast", "true" )
                .buildValidatorFactory();
        return validatorFactory.getValidator();
    }
}

可以通過方法 failFast(true)addProperty("hibernate.validator.fail_fast", "true")設定為快速失敗模式,快速失敗模式在校驗過程中,當遇到第一個不滿足條件的引數時就立即返回,不再繼續後面引數的校驗。否則會一次性校驗所有引數,並返回所有不符合要求的錯誤資訊

如果是Spring MVC的話,需要xml配置可參考下面的配置

<mvc:annotation-driven validator="validator"/>

<!-- validator基本配置 -->
<bean id="validator" class="org.springframework.validation.beanvalidation.LocalValidatorFactoryBean">
    <property name="providerClass" value="org.hibernate.validator.HibernateValidator"/>
    <!-- 對映資原始檔 -->
    <property name="validationMessageSource" ref="messageSource"/>
</bean>

<bean id="messageSource" class="org.springframework.context.support.ReloadableResourceBundleMessageSource" name="messageSource">
    <!--<property name="basenames">
                <list>
                    <value>classpath:messages/messages</value>
                    <value>classpath:messages/ValidationMessages</value>
                </list>
            </property>-->
    <property name="useCodeAsDefaultMessage" value="false" />
    <property name="defaultEncoding" value="UTF-8" />
    <property name="cacheSeconds" value="60" />
</bean>

請求引數bean驗證

介面上的Bean驗證,需要在引數前加上@Valid或Spring的 @Validated註解,這兩種註釋都會導致應用標準Bean驗證。如果驗證不通過會丟擲BindException異常,並變成400(BAD_REQUEST)響應;或者可以通過ErrorsBindingResult引數在控制器內本地處理驗證錯誤。另外,如果引數前有@RequestBody註解,驗證錯誤會丟擲MethodArgumentNotValidException異常。

@RestController
public class UserController {

    @PostMapping("/user")
    public R handle(@Valid @RequestBody User user, BindingResult result) {
        // 在控制器內本地處理驗證錯誤
        if (result.hasErrors()) {
            result.getAllErrors().forEach(s -> System.out.println(s.getDefaultMessage()));
             return R.fail(result.getAllErrors().get(0).getDefaultMessage());
        }
        // ...
        return R.success();
    }

    @PostMapping("/user2")
    public R handle2(@Valid User user, BindingResult result) {
        // 在控制器內本地處理驗證錯誤
        if (result.hasErrors()) {
            result.getAllErrors().forEach(s -> System.out.println(s.getDefaultMessage()));
             return R.fail(result.getAllErrors().get(0).getDefaultMessage());
        }
        // ...
        return R.success();
    }

    /**
     * 驗證不通過丟擲 `MethodArgumentNotValidException`
     */
    @PostMapping("/user3")
    public R handle3(@Valid @RequestBody User user) {
        // ...
        return R.success();
    }

    /**
     * 驗證不通過丟擲 `BindException`
     */
    @PostMapping("/user4")
    public R handle4(@Valid User user) {
        // ...
        return R.success();
    }
}

配合Spring的BindingResult引數,我們是可以在控制器中去處理驗證錯誤,不過通常也是把驗證錯誤的訊息轉成我們自己的返回格式,那麼在每個方法中都去做這樣的驗證錯誤處理,顯然是沒有必要的。我們可以利用驗證不通過的異常來做統一的錯誤處理

@Slf4j
@RestControllerAdvice
public class GlobalExceptionHandler {

    /**
     * hibernate validator 資料繫結驗證異常攔截
     *
     * @param e 繫結驗證異常
     * @return 錯誤返回訊息
     */
    @ResponseStatus(HttpStatus.BAD_REQUEST)
    @ExceptionHandler(BindException.class)
    public R validateErrorHandler(BindException e) {
        ObjectError error = e.getAllErrors().get(0);
        log.info("資料驗證異常:{}", error.getDefaultMessage());
        return R.fail(error.getDefaultMessage());
    }

    /**
     * hibernate validator 資料繫結驗證異常攔截
     *
     * @param e 繫結驗證異常
     * @return 錯誤返回訊息
     */
    @ResponseStatus(HttpStatus.BAD_REQUEST)
    @ExceptionHandler(MethodArgumentNotValidException.class)
    public R validateErrorHandler(MethodArgumentNotValidException e) {
        ObjectError error = e.getBindingResult().getAllErrors().get(0);
        log.info("資料驗證異常:{}", error.getDefaultMessage());
        return R.fail(error.getDefaultMessage());
    }
}  

方法引數驗證

配置

Hibernate Validator是可以在方法級驗證引數的,Spring中當然也是有實現的。

我們在Validator的配置中,新增MethodValidationPostProcessorBean,在上面的ValidatorConfig.java中新增一下配置

/**
 * 設定方法引數驗證器
 */
@Bean
public MethodValidationPostProcessor methodValidationPostProcessor() {
    MethodValidationPostProcessor postProcessor = new MethodValidationPostProcessor();
    // 設定validator模式為快速失敗返回
    postProcessor.setValidator(validator());
    return postProcessor;
}

如果是Spring Mvc,那麼要在spring-mvc.xml中宣告bean資訊,不然在Controller裡面是無效的

<!-- 設定方法引數驗證器 -->
<bean id="methodValidationPostProcessor" class="org.springframework.validation.beanvalidation.MethodValidationPostProcessor">
    <property name="validator" ref="validator"/>
</bean>

使用

配置了上面的MethodValidationPostProcessor,我們就可以在方法引數或返回值使用約束註解了,要注意的是,在要使用引數驗證的類上一定要加上@Validated註解,否則無效

/**
 * 一定要加上 `@Validated` 註解
 */
@Validated
@RestController
public class UserController {

    @GetMapping("/user")
    public R handle(@Mobile String mobile) {
        // ...
        return R.success();
    }
}

如果驗證不通過,會丟擲ConstraintViolationException異常,同樣的,我們可以在全域性的異常處理器裡面處理驗證錯誤,在GlobalExceptionHandler中新增一下程式碼

/**
 * spring validator 方法引數驗證異常攔截
 *
 * @param e 繫結驗證異常
 * @return 錯誤返回訊息
 */
@ResponseStatus(HttpStatus.BAD_REQUEST)
@ExceptionHandler(ConstraintViolationException.class)
public R defaultErrorHandler(ConstraintViolationException e) {
    Set<ConstraintViolation<?>> violations = e.getConstraintViolations();
    ConstraintViolation<?> violation = violations.iterator().next();
    log.info("資料驗證異常:{}", violation.getMessage());
    return R.fail(violation.getMessage());
}

分組

Spring的@Validate註解是可以支援分組驗證的








@PostMapping("/user")
public R handle(@Validated(AddGroup.class) @RequestBody User user) {
    // ...
    return R.success();
}
 
Hibernate Validator



作者:TurboSnail
連結:https://www.jianshu.com/p/3267689ebf1b
來源:簡書
著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。