Вопрос: В каких случаях стоит использовать AWS Glue, а в каких AWS Data Pipeline?

AWS Glue предлагает управляемый ETL‑сервис, работающий в бессерверной среде Apache Spark. Это позволяет сосредоточиться на разработке ETL‑заданий и избавиться от необходимости конфигурирования и управления базовыми вычислительными ресурсами. Сервис AWS Glue использует подход, заключающийся в первостепенной значимости данных, и позволяет сосредоточиться на свойствах данных и операциях их преобразования с целью извлечения важной бизнес‑информации. Он предлагает интегрированный каталог данных, благодаря которому метаданные становятся доступны для ETL‑операций, а также выполнения запросов сервисами

Сервис AWS Data Pipeline предлагает управляемый сервис оркестрации, обеспечивающий повышенную гибкость в вопросах среды исполнения, а также доступа и контроля над вычислительными ресурсами, исполняющими код, а также самим кодом, отвечающим за обработку данных. AWS Data Pipeline запускает вычислительные ресурсы в аккаунте пользователя, обеспечивая прямой доступ к инстансам Amazon EC2 или кластерам

Более того, ETL‑задания AWS Glue работают на базе Scala или Python. Если требуется использовать программное ядро, отличное от Apache Spark, или если вы хотите исполнять разноплановый набор заданий, работающих на различных платформах, например Hive, Pig, и т. п., в таких случаях следует использовать сервис AWS Data Pipeline.