Вопрос. Чем отличаются сервисы Amazon Athena, Amazon EMR и Amazon Redshift? Сервисы запросов, подобные Amazon Athena, хранилища данных, такие как Amazon Redshift, и среды для комплексной обработки данных, аналогичные Amazon EMR, призваны решать различные задачи в разных примерах использования. Остается просто выбрать подходящий инструмент для работы. Amazon Redshift обеспечивает высочайшую скорость выполнения запросов для корпоративной отчетности и бизнес-аналитики, в том числе благодаря сложноорганизованным запросам SQL с многочисленными объединениями и подзапросами. Amazon EMR упрощает эксплуатацию и снижает ее стоимость для высокораспределенных сред обработки, таких как Hadoop, Spark и Presto, по сравнению с развертыванием в локальной среде. Amazon EMR отличается высокой гибкостью, позволяя выполнять пользовательские приложения и код, а также задавать особые параметры для вычислений, памяти, хранилища и приложений с целью оптимизации аналитических требований. Сервис Amazon Athena – это самый простой способ выполнения спонтанных запросов, обращенных к данным в хранилище S3. Он не требует настройки или управления серверами. Вопрос. Когда стоит использовать полнофункциональное корпоративное хранилище данных, подобное Amazon Redshift, а когда – сервис запросов, такой как Amazon Athena? Хранилище данных, такое как Amazon Redshift, идеально подходит в тех случаях, когда данные из множества различных источников – например, систем управления запасами, финансовых систем и систем розничной торговли – нужно привести к единому формату и хранить в течение долгого времени для создания комплексных бизнес-отчетов на основании сведений за прошлые периоды. Хранилища данных собирают данные по компании и выступают в качестве «единого источника достоверной информации» для составления отчетов и проведения анализа. Они извлекают данные из многочисленных источников, форматируют, упорядочивают и хранят их, а также поддерживают комплексные высокоскоростные запросы для формирования бизнес-отчетности. Движок запросов в сервисе Amazon Redshift специально оптимизирован для работы в рамках подобного примера использования, когда необходимо выполнять комплексные запросы, объединяющие множество очень крупных таблиц баз данных. TPC-DS – это стандартный инструмент сравнительного тестирования, предназначенный для воспроизведения подобного примера использования. Redshift способен выполнять такие запросы в 20 раз быстрее по сравнению с сервисами запросов, оптимизированными для работы с неструктурированными данными. В тех случаях, когда необходимо выполнить запросы к высокоструктурированным данным с большим количеством объединений в многочисленных очень крупных таблицах, следует использовать сервис Amazon Redshift. В свою очередь, сервисы запросов, подобные Amazon Athena, позволяют легко выполнять интерактивные запросы к данным непосредственно в Amazon S3. При этом не нужно беспокоиться о форматировании данных или управлении инфраструктурой. Например, сервис Athena отлично подойдет, если вам необходимо сделать быстрый запрос к журналам веб-сервера для устранения проблем, связанных с производительностью сайта. Сервисы запросов позволяют оперативно приступить к работе. Вам нужно просто задать таблицу для данных и начать работу с запросами с помощью стандартного языка SQL. Можно использовать сразу оба сервиса. Если перед загрузкой в Amazon Redshift вы размещаете данные в хранилище Amazon S3, то эти данные также смогут регистрироваться и запрашиваться сервисом Amazon Athena. Вопрос. В каких случаях рекомендуется использовать Amazon EMR вместо Amazon Athena? Возможности сервиса Amazon EMR гораздо шире, чем выполнение обычных SQL‑запросов. Он позволяет осуществлять широкий спектр операций по обработке масштабных данных в таких областях применения, как машинное обучение, анализ графов, преобразование и потоковая передача данных, а также решать практически любые задачи, связанные с написанием кода. Amazon EMR будет полезен, если вы применяете пользовательский код для обработки и анализа особо крупных наборов данных с помощью новейших сред обработки больших данных, таких как Spark, Hadoop, Presto или Hbase. Amazon EMR гарантирует полный контроль над конфигурированием кластеров, а также над установленным на них программным обеспечением. Amazon Athena стоит использовать в том случае, если вы хотите выполнять интерактивные спонтанные запросы SQL, обращенные к данным в хранилище Amazon S3, не управляя при этом инфраструктурой или кластерами. Вопрос. Можно ли использовать сервис Amazon Athena для запроса данных, которые обрабатываются в Amazon EMR? Да, Amazon Athena поддерживает множество тех же форматов данных, что и Amazon EMR. Каталог данных Athena совместим с метахранилищем Hive. Если вы используете сервис EMR и у вас уже есть метахранилище Hive, вы можете просто выполнить операторы DDL в Amazon Athena, а затем начать работу с запросами, обращенными к своим данным, – без какого-либо воздействия на задачи Amazon EMR.