EMR
Amazon EMR — это сервис, позволяющий предприятиям, исследователям, аналитикам данных и разработчикам легко и экономически эффективно обрабатывать огромные объемы данных.
▪ EMR использует размещенную платформу Hadoop, работающую на экземплярах Amazon EC2.
▪ Управляемая платформа Hadoop для обработки огромных объемов данных.
▪ Также поддерживает Apache Spark, HBase, Presto и Flink.
▪ Чаще всего используется для анализа журналов, финансового анализа или извлечения, перевода и загрузки данных (ETL).
▪ Кластер — это набор экземпляров EC2, предоставляемых EMR для выполнения ваших Шагов, а Шаг — это программная задача для выполнения некоторого процесса над данными.
GLUE
AWS Glue — это полностью управляемый сервис извлечения, преобразования и загрузки данных (ETL) с оплатой по факту, который автоматизирует трудоемкие этапы подготовки данных для аналитики.
▪ Используется для организации, очистки, проверки и форматирования данных для
хранения в хранилище данных/озеро данных
▪ Просто укажите AWS Glue на ваши данные, хранящиеся на AWS, и AWS Glue обнаружит данные и сохранит связанные с ними метаданные в AWS Glue Data Catalog.
Простая служба уведомлений (SNS)
▪ Долговечная, безопасная служба обмена сообщениями pub/sub (Publisher — Subscriber).
▪ Публичная служба — Простая служба уведомлений (SNS)
▪ Координирует отправку и доставку сообщений
▪ Сообщения имеют полезную нагрузку <= 256 Кб
▪ Темы SNS являются базовой сущностью SNS
▪ Издатель посылает сообщение в тему
▪ Темы имеют подписчиков, которые получают сообщения
▪ Egs. Подписчиками могут быть электронная почта, очереди SQS, мобильные push-уведомления, лямбда и т.д.
Простая служба очередей (SQS)
▪ Amazon Simple Queue Service (Amazon SQS) — это веб-служба, которая предоставляет доступ к очередям сообщений.
служба, предоставляющая доступ к очередям сообщений, которые
хранят сообщения, ожидающие обработки.
▪ Это публичная служба — полностью управляемая.
Простая очередь
Service (SQS)
▪ SQS используется для распределенных/разделенных приложений
▪ Сообщения размером до 256 кб — если у вас есть большое сообщение, вы можете хранить его в S3 и дать ссылку на сообщение в очередь.
▪ Опрос — это процесс проверки и извлечения сообщений из очереди для сообщений
SQS
▪ В SQS используется технология pull based (опрос), а не push based.
▪ Сообщения могут храниться в очереди от 1 минуты до 14 дней.
(по умолчанию — 4 дня)
▪ Тайм-аут видимости — это время, в течение которого сообщение остается
невидимым в очереди после того, как читатель забирает сообщение.
▪ Если задание обрабатывается в течение тайм-аута видимости, сообщение SQS будет удалено.
▪ Если задание не было обработано в течение тайм-аута видимости, сообщение снова станет видимым.
▪ Очередь мертвых букв может использоваться для проблемных сообщений. Например, если сообщение остается необработанным после доставки в течение определенного
определенное количество раз, оно может быть перемещено в очередь «мертвых писем» для
для выполнения другого набора операций.
Типы очередей SQS
▪ Очереди могут быть стандартными или по принципу «первый пришел — первый ушел
(FIFO).
▪ Стандартные очереди гарантируют как минимум однократную доставку.
▪ Поскольку стандартные очереди разработаны для массового масштабирования с использованием высокораспределенной архитектуры, получение сообщений в точном порядке, в котором они были отправлены.
сообщений в точном порядке их отправки не гарантируется.
▪ Очереди FIFO (first-in-first-out) сохраняют точный порядок отправки и получения сообщений.
Очереди FIFO обеспечивают точную обработку сообщений, что означает, что каждое сообщение доставляется один раз и остается доступным до тех пор, пока потребитель не обработает и не удалит его.
▪ FIFO, 3000 сообщений в секунду с пакетной обработкой или до
300 сообщений в секунду без пакетной обработки.
Опрос в SQS
▪ Биллинг в SQS основан на запросах
▪ 2 типа опроса,
▪ Короткий опрос (немедленный)
▪ Длительный опрос (waitTimeSeconds) — до 20 секунд.
Рекомендуется
▪ Шифрование сообщений в состоянии покоя с помощью KMS
▪ Использование политик IAM для предоставления доступа к сообщениям.
▪ Amazon MQ, Amazon SQS и Amazon SNS — это службы обмена сообщениями, которые подходят для всех — от стартапов до предприятий.
Если вы используете обмен сообщениями в существующих приложениях и хотите быстро и легко перенести обмен сообщениями в облако, мы рекомендуем вам рассмотреть Amazon MQ.
рекомендуем вам рассмотреть Amazon MQ. Он поддерживает стандартные отраслевые API и протоколы, поэтому вы можете перейти с любого основанного на стандартах брокера сообщений на Amazon MQ без
переписывания кода обмена сообщениями в ваших приложениях. Если вы
создаете совершенно новые приложения в облаке, мы рекомендуем вам рассмотреть Amazon SQS и Amazon SNS. Amazon SQS и SNS — это легкие, полностью управляемые службы очередей сообщений и тем, которые масштабируются практически бесконечно и предоставляют простые и удобные в использовании API. Вы можете использовать Amazon SQS и SNS для разделения и масштабирования микросервисов, распределенных систем и бессерверных приложений.
приложений, а также для повышения надежности.
API-шлюз
