Новости и обновления AWS с открытым исходным кодом, #121

22 июля 2022 — Выпуск #121

Добро пожаловать, как постоянным, так и новым читателям, в выпуск #121 рассылки новостей AWS с открытым исходным кодом.

Я очень рад новым проектам этой недели, включая ряд проектов, связанных с AWS CDK, поэтому если вы являетесь поклонником AWS CDK, то обязательно ознакомьтесь с ними. Мы представляем такие проекты, как «openrolesanywhere», концептуальный клиент для недавно выпущенного AWS IAM Roles Anywhere, «amazon-redshift-odbc-driver» ODBC драйвер с открытым исходным кодом для Amazon Redshift, «spot-interruption-simulation» очень удобный инструмент, который поможет вам тестировать и моделировать точечные прерывания для ваших рабочих нагрузок EC2, «magento-ecs-cdk» — быстрый способ развертывания масштабируемой среды Magento, «using-rekognition-to-detect-sounds» — очень интересный проект, который поможет вам услышать звуки из ваших фотографий (да, вы не ослышались! ), и многие другие проекты, с которыми стоит ознакомиться.

В нашем блоге есть статьи о OpenSearch, Spring Boot, Kotlin, Kubernetes, Cloudscape, Apache Kafka, Porting Assistant for .NET, Amazon Corretto, Amazon EMR, AWS Lambda Power Tools и многое другое. Среди тематических видеороликов этой недели — начало новой серии AWS BuildOn, которая представляет собой специальное мероприятие с открытым исходным кодом, а также другие мероприятия, которые вы можете посетить и зарезервировать свое место.

Обратная связь

В Amazon мы работаем, ориентируясь на мнение наших клиентов, и один из способов сделать это — сбор данных, которые помогают нам понять, что важно и на чем нам следует сосредоточиться. Пожалуйста, заполните этот простой анонимный опрос. Первые 25 человек получат кредитный код AWS на 25 долларов.

Отмечаем вкладчиков открытого кода

Статьи и проекты, представленные в этом бюллетене, стали возможны только благодаря многочисленным участникам проекта open source. Я хотел бы поблагодарить тех людей, которые действительно способствуют развитию open source и позволяют нам всем учиться и строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Кайлу Дэвису, Эйдену Стилу, Бобу Торделле, Рою Ра, Раджиту Полу, Франку Пашоту, Мэтью Тану, Филиппу Клозе, Тиму Андерсону, Дарко Месарошу и Жаки Гриндрод.

Последние проекты с открытым исходным кодом

Самое замечательное в проектах с открытым исходным кодом — это то, что вы можете ознакомиться с исходным кодом. Если вам нравится внешний вид этих проектов, обязательно посмотрите код, и если он вам полезен, свяжитесь с сопровождающим, чтобы оставить отзывы, предложения или даже внести свой вклад.

Инструменты

amazon-redshift-odbc-driver

amazon-redshift-odbc-driver Драйвер Amazon Redshift ODBC теперь имеет открытый исходный код и доступен для сообщества пользователей по лицензии Apache-2.0. Благодаря этому выпуску клиенты получат возможность ознакомиться с реализацией драйвера и внести свой вклад в его развитие. Пользователи могут просматривать код драйвера ODBC в соответствующем репозитории AWS GitHub, отправлять запросы на расширение функциональности драйвера через Github pull requests и сообщать о проблемах для рассмотрения.

Мы также вводим поддержку бинарного протокола для Amazon Redshift. При включенном бинарном протоколе данные из кластера Amazon Redshift отправляются в драйвер ODBC без преобразования в текстовый формат, а сохраняются в бинарном формате. Двоичный формат позволяет сократить объем данных, передаваемых по проводам, в среднем на 30%, что приводит к повышению производительности сквозных запросов для запросов, возвращающих большие наборы результатов. Например, внутренние тесты показали, что время выполнения сквозного запроса для запросов, возвращающих более 100 столбцов и более миллиона строк, ускорилось на 43%. Бинарный протокол включен по умолчанию для всех пользователей, использующих последнюю версию драйвера ODBC, а также последнюю версию драйверов JDBC & Python.

openrolesanywhere

openrolesanywhere Эйден Стил создал клиент с открытым исходным кодом для недавно выпущенного AWS IAM Roles Anywhere. Эйден подготовил эту запись в блоге, openrolesanywhere — клиент IAM Roles Anywhere, чтобы сопровождать этот проект, поэтому обязательно прочитайте ее, чтобы получить максимальную пользу от кода.

spot-interruption-simulation

spot-interruption-simulation этот репозиторий содержит образец, который обеспечивает сквозную автоматизацию моделирования прерывания EC2 Spot Interruption с тестированием доступности приложений во время прерывания Spot. Этот инструмент будет очень удобен для множества различных случаев использования, от понимания поведения ваших приложений и применимости типов экземпляров EC2 Spot до использования его вместе со службой Fault Injection Service (FIS) для тестирования различных сценариев отказоустойчивости.

cdk-backup-plan

cdk-backup-plan это репозиторий предоставляет простую в использовании многоразовую конструкцию CDK для создания планов резервного копирования с использованием резервных копий AWS. Он позволяет указать, как часто и какие ресурсы необходимо резервировать.

aws-cdk-lambda-layer-builder

aws-cdk-lambda-layer-builder Функции Amazon Lambda часто требуют дополнительных модулей, которые могут быть упакованы в Amazon Lambda Layer. Затем Layer присоединяется к Lambda, чтобы упакованный модуль можно было легко использовать в коде функции. AWS CDK не имеет простого, готового к производству решения для создания Lambda Layer. Это репозиторий представляет собой коллекцию конструкций AWS CDK для создания Python Lambda Layer с минимальными требованиями со стороны пользователя, например, на машине пользователя не должен быть доступен bash или zip cli.

cdk-testable-infrastructure

cdk-testable-infrastructure Надежное интеграционное тестирование дает разработчикам уверенность, необходимую для продвижения изменений из тестовой среды в производственную. Но как вы должны думать о реализации тестов для ваших приложений? В этом репозитории приведены некоторые примеры того, как можно добавить интеграционные тесты в код развертывания инфраструктуры, а также несколько (три) образцов для изучения и последующего размышления о том, что может подойти именно вам.

Демонстрации, образцы, решения и семинары

magento-ecs-cdk

magento-ecs-cdk Magento — это очень популярная платформа электронной коммерции с открытым исходным кодом, написанная на PHP. Этот репозиторий состоит из примера проекта, предоставляющего инфраструктуру в виде кода на основе AWS Cloud Development Kit (AWS CDK) для запуска программной платформы Magento для электронной коммерции с открытым исходным кодом. Приложение CDK развертывает высокодоступную и масштабируемую платформу Magento, используя Amazon Elastic Container Services (Amazon ECS) и несколько дополнительных сервисов AWS.

using-rekognition-to-detect-sounds

using-rekognition-to-detect-sounds это выглядит как очень интересный пример проекта. Этот проект демонстрирует использование Rekognition для обнаружения звуковых событий при использовании в сочетании со спектрографическим анализом. Проект состоит из двух основных аспектов: генерирование обучающих данных (спектрограмм) из аудиообразцов фонового шума и сигналов тревоги, а также конвейер вывода для использования модели для обнаружения наличия звука дымовой тревоги в аудиофайле.

aws-cdk-web-app-example

aws-cdk-web-app-example Это пример создания отказоустойчивого веб-приложения всего с 30 строками кода TypeScript с помощью AWS CDK. Оно состоит из одного виртуального частного облака Amazon Virtual Private Cloud (VPC) с частными и публичными подсетями в нескольких зонах доступности, в котором развернуты балансировщик нагрузки приложений и группа автоматического масштабирования Amazon EC2. Балансировщик нагрузки приложений принимает запросы через HTTP (порт 80) и направляет их на экземпляры группы автомасштабирования. Группа автомасштабирования использует конфигурацию запуска, которая содержит сценарий User Data для установки HTTP-сервера Apache и обслуживания статической HTML-страницы.

amazon-athena-execution-parameters-blog

amazon-athena-execution-parameters-blog Это репозиторий содержит все необходимое для развертывания примера веб-приложения для демонстрации новой возможности передачи параметров выполнения в Amazon Athena StartQueryExecution API. Этот пример приложения использует ряд сервисов AWS для демонстрации архитектуры Data-as-a-Service (DaaS), которая использует Amazon Athena для запроса набора данных отзывов клиентов Amazon.com.

Сообщения в блогах AWS и сообщества

Cloudscape

На этой неделе было приятно увидеть запуск Cloudscape, новой системы проектирования React с открытым исходным кодом для веб-приложений, выпущенной под лицензией Apache 2.0. Тим Андерсон написал об этом в своем посте AWS open sources Cloudscape Design System.

Из официального новостного сообщения, Анонсируя Cloudscape Design System, решение с открытым исходным кодом для создания интуитивно понятных веб-приложений

Cloudscape Design System — это решение с открытым исходным кодом для создания интуитивно понятного, увлекательного и инклюзивного пользовательского опыта в масштабе. Cloudscape состоит из обширного набора рекомендаций по созданию веб-приложений, а также ресурсов для проектирования и front-end компонентов для упрощения реализации.
Cloudscape был создан для продуктов и сервисов AWS и используется ими. Мы создали его в 2016 году, чтобы улучшить пользовательский опыт работы с веб-приложениями AWS, а также помочь командам быстрее внедрять эти приложения. С тех пор мы продолжаем совершенствовать систему на основе отзывов клиентов и исследований. Если вы когда-либо пользовались консолью управления AWS Management Console, вы видели Cloudscape в действии.

Мы выпускаем Cloudscape с открытым исходным кодом, чтобы все, кто создает облачные продукты, могли воспользоваться преимуществами нашей системы проектирования, а также присоединиться к сообществу дизайнеров и разработчиков, которые постоянно ее совершенствуют. Если вы создаете продукт, расширяющий консоль управления AWS, разрабатываете пользовательский интерфейс для системы управления гибридным облаком или устанавливаете локальное решение, использующее AWS, Cloudscape предлагает прочную базу из 60+ компонентов, 30+ руководств по шаблонам и 20+ демонстраций, которые облегчат вашу работу. Для настройки пользовательского опыта Cloudscape предлагает режимы тематизации, темного режима и плотности контента.

Перейдите на сайт документации, чтобы узнать больше о возможностях, о том, как использовать Cloudscape и начать строить с его помощью, а также ознакомиться с некоторым демонстрационным кодом, который поможет вам начать работу. На этом сайте документации есть действительно много интересного, так что не пропустите его.

OpenSearch

Кайл Дэвис, старший представитель разработчиков Bottlerocket и Amazon Linux, подготовил эту запись в блоге «Использование Fluent Bit и OpenSearch с Bottlerocket и журналами Kubelet». Ранее Кайл выполнял ту же роль для OpenSearch, поэтому он смог объединить свои глубокие знания в обеих областях, чтобы показать вам, как запустить OpenSearch с оператором OpenSearch на Kubernetes с помощью Bottlerocket, а затем добавить Fluent Bit для сбора логов с узлов того же кластера Kubernetes.

Apache Kafka

В посте «Создание бессерверного издателя Apache Kafka с помощью AWS Lambda» Филипп Клозе делится общим шаблоном интеграции между AWS Lambda и Apache Kafka, а затем рассказывает о том, как его создать с помощью Apache Managed Streaming for Apache Kafka (MSK), используя AWS CDK для простого развертывания, чтобы вы могли попробовать это самостоятельно. [hands on]

Amazon EMR

EMR на EKS облегчает выполнение заданий Spark на Kubernetes для достижения очень быстрых и экономически эффективных операций Spark.
Претендент на звание самого длинного блога этой недели — потоковая передача логов Amazon EMR on EKS сторонним провайдерам, таким как Splunk, Amazon OpenSearch Service или другим агрегаторам логов Мэтью Тан рассказывает о решении с использованием шаблонов стручков и Fluent Bit, которое поможет вам регистрировать все эти операции в одном жизненном цикле заданий Spark. [практическое занятие].

Другие сообщения за прошедшую неделю, которые могут вам понравиться

• Как (и зачем) создавать доброжелательное сообщество разработчиков открытого кода Моя коллега Либби дает несколько хороших советов тем, кто стремится создать сообщества вокруг своих проектов с открытым исходным кодом.
• Как NRCan использовал решение с открытым исходным кодом AWS для завершения пакета доказательств PBMM за 60 дней — это отличное тематическое исследование (на английском и французском языках), в котором рассматривается, как открытый исходный код способствует повышению гибкости и скорости предоставления новых решений
• Куда указывает компас? Отличная заметка из блога OpenSearch, которая показывает, как они используют подход, основанный на данных (на базе OpenSearch), для управления обратной связью и понимания того, какую документацию следует создавать.

AWS Community Builder and Heroes picks

Сообщество AWS Community Builder и Heroes создает много отличного контента на dev.to/heroes и dev.to/builders. Вот подборка сообщений, которые мне понравились на этой неделе.

• Откуда берутся эти IP-адреса CloudTrail? Боб Торделла показывает, как можно использовать Steampipe с плагинами AWS и ipstack для обогащения событий CloudTrail информацией о местоположении [практическая часть].
• Использование DynamoDB в Spring Boot (feat.Kotlin) Рой Ра показывает, как использовать Amazon DynamoDB в приложении Spring Boot, созданном на Kotlin [практическое занятие].
• Развертывание приложения на Kubernetes (Amazon EKS) с помощью AWS Serverless (Codebuild) Раджит Пол рассматривает, как можно использовать AWS CodeBuild для развертывания окружения Kubernetes, то, с чем я сам играю (ожидайте блог в ближайшее время).
• IoT бенчмарк на распределенном SQL от MaibornWolff на Amazon EKS Франк Пашот делится своим опытом развертывания бенчмарка распределенного SQL от MaibornWolff на Amazon EKS

Быстрые обновления

AWS Lambda Powertools для TypeScript

На прошлой неделе стала общедоступной AWS Lambda Powertools for TypeScript, библиотека для разработчиков с открытым исходным кодом, которая поможет вам внедрить лучшие практики Well-Architected Serverless в код функций Lambda как можно раньше и быстрее. В этом выпуске Lambda Powertools for TypeScript фокусируется на трех функциях наблюдаемости: распределенной трассировке (Tracer), структурированном протоколировании (Logger) и асинхронных метриках бизнеса и приложений (Metrics). Разработчики могут использовать Lambda Powertools for TypeScript для внедрения этих практик за считанные секунды.

Amazon Corretto

На этой неделе мы объявили о выпуске ежеквартальных обновлений безопасности и критических обновлений для Amazon Corretto Long-Term Supported (LTS) версий OpenJDK. Corretto 18.0.2, 17.0.4, 11.0.16, 8u342 теперь доступны для загрузки. Amazon Corretto — это бесплатный, многоплатформенный, готовый к производству дистрибутив OpenJDK. Ознакомьтесь с ежеквартальными обновлениями Amazon Corretto за июль 2022 года для получения дополнительной информации и ссылок на полный список обновлений.

Помощник портирования для .NET

Porting Assistant for .NET — это инструмент анализа с открытым исходным кодом, который сокращает ручные усилия и догадки, связанные с переносом приложений .NET Framework на .NET Core 3.1, .NET 5 или .NET 6, помогая клиентам быстрее перейти на Linux. Он выявляет несовместимости, генерирует отчет об оценке с известными предложениями по замене и помогает в переносе.

Porting Assistant for .NET теперь поддерживает оценку и перенос устаревших приложений .NET Framework, написанных на языке VB.NET. В этом выпуске Porting Assistant переводит библиотеки классов VB.NET, веб-интерфейсы API и консольные приложения на .NET Core 3.1, .NET 5 или .NET 6, чтобы упростить модернизацию устаревших приложений .NET Framework, написанных на VB.NET. Разработчики могут использовать автономный инструмент Porting Assistant for .NET или расширение Porting Assistant for .NET Visual Studio IDE для модернизации своих устаревших приложений VB.NET. Поддержка VB.NET добавлена в дополнение к существующей поддержке оценки и переноса приложений .NET Framework на базе C#.

Amazon EMR

На прошлой неделе была анонсирована пара новых функций, которые помогают усилить контроль доступа в Amazon EMR на кластерах EC2 (EMR Clusters). Эти функции поддерживаются заданиями, которые отправляются на кластер с помощью EMR Steps API. Во-первых, это роль времени выполнения (Runtime Role) с EMR Steps. Runtime Role — это роль AWS Identity and Access Management (IAM), которую вы связываете с EMR Step. EMR Step использует эту роль для доступа к ресурсам AWS. Второе — интеграция с AWS Lake Formation для применения контроля доступа на уровне таблиц и столбцов для заданий Apache Spark и Apache Hive с EMR Steps.

Ранее все задания, выполняемые на кластере EMR, использовали для доступа к ресурсам роль IAM, связанную с EC2-экземплярами кластера EMR. Эта роль называется EMR EC2 Instance Profile. Например, если задание Spark и задание Hive, выполняемые на одном кластере, должны иметь доступ к разным ведрам S3, то профиль экземпляра должен разрешить доступ к обоим ведрам. С помощью Runtime Role for EMR Steps вы указываете разные роли IAM для заданий Spark и Hive, тем самым ограничивая доступ на уровне заданий. Это позволяет упростить контроль доступа на одном кластере EMR, который используется несколькими арендаторами, при этом каждый арендатор изолирован с помощью ролей IAM.

Кроме того, вы можете использовать AWS Lake Formation для применения разрешений на уровне таблиц и столбцов к заданиям Apache Spark и Apache Hive, представленным как EMR Steps. AWS Lake Formation — это полностью управляемый сервис, который упрощает создание, безопасность и управление озерами данных. AWS Lake Formation позволяет вам применять тонкий контроль доступа к данным, хранящимся в озерах данных, с помощью простого механизма предоставления и отзыва доступа, подобно реляционной системе управления базами данных (RDBMS). Благодаря этой функции разрешения на уровне таблиц и столбцов, определенные в AWS Lake Formation для IAM-роли, легко применяются к заданиям Apache Hive и Apache Spark, представленным как EMR Steps. Это позволяет еще больше упростить контроль доступа и предоставить каждому заданию доступ к определенным базам данных, таблицам и столбцам.

Видео недели

OpenSearch

Посетите новый канал OpenSearch на You Tube, где вы найдете все необходимые материалы по OpenSearch.

BuildOn AWS Open Source

Если вы пропустили первый выпуск новой серии AWS BuildOn AWS, мои хорошие друзья Дарко и Жаки проведут вас по нескольким интересным проектам с открытым исходным кодом, а также поговорят обо всем, что связано с открытым исходным кодом, с Дэвидом Нэлли, который возглавляет стратегию и маркетинг открытого исходного кода в AWS.

События для вашего ежедневника

OpenSearch
Каждый второй вторник, 15:00 GMT

Эта регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как: поиск, логирование, аналитика логов и визуализация данных.

Регистрация на следующую сессию, Встреча сообщества OpenSearch

Введение в Amazon Managed Workflows для Apache Airflow
28 июля, 8:00 — 1:15 вечера по тихоокеанскому времени

Управляемые рабочие процессы для Apache Airflow (MWAA) — это управляемый сервис от AWS, который позволяет очень легко начать работу с одним из моих любимых (и самых горячих) проектов с открытым исходным кодом, Apache Airflow. Если вы хотите приступить к работе и узнать больше о MWAA, то записывайтесь на День погружения в решения: Введение в Amazon Managed Workflows for Apache Airflow (это бесплатно).

Рабочие узлы «точно в срок» с Karpenter
5 августа, 14:00 МСК

Karpenter помогает повысить доступность приложений и эффективность кластера за счет быстрого запуска вычислительных ресурсов нужного размера в ответ на изменение нагрузки приложения. На этом вебинаре с моим коллегой Рохини Гоанкар вы получите обзор Karpenter и его возможностей, увидите демонстрацию того, как Karpenter упрощает инфраструктуру Kubernetes, предоставляя нужные узлы в нужное время, а также будут показаны практические примеры использования Karpenter.

Узнайте больше и зарегистрируйтесь по этой ссылке, Высокопроизводительный кластерный автоскалер Kubernetes с открытым исходным кодом.

Архитектура и реализация цифровых платежей с использованием баз данных AWS с открытым исходным кодом
18 августа

Посмотрите вебинар о том, как использовать базы данных с открытым исходным кодом для создания решения для цифровых платежей. Вы можете посмотреть его в прямом эфире на YouTube здесь

OpenSearchCon 2022
21 сентября 2022 года в Сиэтле

Приходите на первый ежегодный OpenSearchCon!

Эта однодневная конференция будет наполнена докладчиками, которые создают и внедряют инновации в OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода — это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и отправиться в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Надеюсь, это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen.