Новости и обновления AWS с открытым исходным кодом, #124


Август, 12th, 2022 — Выпуск #124

Добро пожаловать

Добро пожаловать в выпуск #124 информационного бюллетеня AWS open source. Это особенный выпуск, поскольку он станет первым выпуском, который мы рассмотрим в новом двухнедельном шоу Build on AWS Open Source на twitch.tv/aws. Я надеюсь, что некоторые из вас смогли присутствовать, но если нет, то вот ссылка на запись. Чтобы быть в курсе будущих эпизодов, обязательно следите за @buildonopen. Следующий выпуск состоится 9 сентября, так что до встречи. Это также будет последняя рассылка на ближайшие две недели, так как я буду в отпуске, заряжаться энергией и отдыхать.

Чтобы отпраздновать тот факт, что мы находимся в праздничном сезоне, на этой неделе у нас есть еще одна богатая подборка проектов, чтобы вы могли попрактиковаться в четырех свободах с открытым исходным кодом. Во-первых, у нас есть «matano», платформа с открытым исходным кодом для озер безопасности AWS, «granted-approvals», которая предоставляет действительно хороший способ реализации контроля и самообслуживания для доступа к вашим облачным сервисам, «pike» — инструмент, который поможет вам оценить IAM разрешения, необходимые при создании инфраструктуры как кода, «AFT-SSO-account-configuration», который позволяет вам использовать Terraform для определения доступа SSO Group и SSO User, «aws-aurora-rds-postgresql-excel-generator» — изящный инструмент, позволяющий экспортировать таблицы Excel непосредственно из PostgreSQL, «amazon-codewhisperer-workshop» — новый семинар для тех, кто имеет предварительный доступ к Amazon Codewhisperer, «aws-eksd-eksa-hybrid» — очень интересный проект, который поможет вам начать работу с гибридным кластером Kubernetes, и многие другие проекты.

У нас есть записи в блогах и статьи, посвященные Open Cybersecurity Schema Framework, Cello, AWS IoT Greengrass v2, PostgreSQL, Driftctl, Steampipe, Terraform, Grafana, Apache Spark, Deep Graph Library, Smithy, OpenSearch и многим другим. Обязательно посмотрите видеозаписи этой недели, которые включают ряд видеозаписей с Container Day в начале года, в том числе несколько хороших сессий по Karpenter, cdk8s и EKS Anywhere. Наконец, у нас есть раздел «События», в котором представлены мероприятия, на которые вам необходимо обратить внимание.

Open Cybersecurity Schema Framework

Open Cybersecurity Schema Framework, или OCSF, был анонсирован на этой неделе и является проектом с открытым исходным кодом, предоставляющим расширяемую структуру для разработки схем, а также основную схему безопасности, не зависящую от поставщика. AWS совместно с рядом других организаций работает над этой инициативой, цель которой — помочь компаниям более эффективно реагировать на кибератаки. Как это делается? Идея заключается в том, чтобы помочь организациям более эффективно реагировать на кибератаки путем упрощения и стандартизации управления данными.

Более подробную информацию об этом Марк Райланд приводит в своей статье AWS co-announces release of the Open Cybersecurity Schema Framework (OCSF) project

Отмечая вкладчиков открытого исходного кода

Статьи и проекты, представленные в этом бюллетене, стали возможны только благодаря многочисленным участникам проекта open source. Я хотел бы поблагодарить тех людей, которые действительно способствуют развитию открытого кода и дают нам возможность учиться и строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Кевин Стич, Бретт Уивер, Джером Купц, Сай Веннам, Рам Веннам, Джастин Гаррисон, Иршад Бухх, Пааван Мистри, Джеймс Вулфенден, Питер Бенгтсон, Ли Тикетт, Филипп Гарбе, Боб Торделла, Джон Уделл, Джамал Ариф и Франческо Берсани.

Последние проекты с открытым исходным кодом

Самое замечательное в проектах с открытым исходным кодом — это то, что вы можете ознакомиться с исходным кодом. Если вам нравится внешний вид этих проектов, обязательно посмотрите код, и если он вам полезен, свяжитесь с сопровождающим, чтобы оставить отзывы, предложения или даже внести свой вклад.

Инструменты

matano

matano — это платформа озера безопасности с открытым исходным кодом для AWS. Она позволяет получать петабайты данных безопасности и журналов из различных источников, хранить и запрашивать их в открытом озере данных Apache Iceberg, а также создавать обнаружения на Python в виде кода для оповещения в реальном времени. Matano является полностью бессерверным решением, разработанным специально для AWS и ориентированным на обеспечение высокого масштаба, низких затрат и нулевых операций. Matano полностью развертывается в вашей учетной записи AWS. Выглядит очень интересно и находится в моем списке дел.

granted-approvals

granted-approvals — это фреймворк управления привилегированным доступом с открытым исходным кодом, который позволяет легко запрашивать роли и выглядит очень красиво. Используя этот проект, вы можете настроить членов вашей команды так, чтобы они могли запрашивать повышенные разрешения к вашей облачной среде и SaaS-сервисам. Это еще один проект в моем списке дел!

pike

pike — это инструмент от Джеймса Вулфендена для определения разрешений или политики, необходимых для кода IAC. Как Джеймс указывает в README, он находится в процессе разработки, поэтому ознакомьтесь с его дорожной картой и идеями, и он открыт для вопросов/PR.

AFT-SSO-account-configuration

AFT-SSO-account-configuration — этот проект от Питера Бенгтсона позволяет вам использовать AFT (Account Factory for Terraform) для декларативного определения доступа SSO Group и SSO User к учетной записи. Действительно, очень здорово.

autopkg-recipes

autopkg-recipes это репозиторий содержит официальные рецепты для продуктов AWS для сообщества AutoPkg. AutoPkg — это фреймворк автоматизации для упаковки и распространения программного обеспечения macOS, ориентированный на задачи, которые обычно выполняются вручную для подготовки программного обеспечения сторонних разработчиков к массовому развертыванию на управляемых клиентах. Чтобы добавить этот репозиторий к вашей настройке AutoPkg, выполните команду:

autopkg repo-add aws/autopkg-recipes.

aws-aurora-rds-postgresql-excel-generator

aws-aurora-rds-postgresql-excel-generator этот проект содержит пакет PL/PGSQL для создания рабочих книг EXCEL. Этот пакет позволяет разработчикам экспортировать данные из базы данных RDS или Aurora PostgreSQL в файлы Excel с помощью простых функций и процедур PL/PGSQL.

Демонстрации, образцы, решения и семинары

amazon-codewhisperer-workshop

amazon-codewhisperer-workshop Если вам удалось попасть на предварительный просмотр Amazon Codewhisperer, то почему бы не попробовать этот практический семинар, демонстрирующий, как использовать Amazon CodeWhisperer для создания полноценных бессерверных приложений на AWS.

aws-eksd-eksa-hybrid

aws-eksd-eksa-hybrid Этот проект поможет вам узнать, как построить и автоматизировать создание сред разработки и прототипов для гибридной доставки программного обеспечения с использованием AWS CDK для автоматизации инициализации сред EKS Distro и EKS Anywhere для целей разработки, обеспечивая бесшовный опыт при создании и стандартизации сред Kubernetes и развертывании приложений поверх EKS. Он был разработан для изучения способов и лучших практик абстрагирования проблем и сложностей развертывания гибридной инфраструктуры разработки EKS, ориентированной на команды DevOps, обеспечивая повторяемость разработки и тестирования рабочих нагрузок, которые могут быть легко интегрированы в существующие конвейеры CI/CD с помощью простого и последовательного метода, по мере необходимости.

multi-cluster-gitops

multi-cluster-gitops Это репозиторий содержит реализацию многокластерной системы GitOps, которая предназначена для команд разработчиков приложений, а также для команд разработчиков платформ. Здесь показано, как расширить GitOps, чтобы охватить развертывание и управление ресурсами облачной инфраструктуры (например, Amazon RDS, Amazon DynamoDB и Amazon SQS), в дополнение к развертыванию и управлению собственными ресурсами Kubernetes. Здесь также показано, как использовать GitOps для выполнения действий по управлению кластерами (например, инициализация и загрузка нового кластера, обновление существующего кластера, удаление кластера и т.д.).

aws-codepipeline-terraform-cicd-samples

aws-codepipeline-terraform-cicd-samples Это репозиторий предоставляет руководство и готовые к использованию конфигурации terraform для настройки конвейеров валидации со сквозными тестами на основе AWS CodePipeline, AWS CodeBuild и AWS CodeCommit. Подробный пример и документация, охватывающая все необходимые параметры конфигурации.

aws-cdk-java-codepipeline-codeartifact-sample

aws-cdk-java-codepipeline-codeartifact-sample В этом репозитории показано, как создать конвейер, который будет автоматически публиковать новые версии пакетов Java в частный репозиторий AWS CodeArtifact с помощью AWS CodePipeline. Все ресурсы в этом проекте предоставлены как IaC с AWS CDK in Java, что упрощает процесс запуска.

aws-cdk-python-codepipeline-codeartifact-sample

aws-cdk-python-codepipeline-codeartifact-sample Как и предыдущий проект, это репозиторий показывает, как создать конвейер, который будет автоматически публиковать новые версии пакетов Python в частный репозиторий AWS CodeArtifact с помощью AWS CodePipeline. Все ресурсы в этом проекте предоставлены в качестве IaC с AWS CDK в Python, что упрощает работу.

az-fail-away

az-fail-away Этот проект предоставляет бессерверную инфраструктуру для массового обновления зон доступности групп автомасштабирования.

Заметки в блогах AWS и сообщества

Smithy

Smithy — это язык определения интерфейса (IDL) с открытым исходным кодом, не зависящий от протокола, и набор инструментов для создания клиентов, серверов, документации и других артефактов. Smithy — это язык моделирования API нового поколения для Amazon, основанный на нашем опыте создания десятков тысяч сервисов и SDK. В заметке Introducing Smithy IDL 2.0 Кевин Стич рассказывает о новом релизе, который направлен на улучшение опыта разработчиков в создании моделей Smithy и использовании кода, сгенерированного на основе моделей Smithy. Обязательное чтение для этого супер-крутого проекта.

Steampipe

Постоянные читатели знают об этом проекте, Steampipe, инструменте с открытым исходным кодом для универсальных запросов к облачным API и рассуждений о данных на SQL. В продолжении статьи «Приборные панели как код: Новый подход к визуализации API AWS, Боб Торделла и Джон Уделл совместно показывают, как Steampipe может помочь вам применить инфраструктуру как код для управления вашими приборными панелями. [hands on]

Apache Spark

В статье Шаблоны проектирования для управления рабочими нагрузками Amazon EMR on EKS для Apache Spark Джамал Ариф делится четырьмя шаблонами проектирования для управления рабочими нагрузками EMR on EKS для Apache Spark. Управление заданиями Spark по шаблону pod, включение динамического распределения ресурсов (DRA) в Spark, полный контроль автомасштабирования кластера с помощью Cluster Autoscaler и автомасштабирование без групп с помощью Karpenter. Более подробно о каждом из них читайте в статье. Отличный пост. [hands on]

Kubernetes

Несколько постов на этой неделе. Первый из них — «Сине-зеленое развертывание приложений SAP Commerce на Amazon EKS» от Франческо Берсани, в котором рассматриваются общие проблемы, с которыми сталкиваются клиенты при развертывании SAP Commerce в локальных сетях. Он дает конкретный способ достижения сине-зеленого развертывания на Amazon Elastic Kubernetes Service для более быстрого и безопасного внедрения приложений SAP Commerce.

Я изучаю Kubernetes для нескольких предстоящих новых выступлений и демонстраций, и в рамках этого процесса (я совершенно новичок в Kubernetes, но не новичок в контейнерах) одной из вещей, в которой мне пришлось разобраться, были различные роли IAM, разрешения, политики, которые мне нужны для того, чтобы убедиться, что я стараюсь следовать хорошей практике наименьших привилегий. Поэтому было приятно прочитать эту заметку от Валида Amazon EKS IAM роли и политики с Terraform, который составил контрольный список вещей, на которые вам следует обратить внимание.

AWS Amplify

Если вы хотите автоматизировать свои проекты AWS Amplify и используете GitLab, то вам стоит ознакомиться с этой статьей от Lee Tickett. В статье Deploy to AWS Amplify from GitLab CI/CD Self Managed он делится тем, как ему удалось обойти текущее ограничение — GitLab SaaS не поддерживается*, и заставить его работать. Отлично!

*обновление от Ли: «ограничение связано с тем, что GitLab Self-Managed не поддерживается (я считаю, что SaaS работает из коробки)».

AWS CDK

Герой AWS Container Hero Филипп Гарбе написал этот пост «Hey CDK, how do cross-account deployments work?», в котором подробно описывается, как работает AWS CDK с точки зрения разрешений, о чем нужно думать, чтобы минимизировать предоставляемые разрешения, а затем предлагает несколько вариантов для различных сценариев. Стоит прочитать.

Cello и AWS CDK

Бретт Уивер и Джером Купц из компании Intuit опубликовали статью «Выполнение корпоративных рабочих нагрузок в масштабе с помощью платформы нового поколения Infrastructure-as-Code», в которой рассказывается об использовании AWS CDK вместе с созданным ими инструментом с открытым исходным кодом под названием Cello, который помогает им оркестровать инфраструктуру как код (IaC) в масштабе, следуя принципам GitOps.

Другие сообщения за прошедшую неделю, которые могут вам понравиться

  • Анонс CDK for Terraform на AWS охватывает новость о том, что CDK for Terraform (CDKTF) стал общедоступным (GA).
  • Тонкий контроль доступа в Amazon Managed Grafana с помощью Grafana Teams демонстрирует, как Amazon Managed Grafana позволяет организовать пользователей, ресурсы и разрешения.

  • Снижение рисков безопасности от дрейфа IaC в многорегиональных развертываниях AWS с помощью Terraform представляет руководство [hands on], показывающее, как снизить риски безопасности от дрейфа IaC с помощью инструмента с открытым исходным кодом Driftctl
  • Построение решения для обнаружения мошенничества в реальном времени на основе GNN с помощью Amazon SageMaker, Amazon Neptune и Deep Graph Library показывает, как использовать Deep Graph Library (DGL), наряду с другими сервисами AWS, для построения сквозного решения для обнаружения мошенничества в реальном времени с помощью моделей GNN [практическое занятие].

Быстрые обновления

Kubernetes

Служба Amazon Elastic Kubernetes Service (Amazon EKS) объявила о поддержке Kubernetes 1.23. Amazon EKS и Amazon EKS Distro теперь могут работать с Kubernetes версии 1.23, а вскоре будет запущена поддержка в Amazon EKS Anywhere. Чтобы узнать больше об этом обновлении, а также о некоторых важных изменениях, ознакомьтесь с заметкой Amazon EKS теперь поддерживает Kubernetes 1.23.

OpenSearch

Проверьте версию 1.0.0 клиентов OpenSearch для .NET, доступных на nuget. Найдите их на странице opensearch.

AWS IoT Greengrass v2

AWS IoT Greengrass — это среда исполнения для Интернета вещей (IoT) и облачный сервис, который помогает клиентам создавать, развертывать и управлять программным обеспечением устройств. На прошлой неделе вышла версия 2.7 со следующими функциями: Улучшения системной телеметрии, улучшения локального развертывания и дополнительная поддержка клиентских сертификатов. Подробнее об этих новых функциях читайте в анонсе, AWS IoT Greengrass v2 обновляет Stream Manager, чтобы сообщать новые метрики телеметрии и многое другое.

PostgreSQL

Amazon Aurora Serverless v1 теперь поддерживает PostgreSQL основной версии 11. PostgreSQL 11 включает улучшения в разделении, параллелизм, а также такие улучшения производительности, как более быстрое добавление столбцов с ненулевым значением по умолчанию.

Aurora Serverless v1 также поддерживает обновление на месте с PostgreSQL 10 до 11. Вместо резервного копирования и восстановления базы данных до новой версии вы можете обновить ее всего несколькими щелчками мыши в консоли управления AWS Management Console или с помощью последней версии AWS SDK или CLI. В процессе обновления не создается новый кластер, что означает, что вы сохраняете те же конечные точки и другие характеристики кластера. Обновление завершается за несколько минут и может быть применено немедленно или во время окна обслуживания. Во время обновления кластер вашей базы данных будет недоступен.

Видео недели

EKS Anywhere

Сай Веннам приглашает своего брата Рама Веннама (solo.io) рассказать о многокластерном Kubernetes с Istio. В этом видео вы узнаете основы запуска Kubernetes в локальной, периферийной и публичной облачной инфраструктуре с помощью EKS Anywhere. Вместе с Istio мы открываем ряд облачных сценариев использования, таких как модернизация приложений, разрыв облака, суверенитет данных и многое другое.

cdk8s

В рамках AWS Container Days на Kubecon EU 2022 присоединяйтесь к команде Containers from the Couch, которая покажет вам, как можно управлять манифестами Kubernetes без YAML с помощью cdk8s, используя языки общего назначения для создания и управления ресурсами Kubernetes. Ознакомьтесь с проектом по адресу https://cdk8s.io.

Karpenter

Еще одна сессия AWS Container Days на Kubecon EU 2022, на этот раз они рассказывают о новинках Karpenter, автоскалера узлов с открытым исходным кодом для Kubernetes, который помогает быстрее масштабировать кластеры с помощью инициализации узлов с учетом рабочей нагрузки.

События для вашего ежедневника

OpenSearch
Каждый второй вторник, 15:00 GMT

Эта регулярная встреча для всех, кто интересуется OpenSearch & Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как: поиск, ведение журналов, аналитика журналов и визуализация данных.

Записывайтесь на следующую сессию, OpenSearch Community Meeting

Наука о данных на AWS
15 августа, 9 утра по тихоокеанскому времени

Присоединяйтесь к вашим ведущим Антье и Крису для двух докладов. Доклад #1: Обзор Ray, Ray AI Runtime на AWS с использованием Amazon SageMaker, EC2, EMR, EKS от Криса Фрегли, главного специалиста по архитектуре решений, AI и машинному обучению @ AWS. Доклад №2: «Глубокое погружение в чертежи для Amazon Elastic Kubernetes Service (EKS), включая Ray и Spark» от Апурвы Кулкарни, старшего специалиста по архитектуре решений, контейнеры и Kubernetes @ AWS.

Узнайте больше и зарегистрируйтесь по ссылке: Ray AI Runtime on AWS + Amazon EKS Blueprints for Ray, EMR, and Spark!

Архитектура и реализация цифровых платежей с использованием баз данных с открытым исходным кодом AWS
18 августа

Посетите вебинар о том, как использовать базы данных с открытым исходным кодом для создания решения для цифровых платежей. Вы можете посмотреть его в прямом эфире на YouTube здесь

Встреча сообщества Bottlerocket
24 августа 8:30 утра PDT

Приглашаем вас на встречу сообщества Bottlerocket, где мы обсудим новости проекта, поделимся советами, хитростями и техниками Bottlerocket, а также у вас будет возможность задать вопросы в открытом форуме.

Узнайте больше и забронируйте свое место здесь.

Введение в Amazon Managed Workflows для Apache Airflow
25 августа, 8:00-1:00 PDT

На этом семинаре вы научитесь строить и оркестровать конвейеры данных и ML, включающие многие из вышеперечисленных сервисов, а также познакомитесь с хуками и операторами, доступными в Airflow для управления вашими конвейерами/рабочими процессами на AWS. Мы начнем с введения в основы, если вы хотите ознакомиться с концепциями Airflow, прежде чем перейти к практическим модулям.

Присоединяйтесь к этому мероприятию и узнайте, как использовать Amazon MWAA, а также ключевые концепции.

  • Узнайте, как построить конвейер данных/ML, оркестрованный с помощью Airflow
  • Основы Apache Airflow в AWS
  • Получите практический опыт работы с архитектором решений AWS для изучения лучших практик.
  • Кому стоит посетить?

Если вы работаете с данными в любой форме и создаете конвейеры для преобразования/потребления данных, то этот семинар для вас! Уровень 200 и выше. Хотя вам не нужно быть экспертом, чтобы пройти этот семинар, будет полезно, если у вас есть базовое понимание сервисов AWS Analytics, а также некоторое знакомство с языками программирования SQL и Python. Мы рекомендуем некоторое знакомство с AWS Console, но это не обязательно. Мы рекомендуем использовать два монитора для наилучшего восприятия.

Чтобы зарегистрироваться и забронировать свое место, воспользуйтесь этой ссылкой.

OpenSearchCon 2022
21 сентября 2022 года в Сиэтле

Приходите на первый ежегодный OpenSearchCon!

На этой однодневной конференции выступят докладчики, которые создают и внедряют инновации с помощью OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода — это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и приехать в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Я надеюсь, что это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen

Оцените статью
devanswers.ru
Добавить комментарий