Новости и обновления AWS с открытым исходным кодом, #117

17 июня 2022 – Выпуск #117

Добро пожаловать, как постоянные, так и новые читатели, в выпуск #117 рассылки новостей AWS с открытым исходным кодом.

На этой неделе я немного отстал от графика, поскольку на этой неделе я выступал на нескольких мероприятиях. Было приятно вернуться на сцену, поговорить и пообщаться с реальными людьми. Кажется, что все быстро возвращается на круги своя. Итак, на этой неделе у нас есть для вас несколько новых замечательных проектов. Начнем с “cdklightbox”, который поможет вам визуализировать ваши стеки AWS CDK (я уже попробовал его, и это уже помогло мне обнаружить кое-что в одном из моих стеков, что выглядело неправильно). У нас есть “glue-data-sanitization”, который является удобным инструментом, помогающим вам обеззараживать данные при перемещении их между средами. “automated-security-helper” – это инструмент, который поможет вам быстро проверить вашу установку на соответствие некоторым быстрым проверкам безопасности, используя некоторые хорошие инструменты безопасности с открытым исходным кодом, и я вижу, что этот инструмент быстро станет популярным среди пользователей. У нас есть еще много проектов и демонстраций, охватывающих потоковую передачу данных, создание схем, совместимых с AppSync, из таблиц PostgreSQL, инструменты S3 для работы с большими размерами файлов и многое другое.

Также на этой неделе представлены материалы по Apache Cassandra, PostgreSQL, Bottlerocket, Apache APISIX, PostGraphile, OpenSearch, Apache Iceberg, Kubernetes, Yocto Project, Flutter и многим другим. У нас есть несколько видеороликов с участием Karpenter и OpenSearch, так что не пропустите их, и, конечно же, мы завершаем наше выступление мероприятиями.

Как всегда, если у вас есть что-то, что вы хотите включить в этот еженедельный обзор, пожалуйста, напишите мне или ответьте на это сообщение.

Празднование вклада разработчиков открытого исходного кода

Статьи и проекты, представленные в этом бюллетене, стали возможны только благодаря многочисленным участникам проекта с открытым исходным кодом. Я хотел бы поблагодарить тех людей, которые действительно поддерживают открытый исходный код и дают нам возможность учиться и строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Микаэль Весавуори, Брис Пелле, Люк Харви, Марсио да Рос Гомес, Себастьян Госсик, Сакти Мишра, Даниэль Дубровкин, Сараванан Джи, Йоханнес Кох, Карло Менкарелли, Брайан Каффи, Хуан Ламадрид, Роб Соломон, Нирмал Мехта, Брет Фишер, Шарлотта Хенкл, Шон Нойман и Юбо Ванг.

Последние проекты с открытым исходным кодом

Самое замечательное в проектах с открытым исходным кодом – это то, что вы можете ознакомиться с исходным кодом. Если вам нравится внешний вид этих проектов, обязательно посмотрите код, и если он вам полезен, свяжитесь с сопровождающим, чтобы оставить отзывы, предложения или даже внести свой вклад.

Инструменты

cdklightbox

cdklightbox – этот проект от Open Construct Foundation представляет собой The CDK Lightbox, инструмент для визуализации ваших CDK-приложений. Я скачал его по ссылке на релизы и быстро опробовал на одном из своих стеков. Было приятно видеть, как мое приложение CDK представлено в таком виде. Я мог изменять уровень отображения конструкций, увеличивать/уменьшать масштаб и перемещать объекты.

glue-data-sanitization

glue-data-sanitization-from-production-s3-bucket-to-lower-environment-s3-bucket-apg-example – победитель этой недели за самое длинное название репозитория GitHub. Это хранилище содержит код, который вы можете использовать для создания решений, выполняющих санацию данных (удаление PII и регламентированного содержимого) в рамках перемещения данных из производственной среды в непроизводственную (например, в среду разработки/тестирования).

amazon-aggregation-query-proxy

amazon-aggregation-query-proxy это репозиторий представляет собой масштабируемое вспомогательное приложение, которое находится между клиентским приложением и Amazon Keyspaces/DynamoDB. Оно позволяет выполнять ограниченные агрегационные запросы к сервисам Amazon Keyspaces и DynamoDB. Агрегация-запрос-прокси (AQP) состоит из масштабируемого прокси-слоя, который находится между вашим приложением и Amazon Keyspaces/DynamoDB. Он предоставляет промежуточную логику агрегации, которая позволяет существующим приложениям выполнять агрегационные запросы к Amazon DynamoDB/Keyspaces. Этот проект преобразует предоставленный агрегированный запрос (SQL-92) в простой запрос (CQL/DDBPartiQL). После получения простого ответа (json) AQP использует IonEngine для агрегации простого ответа в конечный набор результатов в формате json.

check-aws-resources-for-org-conditions

check-aws-resources-for-org-conditions Этот репозиторий предоставляет автоматизацию для проверки ссылок на организационные ресурсы в политиках для некоторых или всех учетных записей в организации AWS. В частности, инструмент ищет aws:PrincipalOrgID и PrincipalOrgPaths. Это используется при анализе зависимостей при миграции учетных записей AWS из одной организации AWS в другую.

automated-security-helper

automated-security-helper этот инструмент помощника безопасности был создан, чтобы помочь вам снизить вероятность нарушения безопасности в новом коде, инфраструктуре или конфигурации IAM, предоставляя быстрый и простой инструмент для проведения предварительной проверки безопасности как можно раньше в процессе разработки. Он не заменяет ни человеческую проверку, ни стандарты, и использует легкие инструменты с открытым исходным кодом для сохранения гибкости и возможности запуска из любого места. Действительно, очень хороший инструмент.

Демонстрации, образцы, решения и семинары

appsync-with-postgraphile-rds

appsync-with-postgraphile-rds это репо предоставляет решение на базе CDK, которое позволяет создать AWS AppSync API из определенной базы данных Postgres в AWS RDS. Это решение использует PostGraphile для автоматической генерации схемы, совместимой с AppSync, из таблиц PostgreSQL, и использует функции Lambda для выполнения GraphQL-запросов к базе данных PostgreSQL в Amazon RDS. Чтобы помочь вам начать, ознакомьтесь с записью в блоге “Создание бессерверных GraphQL API из баз данных RDS с помощью AWS AppSync и PostGraphile” от Бриса Пелле. Очень классный пост.

example-aws-stream-data-to-events

example-aws-stream-data-to-events это репо от Mikael Vesavuori содержит полную, рабочую архитектуру на AWS, которая будет принимать потоковые данные, хранить их в S3 и DynamoDB, а затем выпускать события с их содержимым. Вы можете легко развернуть ее благодаря Terraform, и это то, что будет построено в рамках проекта:

aws-cdk-support-s3-large-deployments

aws-cdk-support-s3-large-deployments этот проект демонстрирует, как загрузить большой файл в S3 Bucket с помощью CDK, используя встроенные в CDK Assets Bucket и Custom Resource. Активы – это локальные файлы, каталоги или образы Docker, которые могут быть включены в библиотеки и приложения AWS CDK; например, каталог, содержащий код обработчика для функции AWS Lambda. Активы могут представлять собой любой артефакт, который необходим приложению для работы. Вы можете определить локальные файлы и каталоги как активы, а AWS CDK упакует и загрузит их в Amazon S3 с помощью модуля aws-s3-assets. Все хорошо задокументировано и легко сопровождается, и все это на языке Python, что, конечно же, меня очень порадовало.

multi-cluster-allocation-demo-for-agones-on-eks

Этот проект использует Terraform для развертывания многокластерной конфигурации Agones (многопользовательский выделенный игровой сервер с открытым исходным кодом и батарейным питанием) на Amazon EKS, одного кластера маршрутизации и двух кластеров DGS, с включенной функцией многокластерного распределения.

Сообщения в блогах AWS и сообщества

Apache APISIX

Apache APISIX – это динамический высокопроизводительный API-шлюз с открытым исходным кодом, работающий в режиме реального времени. Мой коллега Юбо Ванг подготовил замечательную статью “Установка и тестирование производительности API-шлюза Apache APISIX на AWS Graviton3”, в которой он рассказывает, как можно развернуть этот проект с помощью типов экземпляров AWS Graviton3, а затем рассматривает некоторые характеристики производительности. Я не хочу портить концовку, поэтому обязательно ознакомьтесь с этим постом, который обязательно нужно прочитать на этой неделе.

OpenSearch

Хотите узнать, каково это – работать над проектом с открытым исходным кодом в Amazon? Разработчик открытого кода Даниэль Дубровкин (Daniel Doubrovkine) написал в своем блоге статью “Год работы над OpenSearch”, в которой он честно и откровенно рассказывает о работе над проектом OpenSearch за последний год. Думаю, стоит прочитать.

Django

Брайан Каффи (Brian Caffey) подготовил обширную статью “Создание специальных сред разработки для приложений Django с помощью AWS ECS, Terraform и GitHub Actions, используя методологию 12Factor application”, чтобы показать вам, как вы можете объединить сервисы AWS и открытый исходный код для развертывания образца приложения микроблогов, использующего фреймворк Python Django. Адаптируемый к вашему собственному случаю использования, это хорошее глубокое погружение. [hands on]

Apache Iceberg

Apache Iceberg – это открытый формат таблиц, изначально разработанный в Netflix. Он разработан для поддержки ACID-транзакций и UPSERT в озерах данных петабайтного масштаба и становится все более популярным благодаря гибкому синтаксису SQL для MERGE на основе CDC, полной эволюции схемы и скрытым функциям разбиения. В посте Реализация CDC-based UPSERT в озере данных с помощью Apache Iceberg и AWS Glue Сакти Мишра проводит вас через решение для реализации CDC-based UPSERT или MERGE в озере данных S3 с помощью Apache Iceberg и AWS Glue. [практическое занятие]

Kubernetes

В статье Быстрый путь к единой регистрации в Amazon EKS с помощью AWS SSO Хуан Ламадрид и Роб Соломон делятся с вами быстрой и прямой процедурой внедрения единой регистрации для доступа к ресурсам Kubernetes, запущенным на кластерах Amazon Elastic Kubernetes Service (Amazon EKS). Затем вы можете использовать этот SSO в сочетании с ролевым управлением доступом Kubernetes (RBAC) через интерфейс командной строки AWS (CLI) или инструменты Kubernetes CLI. [практическое занятие]

Проект Yocto

В 2021 году Arm, AWS и другие члены-учредители объявили о создании специальной группы по интересам Scalable Open Architecture for Embedded Edge (SOAFEE), которая объединяет автопроизводителей, лидеров полупроводниковых и облачных технологий для определения новой архитектуры на основе открытых стандартов для реализации самых низких уровней программно-определяемого стека автомобиля. В заметке “Создание образа автомобильного встроенного Linux для Edge и Cloud с использованием Arm-based Graviton Instances, Yocto Project и SOAFEE” Люк Харви, Марсио да Рос Гомес и Себастьян Госсик представляют строительный блок для новой концепции разработки автомобильного ПО, которая помогает разработчикам создавать, тестировать и отлаживать изначально скомпилированное ПО с помощью облака.

Следуя этому посту, вы создадите пользовательский дистрибутив Linux с помощью Yocto Project, проекта с открытым исходным кодом, который помогает разработчикам создавать пользовательские системы на базе Linux независимо от аппаратного обеспечения. Он используется во многих проектах для встраиваемых систем, включая инициативу Automotive Grade Linux, которая является частью Linux Foundation, а также эталонную реализацию SOAFEE. Очень интересный пост, обязательно загляните сюда. [hands on].

Другие заметки за прошедшую неделю, которые могут вам понравиться

• Amazon Aurora Резервное копирование PostgreSQL и методы долгосрочного хранения данных Рассматриваются основные инструменты, ориентированные на резервное копирование, хранение резервных копий и восстановление, а также обсуждаются некоторые лучшие практики, связанные с применением этих инструментов [hands on].
• Оптимизация производительности федеративных запросов с помощью EXPLAIN и EXPLAIN ANALYZE в Amazon Athena демонстрирует, как использовать и интерпретировать утверждения EXPLAIN и EXPLAIN ANALYZE для повышения производительности запросов Athena при запросах к нескольким источникам данных.
• Как централизованно управлять устройствами AWS IoT Greengrass с помощью AWS Systems Manager показывает, как можно упростить и централизовать управление устройствами AWS IoT Greengrass [практическое занятие].
• Резюме текста с помощью Amazon SageMaker и Hugging Face показывает, как реализовать одну из самых загружаемых предварительно обученных моделей Hugging Face, используемых для резюмирования текста, DistilBART-CNN-12-6, в блокноте Jupyter с помощью Amazon SageMaker и инструментария SageMaker Hugging Face Inference Toolkit [практическое занятие].
• Создание, обучение и развертывание миллиардно-параметрической языковой модели на терабайтах данных с помощью TensorFlow и Amazon SageMaker охватывает два основных подхода – распараллеливание данных и распараллеливание моделей – к решению задачи обучения крупномасштабных моделей [практическое занятие].

AWS Community Builder и подборки для героев

Вот несколько постов от AWS Hero и AWS Community Builders, на которые стоит обратить внимание.

• Начало работы с IaC на базе Python с использованием AWS CDK (Saravanan G) – если вы разработчик на Python и хотите начать понимать и использовать AWS CDK, этот пост для вас.

• Создание приложения Flutter для Web, iOS и Android с использованием конвейера CI/CD на CodeBuild (Йоханнес Кох) – часть серии постов, в которых вы создадите приложение Flutter для Web, Android и iOS Apps (альфа-версии, которые могут быть загружены сбоку) и используете AWS CDK, чтобы помочь вам.

• Cloud Init Linux – преимущества, причуды и недостатки (Карло Менкарелли) – если вы используете Linux-инстансы на AWS, ознакомьтесь с этим глубоким погружением и узнайте больше о Cloud Init.

Быстрые обновления

Bottlerocket

В Bottlerocket добавлен вариант, поддерживающий типы экземпляров Amazon EC2 на базе NVIDIA GPU на Amazon Elastic Container Services (Amazon ECS). Bottlerocket – это операционная система на базе Linux, созданная специально для выполнения контейнерных рабочих нагрузок. Теперь клиенты могут воспользоваться преимуществами использования одной и той же операционной системы, ориентированной на работу с контейнерами, для рабочих нагрузок без GPU и с GPU при использовании ECS, включая машинное обучение, кодирование видео и потоковые рабочие нагрузки. Это помогает клиентам стандартизировать единую операционную систему, использующую базовое специализированное вычислительное оборудование.

В марте был выпущен еще один вариант Bottlerocket для Amazon Elastic Kubernetes Service (Amazon EKS), поддерживающий рабочие нагрузки с ускорением NVIDIA GPU. С появлением варианта Bottlerocket ECS клиенты теперь могут использовать Bottlerocket с NVIDIA GPU в двух популярных сервисах оркестровки, Amazon EKS и ECS. Новый AMI Bottlerocket включает необходимые программные компоненты для запуска ускоренных контейнерных рабочих нагрузок, встроенные в базовый образ, при использовании ECS в качестве службы оркестровки контейнеров. Такая конфигурация обеспечивает безопасную, бесшовную установку необходимых драйверов NVIDIA и их обновлений, улучшает время до состояния готовности узла и снижает зависимость от внешних инструментов и репозиториев.

Прочитать больше и получить практические навыки можно в посте от Maish Saidel-Keesing, Announcing NVIDIA GPU support for Bottlerocket on Amazon ECS

Apache Cassandra

Amazon Keyspaces (для Apache Cassandra), масштабируемая, высокодоступная и полностью управляемая служба баз данных, совместимая с Apache Cassandra, теперь помогает отслеживать расходы на хранение данных на уровне таблиц с помощью Amazon CloudWatch. Теперь вы можете использовать метрику BillableTableSizeInBytes CloudWatch для мониторинга и отслеживания затрат на хранение таблиц с течением времени. Метрика BillableTableSizeInBytes позволяет определить оплачиваемый размер хранения таблицы путем суммирования закодированных размеров всех строк в таблице.

PostgreSQL

Несколько обновлений на этой неделе.

Во-первых, Amazon Aurora PostgreSQL-Compatible Edition теперь поддерживает модуль Large Objects (LO). Модуль LO обеспечивает поддержку управления большими объектами (также называемыми LOs или BLOBs).

Далее следует новость о том, что Amazon Aurora PostgreSQL-совместимая версия теперь поддерживает обновление с нулевым временем простоя (ZDP). С помощью ZDP клиенты могут обновить PostgreSQL до новой версии и применить исправления к кластеру Aurora без простоев. ZDP сохраняет клиентские соединения во время перезапуска механизма базы данных. Эта функция позволяет чаще обновлять кластеры до новых минорных версий PostgreSQL, сохраняя непрерывность бизнеса. ZDP включается на всех кластерах Aurora с поддерживаемыми версиями баз данных во всех регионах, когда вы обновляете младшие версии баз данных или применяете исправления. Пожалуйста, ознакомьтесь с документацией Aurora для получения более подробной информации.

Наконец, мы объявили об обновлении базы данных PostgreSQL сообществом разработчиков с открытым исходным кодом. Мы обновили Amazon Aurora PostgreSQL-Compatible Edition для поддержки PostgreSQL 13.7, 12.11, 11.16 и 10.21. Эти выпуски содержат исправления ошибок и улучшения, внесенные сообществом PostgreSQL. Обратитесь к политике версий Aurora, чтобы решить, как часто обновляться и как планировать процесс обновления.

Этот выпуск также содержит обновления расширений pglogical и wal2json. pglogical – это расширение PostgreSQL с открытым исходным кодом, которое помогает клиентам реплицировать данные между независимыми базами данных PostgreSQL, сохраняя при этом постоянный доступ на чтение и запись и сочетание частных и общих данных в каждой базе данных. Amazon Aurora pglogical использует логическую репликацию для копирования изменений данных между независимыми базами данных PostgreSQL, по желанию разрешая конфликты на основе стандартных алгоритмов. Клиенты могут включить pglogical из своих экземпляров PostgreSQL и платить только за необходимые дополнительные кластеры и межрегиональный трафик, без предварительных затрат и покупки программного обеспечения. Полностью интегрированная, pglogical не требует триггеров или внешних программ. Эта альтернатива физической репликации представляет собой высокоэффективный метод репликации данных с использованием модели публикации/подписки для выборочной репликации.

wal2json – это плагин вывода для логического декодирования. Логическое декодирование – это процесс извлечения всех постоянных изменений в таблицах базы данных в последовательный, простой для понимания формат, который может быть интерпретирован без детального знания внутреннего состояния базы данных. Клиенты могут использовать расширение для экспорта вывода журнала записи-дополнения (WAL) PostgreSQL в объекты JSON.

Видео недели

OpenSearch

Проект OpenSearch – это управляемый сообществом поисковый и аналитический пакет с открытым исходным кодом. Он состоит из поискового демона OpenSearch и интерфейса визуализации и пользователя OpenSearch Dashboards. OpenSearch позволяет людям получать, защищать, искать, агрегировать, просматривать и анализировать данные. Наша цель – создавать отличное программное обеспечение вместе с сильным и энергичным сообществом. В этом выступлении Шон Нойманн и Шарлотта Хенкле расскажут о том, что уже было запущено, что будет сделано в будущем, а также о трудностях управления проектом с открытым исходным кодом и в то же время связанным с крупной корпорацией.

Karpenter

Нирмал Мехта, главный специалист по архитектуре решений в AWS и капитан Docker, присоединяется к Брету Фишеру, чтобы обсудить и продемонстрировать Karpenter. Karpenter – это решение для автомасштабирования, которое призвано упростить инфраструктуру Kubernetes путем автоматизации масштабирования узлов вверх и вниз, с “нужными узлами в нужное время”.

Открытый исходный код в государственном секторе

Интересная сессия с AWS Summit DC, на которой рассматривалось, как решения с открытым исходным кодом и облако становятся факторами, способствующими трансформации и ускорению этого процесса. Использование проверенных решений с открытым исходным кодом сокращает длительные и дорогостоящие закупки, а облако обеспечивает быстрое развертывание. На этом заседании будут рассмотрены некоторые примеры успешного использования приложений с открытым исходным кодом, которые позволили ускорить цифровую трансформацию в государственном секторе.

На этой сессии будут приведены некоторые очень интересные данные. Государственные деньги, государственный код. Каковы ваши мысли?

События для вашего ежедневника

Наблюдаемость: Решения с открытым исходным кодом
28 июня, 10:00 – 14:15 PDT

Команда AWS Monitoring and Observability Team приглашает вас принять участие в практической сессии с использованием Amazon Managed Service for Prometheus, Amazon Managed Service for Grafana и AWS Distro for Open Telemetry. В ходе сессии вы будете использовать эти сервисы для создания рабочих пространств, получения/запроса метрик, логов и данных трассировки и просмотра их на созданной вами приборной панели. После обеда будет проведена демонстрация того, что вы сделали, и подчеркнута ценность MTTD, MTTI, MTTR и производительности приложения.

Это мероприятие предназначено для тех, кто хочет внедрить AWS Observability, используя службы с открытым исходным кодом для визуализации данных с помощью собственных или сторонних инструментов. Инженеры по надежности сайтов, инженеры по эксплуатации, системные инженеры и DevOps. Знакомство с концепциями мониторинга, такими как журналы, метрики, трассировки, сигналы тревоги и приборная панель, рекомендуется, но не обязательно.

Зарегистрируйтесь на этой странице.

BOSC 2022
13-14 июля, Мэдисон, Висконсин, США

Конференция по биоинформатике с открытым исходным кодом (BOSC) проводится ежегодно с 2000 года, и в этом году AWS гордится тем, что является платиновым спонсором этого мероприятия. BOSC охватывает все аспекты открытого программного обеспечения для биоинформатики и открытой науки, включая (но не ограничиваясь) такие темы, как открытая наука и воспроизводимые исследования, открытые биомедицинские данные, гражданская/партиципативная наука, стандарты и совместимость, рабочие процессы науки о данных, открытые подходы к трансляционной биоинформатике, инструменты и библиотеки для разработчиков, инклюзия, а также информационно-просветительская деятельность и обучение. Это гибридное мероприятие (очное/виртуальное), и вы можете узнать больше, посетив страницу мероприятия, BOSC 2022.

OpenSearch
Каждый второй вторник, 15:00 GMT

Эта регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как поиск, логирование, аналитика логов и визуализация данных.

Зарегистрироваться на следующую сессию, Встреча сообщества OpenSearch

OpenSearchCon 2022
21 сентября 2022 года в Сиэтле

Приходите на первый ежегодный OpenSearchCon!

Эта однодневная конференция будет наполнена докладчиками, которые создают и внедряют инновации с помощью OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода – это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и приехать в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Надеюсь, это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen.