Новости и обновления AWS с открытым исходным кодом, #114


Май 27th, 2022 — Выпуск #114

Добро пожаловать в информационный бюллетень AWS с открытым исходным кодом #114. На этой неделе новые проекты с открытым исходным кодом представлены различными проектами, связанными с сообществом, такими как «instance-scheduler» — инструмент для планирования ресурсов AWS, «libaws» — инструмент, помогающий упростить создание и удаление некоторых ресурсов AWS, «elasticspot» — хороший инструмент, помогающий переназначить эластичные IP, и «auto-close-aws-accounts», позволяющий закрывать аккаунты AWS, если вы используете AWS Organisations. У нас есть множество других проектов, таких как «amazon-ec2-spot-interrupter» — хороший инструмент, который предоставляет инструмент командной строки для запуска уведомлений о прерывании работы спота, и другие, которые помогают работать с AWS Glue, упрощают развертывание ноутбуков SageMaker и т.д.

Также в блоге представлены статьи, охватывающие такие темы, как Redis, DAMON, Magento, WireGuard, Amazon Linux 2, AWS Distro for OpenTelemetry, Grafana, Prometheus, Lustre, Open 3D Engine, cdk-nag, Flutter, AWS Amplify, Steampipe и OpenSearch. Тематические видео этой недели охватывают очень хорошее глубокое погружение в AWS Lambda Powertools и обзор Kuma. Не знаете, что такое Kuma? Тогда перейдите в раздел «Видео» и ознакомьтесь с ним.

Прежде чем погрузиться внутрь, ознакомьтесь с этим важным уведомлением о прекращении поддержки выпуска Node.js 12.x в AWS SDK.

Объявление о прекращении поддержки Node.js 12.x в AWS SDK для JavaScript (v3)

Начиная с 1 ноября 2022 года, AWS SDK For JavaScript (v3) больше не будет поддерживать Node.js 12.x, который был снят с производства 30 апреля 2022 года. Если вы используете Node, обязательно ознакомьтесь со статьей Объявление о прекращении поддержки Node.js 12.x в AWS SDK for JavaScript (v3) для получения более подробной информации.

Отмечая вкладчиков открытого исходного кода

Статьи, опубликованные в этой серии, стали возможны только благодаря участникам и сопровождающим проектов, поэтому я хотел бы поблагодарить тех людей, которые действительно стоят у истоков открытого кода и позволяют нам всем строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Ник Фиггинс, Боб Торделла, Аллен Сэмюэлс, Джо Траваглини, Джо Ху, Сон Джэ Парк, Абхишек Гупта, Кэт Морган, Алексей Волков, Арун Донти, Абдалла Шабан, Ашиш Нанда, Рааджеш Каннаа Чидамбарам, Марсия Виллальба, Сара Герион, Шарлотта Хенкл, Николас Найз, Джеймс Макинтайр, Мохаммад Куреши и Шон Чжэн.

Обязательно найдите этих разработчиков и следите за их проектами с открытым исходным кодом и вкладом.

Последние проекты с открытым исходным кодом

Сообщество

instance-scheduler

instance-scheduler — действительно хороший инструмент, созданный разработчиком сообщества AWS Мохамедом Радваном, который позволяет вам легко планировать остановку и запуск ваших экземпляров Amazon EC2 и RDS. Он подготовил эту статью в блоге «Создание планировщика экземпляров на бессерверной платформе с помощью Lambda, DynamoDB, API Gateway, Cognito, S3 и CloudFront», чтобы вы могли начать работу.

libaws

libaws — новый интересный инструмент от nathants, который упрощает инициализацию и настройку ряда сервисов AWS. Определив все необходимое в YAML, вы можете использовать cli для простой сборки и развертывания. Написанный на языке Go, проверьте его и посмотрите, поможет ли он упростить создание и удаление инфраструктуры.

elasticspot

elasticspot этот инструмент от Ника Фиггинса поможет вам упростить переназначение Elastic IP на новые экземпляры Spot с помощью AWS Lambda и CloudWatch Events.

auto-close-aws-accounts

auto-close-aws-accounts этот инструмент от Raajhesh Kannaa Chidambaram использует недавно доступный API для закрытия учетных записей AWS, чтобы позволить вам автоматически закрывать учетные записи AWS при перемещении в определенную организационную единицу, такую как SuspendedOU или ToBeDeletedOU или BlackHole.

Инструменты

amazon-ec2-spot-interrupter

amazon-ec2-spot-interrupter — это простой инструмент CLI, который запускает уведомления о прерывании работы Amazon EC2 Spot и рекомендации по восстановлению баланса. Подробное руководство по использованию этого инструмента, это инструмент, который вы должны добавить в свой набор инструментов.

aws-glue-streaming-libs

aws-glue-streaming-libs это репозиторий содержит дополнения и улучшения для структурированной потоковой обработки данных Spark для операций ETL. Этот репозиторий содержит awsglue, библиотеку Python, которую вы можете использовать для создания AWS Glue Streaming ETL заданий, которая расширяет Apache Spark дополнительными типами данных и операциями для потоковых ETL рабочих процессов, и bin ряд исполняемых файлов, которые позволяют вам запустить библиотеку Python локально или открыть оболочку PySpark для интерактивного запуска кода Glue Spark.

audit-plugin-for-mysql

audit-plugin-for-mysql это Audit Plugin for MySQL Server используется Amazon RDS for MySQL для включения протоколирования активности сервера, обычно в целях безопасности и соответствия нормативным требованиям. Обязательно прочитайте README о вкладе и дорожной карте для этого репозитория.

aws-lambda-powershell-runtime

aws-lambda-powershell-runtime предоставляет исходный код новой пользовательской среды выполнения PowerShell для AWS Lambda, которая еще больше упрощает запуск функций Lambda, написанных на PowerShell, для обработки событий. Ваш код запускается в среде Amazon Linux, которая включает учетные данные AWS из управляемой вами роли AWS Identity and Access Management (IAM). Джулиан Вуд подготовил статью в блоге «Introducing the PowerShell custom runtime for AWS Lambda», чтобы предоставить более подробный обзор и руководство по началу работы.

automate-vending-sagemaker-notebooks-with-eventbridge-and-lambda

automate-vending-sagemaker-notebooks-with-eventbridge-and-lambda это очень хороший проект, который поможет вам автоматизировать процесс предоставления блокнотов SageMaker для ваших специалистов по обработке данных.

Демонстрации, образцы и семинары

amazon-chime-sdk-pstn-audio-workshop

amazon-chime-sdk-pstn-audio-workshop Если вы когда-нибудь хотели научиться создавать приложения для телефонии, то почему бы не взглянуть на этот семинар. В этом репозитории содержится весь исходный код и материалы семинара, которые помогут вам сделать такие вещи, как запись звонков, call me back, call bridging, создание голосового чат-бота, транскрипция звонков и многое другое. Вы можете начать свое путешествие здесь.

gitlab-for-eks

gitlab-for-eks Это репозиторий содержит семинар, посвященный использованию GitLab Kubernetes Agent для интеграции инстанса GitLab (включая GitLab.com SaaS) с кластером EKS для управления кластерными приложениями, созданными и протестированными GitLab. До появления GitLab Kubernetes Agent интеграция кластера GitLab осуществлялась через SSL-соединение с конечной точкой Kubernetes Control API для кластера. Все развертывание кластера происходило в виде CI pushes к конечной точке API кластера.

landing-zone-accelerator-on-aws

landing-zone-accelerator-on-aws Это репо содержит решение Landing Zone Accelerator on AWS, которое помогает быстро развернуть безопасную, устойчивую, масштабируемую и полностью автоматизированную облачную основу, ускоряющую готовность к программе соответствия облачным требованиям. Посадочная зона — это облачная среда, которая предлагает рекомендуемую отправную точку, включая учетные записи по умолчанию, структуру учетных записей, схемы сети и безопасности и т. д. Из посадочной зоны можно развернуть рабочие нагрузки, использующие ваши решения и приложения.

go-redis-apprunner

go-redis-apprunner это репо содержит код, использующий AWS CDK для упаковки и развертывания примера приложения (вместе с инфраструктурой) и запуска его в качестве службы AWS App Runner, интегрированной с MemoryDB for Redis. Мой коллега Абхишек Гупта (Abhishek Gupta) подготовил сопроводительное руководство, которое поможет вам понять, как это работает, в посте Build Cloud-Native apps with AWS App Runner, Redis and AWS CDK.

aws-graviton-ml-inference-armnn-example

aws-graviton-ml-inference-armnn-example содержит пример кода и шаги, необходимые для развертывания ArmNN на AWS Lambda путем создания и загрузки образа контейнера. Функция Lambda будет использоваться для эффективного выполнения ML-инференции (на архитектуре Arm) на примере ML-модели классификации изображений в формате ONNX (ResNet 50).

Посты в блогах AWS и сообщества

OpenSearch

Отличные новости для тех, кто интересуется OpenSearch, так как v2 официально запущена в начале этой недели. Шарлотта Хенкл, Николас Найз, Джеймс Макинтайр, Мохаммад Куреши и Шон Чжэн поделились подробностями в посте OpenSearch 2.0 теперь доступен!

Стимпайп

В продолжение предыдущего поста Боб Торделла показывает, как теперь можно запустить аудит безопасности из AWS CloudShell в своем посте «Как выполнить аудит безопасности учетной записи AWS в AWS CloudShell [практическое занятие]».

DAMON

В #86 я рассказывал о проекте под названием damo, который представляет собой инструмент пользовательского пространства для DAMON (подсистема мониторинга доступа к данным для ядра Linux). С его помощью вы можете отслеживать шаблоны доступа к данным в вашей системе или рабочих нагрузках и выполнять оптимизацию управления памятью с учетом доступа к данным. Недавно я узнал, что этот проект был создан одним из сотрудников Amazon, Сеонг-Джае Парком. Вы можете следить за последними обновлениями, заглянув на сайт DAMON: Data Access Monitor.

Redis

Ранее на этой неделе было объявлено, что разработчики приложений Redis теперь имеют встроенную поддержку JavaScript Object Notation (JSON) в ElastiCache и MemoryDB. В посте «Разблокирование рабочих нагрузок JSON с ElastiCache и MemoryDB» Аллен Сэмюэлс, Джо Траваглини и Джо Ху рассказывают о том, как работает поддержка JSON на более техническом уровне, и приводят примеры того, как можно писать документы JSON, эффективно получать или устанавливать части документа JSON в Redis. [практическое занятие]

Инвертирующий прокси

Инвертирующий прокси — это обратный прокси с открытым исходным кодом, который инвертирует направление трафика между прокси и внутренними серверами. В статье «Implementing lightweight on-premises API connectivity using inverting traffic proxy» Алексей Волков рассматривает использование легкого инвертирующего прокси для приложений в качестве решения для многоточечного гибридного или мультиоблачного подключения на уровне API в случаях, когда AWS Direct Connect или VPN могут быть непрактичными. Это очень интересно, и я задаюсь вопросом, как еще я могу использовать этот инструмент. Обязательное чтение на этой неделе! [hands on]

cdk-nag

cdk-nag (вдохновленный cfn_nag) проверяет соответствие состояния конструкций в заданной области видимости заданному набору правил. Наборы правил (NagPacks) включают такие вещи, как HIPAA Security, NIST 800-53 rev 4, NIST 800-53 rev 5 и PCI DSS 3.2.1. В статье Управление безопасностью и соответствием приложений требованиям с помощью AWS Cloud Development Kit и cdk-nag Арун Донти демонстрирует, как интегрировать cdk-nag в приложение AWS CDK, чтобы обеспечить постоянную обратную связь и помочь привести приложения в соответствие с лучшими практиками. [hands on]

AWS Amplify и Flutter

AWS Amplify Flutter Authenticator — это библиотека пользовательского интерфейса, которая позволяет разработчикам Flutter быстро добавить настраиваемую аутентификацию и регистрацию. Абдалла Шабан и Ашиш Нанда совместно написали эту статью в блоге «Настройка потоков регистрации и входа для вашего приложения Flutter за несколько минут с помощью AWS Amplify», которая содержит практическое руководство и вспомогательный исходный код. [hands on].

Другие статьи за прошедшую неделю, которые могут вам понравиться

  • Как настроить WireGuard VPN на Amazon Linux 2 делает именно то, что написано в заголовке, и предоставляет подробное описание того, как это настроить
  • Containerizing our Magento stack on AWS хороший пост о том, как развернуть эту популярную систему электронной коммерции с открытым исходным кодом на AWS ECS Fargate

  • Подготовка к миграции Babelfish с помощью отчета об оценке AWS SCT демонстрирует, как использовать отчет об оценке AWS Schema Conversion Tool (AWS SCT), чтобы определить, где Babelfish не поддерживает определенные языковые функции SQL Server
  • Просмотр статистики collectd с помощью Amazon Managed Service for Prometheus и Amazon Managed Service for Grafana демонстрирует, как просматривать метрики запущенного экземпляра collectd на Linux-экземпляре Amazon Elastic Compute Cloud (Amazon EC2) [практическое занятие].
  • Просмотр пользовательских метрик из statsd с помощью Amazon Managed Service for Prometheus и Amazon Managed Grafana показывает, как можно просматривать метрики из запущенного экземпляра statsd на Linux или Windows экземпляре Amazon Elastic Compute Cloud (Amazon EC2) с помощью Amazon Managed Service for Prometheus и Amazon Managed Grafana [практическая работа].
  • Развертывание модели PyTorch как бессерверного сервиса показывает способ развертывания модели PyTorch как бессерверного API с использованием Lambda, ECR и Serverless framework [практическое занятие].

Тематические исследования

  • Nurturing Continuing Growth of Our Oak CT Log Увлекательная статья в блоге от Lets Encrypt, в которой рассказывается о журнале Lets Encrypt Certificate Transparency (CT), построенном с использованием компонентов с открытым исходным кодом, работающих на Amazon RDS

Быстрые обновления

Открытый 3D движок

В начале этой недели была выпущена версия 22.05.0 Open 3D Engine (O3DE) — проекта с открытым исходным кодом, лицензированного Apache 2.0. O3DE — это движок для разработки 3D в реальном времени, который предоставляет разработчикам модульную основу для создания игр и 3D-симуляций в различных областях применения, таких как робототехника, цифровые двойники, автомобилестроение, здравоохранение и др. В рамках постоянной поддержки O3DE команда разработчиков AWS Game Engine and Developer Services внесла вклад в создание версии 22.05.0, включая множество функций:

Подробнее об этом выпуске читайте в объявлении, AWS for Games — последний вклад в Open 3D Engine (O3DE).

Amazon FSx для Lustre

Amazon FSx for Lustre, служба, обеспечивающая экономичное, высокопроизводительное и масштабируемое файловое хранилище для вычислительных рабочих нагрузок, теперь поддерживает корневой сквош. Эта административная функция добавляет дополнительный уровень контроля доступа к файлам поверх текущего контроля доступа на основе сети и разрешений файлов POSIX, которые предоставляет FSx for Lustre. Используя функцию root squash, вы можете ограничить доступ к файловой системе на уровне root от клиентов, которые обращаются к файловой системе FSx for Lustre как root.

ИТ-администраторы часто предоставляют пользователям доступ root на своих вычислительных экземплярах для выполнения привилегированных операций, таких как изменение конфигурации системы или установка и удаление программного обеспечения. Однако для экземпляров, подключенных к файловой системе на базе Linux, такой как FSx for Lustre, пользователь, которому предоставлен root-доступ, также получает полный доступ к файлам на файловой системе, что может быть нежелательно в некоторых сценариях. Включив root squash, вы можете продолжать предоставлять пользователям root-доступ к экземплярам, подключенным к файловой системе FSx for Lustre, ограничивая при этом разрешения файловой системы правами менее привилегированных пользователей и групп.

Redis

Amazon ElastiCache for Redis и Amazon MemoryDB for Redis теперь поддерживают хранение и доступ к данным в формате JavaScript Object Notation (JSON). Благодаря этому разработчики приложений могут легко хранить, получать и обновлять данные JSON внутри Redis без необходимости управлять пользовательским кодом для сериализации и десериализации. Используя ElastiCache и MemoryDB, теперь можно эффективно извлекать и обновлять определенные части документа JSON без необходимости манипулировать всем объектом, что позволяет повысить производительность и снизить затраты. Вы также можете выполнять поиск по содержимому документа JSON, используя синтаксис запросов JSONPath. Поддержка JSON доступна для Redis версии 6.2 и выше для ElastiCache и MemoryDB во всех доступных регионах без дополнительной платы.

Grafana

Amazon Managed Grafana теперь поддерживает новый API для создания токенов API Grafana, а также поддержку новых плагинов, Grafana версии 8.4 и тегов рабочего пространства. С помощью CreateWorkspaceApiKey клиенты могут создавать API-токены Grafana без необходимости входа в консоль рабочего пространства Grafana, что позволяет пользователям программно создавать, удалять и управлять ресурсами Grafana, такими как приборные панели, оповещения и источники данных. Amazon Managed Grafana добавляет поддержку плагинов Github, Moogsoft, Pixie и Windrose, позволяя клиентам подключать, запрашивать и визуализировать данные из дополнительных источников данных. Существующие и новые рабочие пространства Amazon Managed Grafana теперь поддерживают Grafana версии 8.4, при этом от пользователей не требуется никаких действий. Клиенты теперь могут маркировать рабочие пространства Amazon Managed Grafana, чтобы упростить организацию и управление стоимостью рабочих пространств. Метки — это метки в виде пар ключ-значение, которые могут быть прикреплены к рабочим пространствам Amazon Managed Grafana для поиска, фильтрации или распределения затрат.

AWS Distro для OpenTelemetry

В начале недели было объявлено об общей доступности AWS Distro for OpenTelemetry (ADOT) для метрик, безопасного, готового к производству, поддерживаемого AWS дистрибутива проекта OpenTelemetry. Благодаря этому клиенты могут использовать API и SDK OpenTelemetry на Java, .Net и JavaScript для сбора и отправки метрик в Amazon CloudWatch, Amazon Managed Service for Prometheus и другие места мониторинга, поддерживаемые протоколом OpenTelemetry Protocol (OTLP). Часть Cloud Native Computing Foundation (CNCF), OpenTelemetry предоставляет API с открытым исходным кодом, библиотеки и агенты для сбора распределенных трасс и метрик для мониторинга приложений и инфраструктуры. С помощью ADOT вы можете инструментировать свои приложения всего один раз для отправки метрик и трасс в различные решения для мониторинга и использовать агенты автоинструментации для сбора трасс и метрик без изменения кода. Используйте AWS Distro for OpenTelemetry для инструментария приложений, работающих на Amazon Elastic Compute Cloud (EC2), Amazon Elastic Container Service (ECS) и Amazon Elastic Kubernetes Service (EKS).

Для обеспечения наблюдаемости можно выбрать Amazon CloudWatch, Amazon Managed Service for Prometheus или одно из партнерских направлений AWS. Вы можете настроить и развернуть последнюю версию AWS Distro for OpenTelemetry для контейнерных служб и Amazon EC2 с помощью шаблонов AWS CloudFormation, интерфейса командной строки AWS, команд Kubectl или дополнения ADOT EKS. Разработчики могут использовать несколько поддерживаемых приемников, таких как Prometheus, а также SDK OpenTelemetry для сбора или инструментария своих приложений для сбора коррелированных метрик и трасс.

Видео недели

AWS Lambda Powertools

AWS Lambda Powertools — это набор утилит TypeScript для функций AWS Lambda, облегчающих внедрение лучших практик, таких как трассировка, структурированное протоколирование, пользовательские метрики и многое другое. Присоединяйтесь к Марсии Виллальба и Саре Герион, так как они погрузятся в этот проект, возьмут в руки и покажут вам больше об этом инструменте. Дополнительные бонусные очки, так как Сара использует Terraform на протяжении всего курса.

Kuma

Kuma — это сетка сервисов с открытым исходным кодом, которая может работать в любом облаке, в одно- или многозональном режиме, как на Kubernetes, так и на виртуальных машинах. В этом видео Кэт Морган рассказывает о том, как установить и запустить Kuma на AWS ECS.

События для вашего ежедневника

BOSC 2022
13-14 июля, Мэдисон, Висконсин, США

Конференция по биоинформатике с открытым исходным кодом (BOSC) проводится ежегодно с 2000 года, и в этом году AWS гордится тем, что является платиновым спонсором этого мероприятия. BOSC охватывает все аспекты открытого программного обеспечения для биоинформатики и открытой науки, включая (но не ограничиваясь) такие темы, как открытая наука и воспроизводимые исследования, открытые биомедицинские данные, гражданская/партиципативная наука, стандарты и совместимость, рабочие процессы науки о данных, открытые подходы к трансляционной биоинформатике, инструменты и библиотеки для разработчиков, инклюзия, а также информационно-просветительская деятельность и обучение. Это гибридное мероприятие (очное/виртуальное), и вы можете узнать больше, посетив страницу мероприятия, BOSC 2022.

OpenSearch
Каждый второй вторник, 15:00 GMT

Это регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как поиск, логирование, аналитика логов и визуализация данных.

Зарегистрироваться на следующую сессию, Встреча сообщества OpenSearch

OpenSearchCon 2022
21 сентября 2022 года в Сиэтле

Приходите на первый ежегодный OpenSearchCon!

Эта однодневная конференция будет наполнена докладчиками, которые создают и внедряют инновации с помощью OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода — это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и приехать в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Надеюсь, это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen.

Оцените статью
Procodings.ru
Добавить комментарий