Новости и обновления AWS с открытым исходным кодом, #115

3 июня 2022 — Выпуск #115

Добро пожаловать, как постоянные, так и новые читатели, в выпуск #115 рассылки новостей AWS с открытым исходным кодом.

На этой неделе мы подготовили для вас очередную подборку новых проектов с открытым исходным кодом, среди которых «firec» — клиентская библиотека Rust для взаимодействия с Firecracker, «sfn-cli» — инструмент, помогающий быстро создавать определения StepFunctions, «ssm-cloner» — инструмент, помогающий реплицировать по регионам AWS документы AWS System Manager, «amazon-lambda-compute-tuning» инструмент для бенчмаркинга функций AWS Lambda, «aws-iam-root-user-activity-monitor» пример проекта, который поможет вам следить за вашим корневым пользователем, «hpc-cost-simulator» инструмент для оценки затрат на выполнение ваших рабочих нагрузок HPC на AWS и многое другое.

На этой неделе мы также публикуем посты в блогах и более подробные технические статьи о Kubernetes, Amazon EMR, SUSE Linux, Dart, AWS Amplify, Amazon Genomics CLI, OpenZFS, AWS CDK, Go, TensorFlow, Hugging Face, Apache Cassandra, Dicoogle, MariaDB, Spack, Quarkus (не пропустите эту статью) и многое другое. Тематические видео этой недели посвящены Apache Kylin и Blazor, а в завершение я рассказываю о событиях, на которые вам стоит обратить внимание.

AWS CDK

AWS Cloud Development Kit (AWS CDK) версии 1 (v1) для JavaScript, TypeScript, Java, Python, .NET и Go сейчас находится в режиме обслуживания. В этой заметке «Версия 1 AWS Cloud Development Kit (AWS CDK) перешла в режим обслуживания» вы узнаете больше о том, что это значит, а также о ресурсах, с помощью которых можно начать переход на версию 2.

MariaDB

Если вы хотите обновить свою базу данных MariaDB с версии 10.2 (срок действия которой заканчивается в октябре 2022 года), то вам следует ознакомиться с этой статьей «Обновление с Amazon RDS для MariaDB версии 10.2», подготовленной Виджаем Карумаджи. В ней он рассказывает о сроках окончания срока службы Amazon RDS для MariaDB 10.2, доступных вариантах обновления, а также делится некоторыми передовыми практиками, которым следует следовать в процессе обновления.

Отмечаем вкладчиков открытого исходного кода

Статьи и проекты, представленные в этом бюллетене, стали возможны только благодаря многочисленным участникам проекта с открытым исходным кодом. Я хотел бы поблагодарить тех людей, которые действительно способствуют развитию открытого исходного кода и дают нам возможность учиться и строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Роберт Оберхофер, Хамзабуисси Базмаху, Форрест Сан, Джина Гицци, Нур Файроза, Майкл Рани, Ноа Гифт, Гэри Стаффорд, Оливер Перкс, Виджай Карумаджи, Даниэль Леу, Бен Смит и Ларс Якобссон.

Обязательно найдите этих разработчиков и следите за их проектами с открытым исходным кодом и вкладом.

Последние проекты с открытым исходным кодом

Самое замечательное в проектах с открытым исходным кодом — это то, что вы можете ознакомиться с исходным кодом. Если вам нравится внешний вид этих проектов, обязательно посмотрите код, и если он вам полезен, свяжитесь с сопровождающим, чтобы оставить отзывы, предложения или даже внести свой вклад.

Инструменты

firec

firec (произносится «фырек») — это клиентская библиотека с открытым исходным кодом Rust для взаимодействия с Firecracker. Она позволяет создавать, манипулировать, запрашивать и останавливать VMM. Очень хорошо.

sfn-cli

sfn-cli — последний проект с открытым исходным кодом от прекрасных людей из MatHem — позволяет вам быстро создавать определения StepFunctions с удобным поиском интеграции SDK и генерацией фрагментов всех 10K+ API действий. Немного похоже на переработанную Workflow Studio, но под рукой. Обратите внимание, что это ранняя стадия предварительного просмотра, и некоторые функции будут отсутствовать. (Большое спасибо разработчику сообщества AWS Ларсу Якобссону за присланную информацию).

ssm-cloner

ssm-cloner это хранилище используется для упрощения процесса клонирования документов SSM в регионах AWS. Вы можете использовать этот модуль и передать параметры, и он будет клонировать документы за вас. Вы также можете использовать его для отмены клонирования или создания новой версии для ваших документов. Звучит очень полезно.

function-stencil

function-stencil очень хороший инструмент от нашего собственного Бена Смита, который представляет собой генератор кода функции AWS Lambda для быстрого запуска. Загружает шаблонный файл кода функции, файл тестового харнесса, образец определения SAM и соответствующую структуру файла. Проверьте его на npm тоже, function-stencil

fissaa

fissaa — это CLI, который Хамзабуисси Базмаху создал для упрощения развертывания приложений на AWS ECS, включая такие вещи, как настройка регистрации доменов, сертификация TLS, балансировка нагрузки, откат и мониторинг бюджета. Я люблю, когда за названием проекта стоит история или смысл, и в данном случае Fissaa — это тунисское слово, означающее ускорение.

amazon-braket-strawberryfields-plugin-python

amazon-braket-strawberryfields-plugin-python Этот плагин предоставляет класс BraketEngine для запуска фотонных квантовых схем, созданных в Strawberry Fields, на сервисе Amazon Braket. Amazon Braket Python SDK — это библиотека с открытым исходным кодом, которая предоставляет основу для взаимодействия с аппаратными устройствами и симуляторами квантовых вычислений через Amazon Braket. Strawberry Fields — это библиотека с открытым исходным кодом для написания и выполнения программ для фотонных квантовых компьютеров.

amazon-lambda-compute-tuning

amazon-lambda-compute-tuning При попытке оптимизировать функции AWS Lambda многие используют проект моего коллеги Алекса Касалбони AWS Lambda Power Tuning. Этот проект имеет несколько иной уклон, позволяя вам попробовать и сравнить разницу в стоимости и производительности между x86 и Arm и различными вариантами памяти. Все, что вам нужно сделать, это указать arn’ы ваших функций AWS Lambda во фронт-энде AWS Amplify, и все готово.

aws-iam-root-user-activity-monitor

aws-iam-root-user-activity-monitor этот проект содержит пример того, как вы можете отслеживать активность корневого пользователя в ваших AWS аккаунтах, используя Terraform. Эта реализация ориентирована на события и полагается на Amazon EventBridge для передачи событий активности корневого пользователя AWS IAM из учетных записей в центральную шину событий EventBridge, развернутую в данной учетной записи.

aws-tf-kms

aws-tf-kms это репозиторий содержит набор модулей Terraform и примеров. Он обеспечивает создание ключей AWS KMS, которые можно использовать для поддерживаемых сервисов AWS. Опционально он поддерживает управление политикой ключевых ресурсов для кросс-аккаунтного доступа сервисов AWS и принципалов. Включен дополнительный модуль, поддерживающий создание мультирегиональных реплик ключей в другом регионе.

hpc-cost-simulator

hpc-cost-simulator Этот пакет содержит скрипты для разбора и анализа журналов планировщика. Он анализирует журналы учета планировщика, чтобы смоделировать стоимость выполнения тех же заданий на AWS. Этот инструмент может имитировать использование точечных экземпляров для коротких заданий и помочь в выборе планов экономии, разбивая данные на почасовое потребление. Первоначально поддерживаются LSF и Slurm. Поддержка Altair Accelerator будет добавлена в ближайшее время.

Демонстрации, образцы и семинары

dotnet-nativeaot-labs

dotnet-nativeaot-labs это репозиторий предоставляет место для изучения и экспериментов с .NET NativeAOT на AWS. На высоком уровне NativeAOT для .NET — это способ компиляции проектов .NET непосредственно в машинный код, исключающий промежуточный язык и компиляцию Just-In-Time. AOT означает «Ahead of Time», в отличие от «Just in Time». Согласно этому твиту от Norm Johanson «Мы экспериментировали с предварительной версией поддержки AOT в .NET для улучшения холодного запуска лямбд. Для некоторых сценариев мы видим значительные улучшения».

aws-vpc-builder-cdk

aws-vpc-builder-cdk это репозиторий содержит код, который обеспечивает простой и повторяемый способ развертывания и изучения сложных сетевых архитектур на AWS, а также помогает продемонстрировать возможности AWS Cloud Development Kit (CDK) для создания и оркестровки сложной архитектуры.

nodeblog.app

nodeblog.app Даниэль Леу создал этот пример проекта, который объединяет ряд сервисов AWS с помощью AWS CDK, чтобы создать функциональное приложение для ведения блога, которое вы можете использовать в качестве основы для своих собственных проектов.

развертывание-unreal-engine-pixel-streaming-server-on-ec2

deploying-unreal-engine-pixel-streaming-server-on-ec2 Это репозиторий содержит код и документацию, позволяющие развернуть сборки Unreal Engine 4 Pixel Streaming на базе Windows на EC2. Вы можете ознакомиться с этой статьей блога, Unreal Engine Pixel Streaming in AWS with Ubuntu OS, где Гена Гицци и Нур Файроза показывают, как можно запустить этот проект на Ubuntu. Этот проект выглядит забавно, так что он уже в списке моих дел на выходные. [hands on]

rekognition-streaming-video-events

rekognition-streaming-video-events этот проект обнаруживает объекты (людей, домашних животных и пакеты) в живых видеопотоках и возвращает обнаруженную метку (метки), координаты граничной области, увеличенные изображения обнаруженного объекта (объектов) и временные метки.

localize-content-using-aws-ml-services

localize-content-using-aws-ml-services Этот пример решения демонстрирует, как разработчики могут использовать polly для генерации звука, отличного от исходного, генерации субтитров из текстового файла, генерации речевых знаков и связывания всего этого вместе.

Сообщения в блогах AWS и сообщества

Realm

База данных Realm — это удобный для разработчиков проект с открытым исходным кодом для хранения мобильных данных, распространяемый под лицензией Apache 2.0 и поддерживаемый MongoDB. Роберт Оберхофер подготовил эту заметку «Повышение отзывчивости приложений с помощью мобильной базы данных MongoDB Realm», а AWS Wavelength знакомит с MongoDB Realm, рассматривает ее основные характеристики и ключевые преимущества. Хотя Realm широко используется для создания мобильных приложений, его возможности актуальны и для других проблемных областей, включая IoT и Edge.

Quarkus

Еще один потрясающий пост от Гари Стаффорда, на этот раз показывающий, как разрабатывать, тестировать, создавать, а затем развертывать нативные приложения Quarkus в Kubernetes на AWS с помощью GitOps в его посте «Создание и развертывание облачных нативных приложений Quarkus в Kubernetes». Этот пост охватывает больше, чем Quarkus, и является обязательным чтением для всех, кто хочет больше узнать о возможностях облачных нативных приложений и Java. Это долгое чтение, так что берите свой любимый напиток и наслаждайтесь!

Spack

Spack — это многоплатформенный менеджер пакетов, который собирает и устанавливает несколько версий и конфигураций программного обеспечения. Он работает на Linux, macOS и многих суперкомпьютерах. В посте
Представляем Spack Rolling Binary Cache, размещенный на AWS Оливер Перкс делится анонсом нового публичного Spack Binary Cache, размещенного на AWS. Теперь пользователи Spack имеют доступ к публичному кэшу сборок, размещенному на Amazon Simple Storage Service (Amazon S3). Использование этого двоичного кэша позволит ускорить установку распространенных пакетов Spack в 20 раз. Прочтите этот пост, чтобы узнать больше, включая то, как это работает с другими инструментами с открытым исходным кодом, такими как AWS ParallelCluster.

Dicoogle

Dicoogle — это проект с открытым исходным кодом, который обеспечивает функциональность PACS (системы архивирования и передачи изображений). PACS хранит и индексирует файлы медицинских изображений DICOM и использует протокол DICOM для облегчения загрузки, скачивания и поиска исследований DICOM. DICOM — это модель данных, организованная в последовательности «пациент — исследование — серия — экземпляр». У пациента есть одно или несколько исследований, которые также могут называться обследованиями или процедурами. В этом посте «Запуск Dicoogle, решения PACS с открытым исходным кодом, на AWS (часть 1)» Форрест Сан представляет первую часть серии из двух частей, в которой описывается, как разместить защищенный сервер DICOM на AWS. [hands on]

Apache Cassandra

Легкие транзакции (LWT) — это функция API Apache Cassandra, которая позволяет разработчикам выполнять операции условного обновления данных в таблице. Операции условного обновления полезны при вставке, обновлении и удалении записей на основе условий, которые оценивают текущее состояние. Майкл Рейни написал статью Улучшение производительности легких транзакций с Amazon Keyspaces, в которой он делится подробностями об улучшенных характеристиках производительности Amazon Keyspaces LWT API (легкие транзакции), передовых паттернах проектирования и лучших практиках работы.

Другие сообщения за прошедшую неделю, которые могут вам понравиться

• Ускорение рабочих нагрузок Go на 20% с помощью Go 1.18 и AWS Graviton: показано, как переход на последнюю версию Go может повлиять на производительность при использовании экземпляров AWS Graviton на базе Arm.
• Запуск классификации текста с помощью Amazon SageMaker JumpStart с использованием TensorFlow Hub и моделей Hugging Face предоставляет пошаговое описание того, как точно настроить и развернуть модель классификации текста, используя обученные модели из TensorFlow Hub [практическое занятие].
• Amazon EMR Serverless Now Generally Available — Run Big Data Applications without Managing Servers сопровождает вас в GA анонсе Amazon EMR Serverless, бессерверного варианта развертывания для клиентов, позволяющего запускать приложения для анализа больших данных с использованием фреймворков с открытым исходным кодом, таких как Apache Spark и Hive, без конфигурирования, управления и масштабирования кластеров или серверов.
• Настройка планирования на Amazon EKS демонстрирует доказательство концепции, позволяющее легко настроить способ планирования рабочих нагрузок Kubernetes [практическая работа].

• Обновлено: Создание CloudEvents из AWS EventBridge (и в Direktiv) Обновление статьи, которой я поделился в предыдущем выпуске рассылки (#64) В этой статье показано, как можно использовать эту технологию с открытым исходным кодом для преобразования событий AWS EventBridge в стандартные CloudEvents.

Тематические исследования

• Путь Mobileye к масштабированию Amazon EKS до тысяч узлов — обзор того, как инженерная группа по разработке искусственного интеллекта Mobileye бесперебойно выполняет свои рабочие процессы на Amazon Elastic Kubernetes Service (Amazon EKS), поддерживая около 250 рабочих процессов ежедневно.

Быстрые обновления

AWS Amplify

В начале этой недели было объявлено об общей доступности Geofences для Amplify Geo. Amplify Geo позволяет разработчикам фронтенда добавлять в свои веб-приложения функции, учитывающие местоположение. Разработчики, желающие отобразить геометрические границы или геозоны на карте, теперь могут реализовать полное решение по управлению геозонами за считанные минуты, используя облачный виджет пользовательского интерфейса и API от Amplify Geo, работающий на базе Amazon Location Service. Геозоны — это геометрические границы, которые можно нарисовать вокруг интересных мест или областей на карте.

В этом выпуске разработчики могут добавить интерактивный виджет пользовательского интерфейса для управления геозонами, позволяющий просматривать, создавать и редактировать геозоны на карте. Этот виджет построен на базе популярной библиотеки MapLibre с открытым исходным кодом, и разработчики могут выбирать из широкого спектра плагинов, предлагаемых сообществом, для дальнейшей настройки своих компонентов пользовательского интерфейса Geofence. Amplify Geo также предоставляет разработчикам клиентские API на базе Amazon Location Service для программного управления геозонами из внешнего веб-приложения. Разработчики могут использовать управляемый рабочий процесс в интерфейсе командной строки (CLI) Amplify для обеспечения всех необходимых облачных ресурсов для создания геозон, или они могут использовать существующие ресурсы геозон.

SUSE Linux

В начале недели было объявлено о снижении цен на экземпляры Amazon EC2 под управлением SLES. Когда Вы запускаете SLES на Amazon EC2, Вы платите одну комбинированную цену за инфраструктуру Amazon EC2 и ОС SUSE. Подробнее о деталях читайте в статье Снижение цен на инстансы Amazon EC2 под управлением ОС SUSE Linux Enterprise Server (SLES).

Dart

Новый клиент Dart Signature V4 позволяет разработчикам безопасно интегрироваться со всеми 200+ сервисами AWS, используя подписанные HTTP-запросы. Эта функциональность позволяет разработчикам Dart делать нативные вызовы к бэкендам AWS в своих приложениях Flutter или Dart, чтобы вносить изменения в данные или конфигурации сервисов AWS.

Разработчики могут добавить клиент Signature V4 в качестве зависимости в свое приложение Flutter или Dart и использовать его для взаимодействия с сервисами AWS. Например, используя клиент Dart Signature V4, разработчик может взаимодействовать с Amazon Simple Storage Service (Amazon S3), используя подписанные HTTP-запросы для создания нового S3 Bucket. Затем разработчики могут загружать файлы в свои ведра S3, а также управлять разрешениями на чтение/запись для файлов в этих ведрах.

OpenZFS

Теперь вы можете обновлять емкость хранения и IOPS на ваших файловых системах Amazon FSx for OpenZFS одним нажатием кнопки, что еще больше упрощает адаптацию к изменяющимся потребностям в хранении и производительности.

Amazon FSx for OpenZFS — это полностью управляемое экономически эффективное файловое хранилище общего доступа на базе популярной файловой системы OpenZFS. При создании файловой системы FSx for OpenZFS вы можете указать ее емкость хранения, пропускную способность и дисковую производительность IOPS. До сегодняшнего дня FSx for OpenZFS поддерживала только обновление пропускной способности активной файловой системы. Теперь вы также можете увеличить емкость хранилища или изменить емкость дискового IOPS вашей файловой системы за считанные секунды, не прерывая работу конечных пользователей или приложений. Благодаря этой возможности вы теперь можете динамически обновлять все основные аспекты конфигурации вашей файловой системы FSx для OpenZFS.

Amazon Genomics CLI v1.5.0

Amazon Genomics CLI упрощает и автоматизирует развертывание облачных ресурсов, таких как механизмы рабочих процессов и вычислительные кластеры, предоставляя клиентам из сферы геномики и медико-биологических наук простую в использовании командную строку для быстрой настройки и запуска рабочих процессов геномики на Amazon Web Services (AWS).

В Amazon Genomics CLI v1.5.0 добавлена поддержка рабочих процессов, написанных на языке Common Workflow Language (CWL) с использованием механизма рабочих процессов Toil. В дополнение к CWL, Amazon Genomics CLI поддерживает рабочие процессы, написанные на языке определения рабочих процессов (WDL), Nextflow и Snakemake, что позволяет клиентам выполнять широкий спектр анализов геномических данных, таких как совместный вызов вариантов генома и одноклеточный РНКсек.

Читайте полный выпуск обновления в, Amazon Genomics CLI v1.5.0 добавляет поддержку Common Workflow Language (CWL) с Toil.

Видео недели

Apache Kylin

Apache Kylin™ — это распределенное аналитическое хранилище больших данных с открытым исходным кодом. В этом видео вы узнаете, как можно развернуть этот проект с открытым исходным кодом в AWS, а затем изучите некоторые примеры наборов данных (COVID и New York Taxi).

.NET Blazor

Blazor — это бесплатный веб-фреймворк с открытым исходным кодом, который позволяет разработчикам создавать веб-приложения, используя C# и HTML. В этом видео Ноа Гифт делится с вами тем, как развернуть эти приложения с помощью Amazon ECS.

События для вашего ежедневника

OSPOs In Action: Способы того, как организации стимулируют инновации с открытым исходным кодом
Июнь 9, 2022, 8:00 утра PDT

Со страницы регистрации:

Что нужно сделать, чтобы создать офис программ с открытым исходным кодом (OSPO)? Этот вебинар, проводимый под руководством экспертов, дает богатое представление о лидерстве и инструментах, необходимых для реализации OSPO (или инициативы с открытым исходным кодом) в ваших организациях. Независимо от того, являетесь ли вы представителем корпоративного, академического, некоммерческого или государственного сектора, вы получите представление о возможностях OSPO, которые способствуют дифференциации и снижению рисков.

Вы услышите выступления руководителей VMware, Bloomberg, Comcast и Porsche, чтобы лучше понять ценность OSPO и понять, с чего начать.

Узнайте больше и зарегистрируйтесь на вебинар здесь.

Машинное обучение в масштабе с использованием Kubeflow с Amazon EKS и Amazon EFS
16 июня, 10 утра по тихоокеанскому времени

Мой коллега Суман Дебнат, главный представитель разработчиков в AWS, расскажет о том, как использовать инструментарий машинного обучения с открытым исходным кодом Kubeflow. Суман продемонстрирует, как развернуть кластер Kubernetes, используя Amazon Elastic Kubernetes Service (EKS) и Amazon Elastic File System (EFS) в качестве постоянного хранилища в бэкенде, которое будет использоваться для хранения набора данных для обучения, размещения блокнотов jupyter и запуска модели машинного обучения.

Узнайте больше и зарегистрируйтесь, Машинное обучение в масштабе с использованием Kubeflow с Amazon EKS и Amazon EFS.

Наблюдаемость: Решения с открытым исходным кодом
28 июня, 10:00 — 14:15 PDT

Команда AWS Monitoring and Observability Team приглашает вас принять участие в практической сессии с использованием Amazon Managed Service for Prometheus, Amazon Managed Service for Grafana и AWS Distro for Open Telemetry. В ходе сессии вы будете использовать эти сервисы для создания рабочих пространств, получения/запроса метрик, логов и данных трассировки и просмотра их на созданной вами приборной панели. После обеда будет проведена демонстрация того, что вы сделали, и подчеркнута ценность MTTD, MTTI, MTTR и производительности приложения.

Это мероприятие предназначено для тех, кто хочет внедрить AWS Observability, используя службы с открытым исходным кодом для визуализации данных с помощью собственных или сторонних инструментов. Инженеры по надежности сайтов, инженеры по эксплуатации, системные инженеры и DevOps. Знакомство с концепциями мониторинга, такими как журналы, метрики, трассировки, сигналы тревоги и приборная панель, рекомендуется, но не обязательно.

Зарегистрируйтесь на этой странице.

BOSC 2022
13-14 июля, Мэдисон, Висконсин, США

Конференция по биоинформатике с открытым исходным кодом (BOSC) проводится ежегодно с 2000 года, и в этом году AWS гордится тем, что является платиновым спонсором этого мероприятия. BOSC охватывает все аспекты открытого программного обеспечения для биоинформатики и открытой науки, включая (но не ограничиваясь) такие темы, как открытая наука и воспроизводимые исследования, открытые биомедицинские данные, гражданская/партиципативная наука, стандарты и совместимость, рабочие процессы науки о данных, открытые подходы к трансляционной биоинформатике, инструменты и библиотеки для разработчиков, инклюзия, а также информационно-просветительская деятельность и обучение. Это гибридное мероприятие (очное/виртуальное), и вы можете узнать больше, посетив страницу мероприятия, BOSC 2022.

OpenSearch
Каждый второй вторник, 15:00 GMT

Эта регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как поиск, логирование, аналитика логов и визуализация данных.

Зарегистрироваться на следующую сессию, Встреча сообщества OpenSearch

OpenSearchCon 2022
21 сентября 2022 года, Сиэтл

Приходите на первый ежегодный OpenSearchCon!

Эта однодневная конференция будет наполнена докладчиками, которые создают и внедряют инновации с помощью OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода — это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и отправиться в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Надеюсь, это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen.