Новости и обновления AWS с открытым исходным кодом #111


6 мая 2022 — Рассылка #111

Информационный бюллетень #111.

Добро пожаловать в выпуск #111 рассылки новостей AWS с открытым исходным кодом. На этой неделе мы немного задержались, но это было сделано для того, чтобы я мог добавить еще больше отличного контента с открытым исходным кодом. На этой неделе у нас очередная порция новых проектов с открытым исходным кодом от сообщества AWS, среди которых инструменты, помогающие управлять дистрибутивами AWS CloudFront, провайдеры ресурсов для CloudFormation для пользователей Confluent, управление Amazon Route53 через командную строку, хороший инструмент для разработчиков Rust, работающих с AWS Lambda, хороший инструмент для поиска диапазонов адресов CIDR и многое другое, включая несколько отличных примеров.

Если вы хотите ознакомиться с последними сообщениями, у нас есть темы, охватывающие Kubernetes, Ray, Locust, AWS Copilot, AWS SAM, PostgreSQL, Terraform, Smithy, AWS Distro для OpenTelemetry, Apache Livy, OpenSearch и многое другое. Видео этой недели идеально подходит для разработчиков .NET и рассматривает проект с открытым исходным кодом от AWS, который поможет вам перенести ваши .NET приложения на .NET Core.

Наконец, у нас есть раздел событий, в котором собрано множество мероприятий, которые пройдут в ближайшие несколько недель. День контейнеров AWS пройдет в начале следующей недели. Ознакомьтесь с более подробной информацией в разделе «События», но это мероприятие, безусловно, обязательно к посещению, поскольку в течение нескольких дней пройдут замечательные сессии. Идеальный способ подготовиться к KubeCon.

Празднование вклада разработчиков открытого исходного кода

Статьи, опубликованные в этой серии, стали возможны только благодаря участникам и сопровождающим проектов, поэтому я хотел бы поблагодарить тех людей, которые действительно стоят у истоков открытого кода и позволяют нам всем строить на основе того, что они создали.

Поэтому спасибо следующим героям открытого кода: Стивену Дэвиду, Шону Ли, Чон Ёлю Ли, Сундже Ли, Вонтагу Хану, Джонасу Ву, Адаму Томасу, Паавану Мистри, Мэтту ДеПьетро, Сивамуту Кумару, Софиану Хамити, Праягу Сингху, Даниэлю Йео и Ицину (Миранде) Жу, Гиладу Дэвиду Мааяну, Джону Престону, Куперу Уолбруну, Мэтью Даггану, Шахару Шакеду, Бхарату Гамини и Джону Беннингхоффу.

Обязательно найдите этих разработчиков и следите за их проектами с открытым исходным кодом и вкладом.

Последние проекты с открытым исходным кодом

Сообщество

cloudfront-manager

cloudfront-manager — это новый инструмент с открытым исходным кодом от разработчика сообщества AWS Хариндера Сира, который поможет вам инвалидировать, включить, отключить и удалить дистрибутив Cloudfront. А также отображать подробную информацию о дистрибутиве. Он подготовил эту статью в блоге, AWS Cloudfront Manager Utility — How To Guide For Windows, которая поможет вам начать работу с этим инструментом.

aws-cfn-confluentcloud-iam-serviceaccount

aws-cfn-confluentcloud-iam-serviceaccount — это сторонний ресурс CloudFormation с открытым исходным кодом, с которым стоит ознакомиться пользователям Confluent. Он позволяет создать новую учетную запись службы в организации в Confluent Cloud через API. Отличная работа, Джон!

Инструменты

aws-ensure-route53

aws-ensure-route53 — это новый инструмент с открытым исходным кодом от nathants, который позволяет вам легко управлять route53 на нескольких аккаунтах.

cargo-lambda
cargo-lambda — этот проект предоставляет подкоманду Cargo, которая поможет вам работать с AWS Lambda. Новая подкоманда создает базовый пакет Rust из четко определенного шаблона, чтобы помочь вам начать писать функции AWS Lambda в Rust. Подкоманда build компилирует функции AWS Lambda в естественном режиме и создает артефакты, которые затем можно загрузить в AWS Lambda или использовать с другими инструментами эхосистемы, такими как SAM Cli или AWS CDK. Существуют и другие команды (watch, invoke, deploy), поэтому если вы являетесь разработчиком Rust и изучаете AWS Lambda, этот проект для вас.

aws-cidr-finder

aws-cidr-finder этот проект от Купера Уолбруна предоставляет инструмент Python CLI для поиска неиспользуемых блоков CIDR в AWS VPCs и вывода их в STDOUT. Он очень прост, но может быть весьма полезен для пользователей, которые управляют множеством подсетей в одном или нескольких VPC. Подробнее читайте в статье Мэтью Даггана «Быстрый поиск неиспользуемых блоков CIDR в вашем AWS VPC».

ec2-spot-interrupter-cli

ec2-spot-interrupter-cli — это аккуратный инструмент, предоставляющий интерфейс командной строки для моделирования прерываний EC2 Spot Instances с помощью AWS Fault Injection Simulator (FIS).

amazon-cloudwatch-retention-period-setter

amazon-cloudwatch-retention-period-setter По умолчанию все журналы, хранящиеся в группах журналов Amazon CloudWatch, хранятся неограниченное время, а их период хранения установлен на Never Expire, что может привести к чрезмерным расходам. Чтобы сократить расходы на хранение, клиентам следует рассмотреть возможность изменения периода хранения по умолчанию. Изменение периода хранения групп журналов Amazon CloudWatch вручную может быть утомительным, учитывая, что необходимо отслеживать все вновь созданные группы журналов. В этом репозитории содержится решение, которое поможет вам автоматизировать эту процедуру, а также ссылки на подробное руководство по настройке.

Демонстрации, образцы и семинары

aws-global-pubsub-api

aws-global-pubsub-api Это реализация мультирегионального PubSub API реального времени на основе Serverless/Functionless WebSockets, где клиенты подписаны на определенный канал, а сообщения автоматически передаются клиентам, слушающим/подписанным на канал в обоих регионах. Управление соединениями, масштабируемость, расшаривание и трансляция автоматически обрабатываются региональными API AppSync.

deploy-kubernetes-resources-to-amazon-eks-using-azure-devops

deploy-kubernetes-resources-to-amazon-eks-using-azure-devops Если вы используете Azure DevOps как часть инструментария разработчика, то этот проект может быть вам интересен. Цель этого паттерна — предоставить руководство по развертыванию контейнерного приложения на кластере Amazon EKS из Azure DevOps с помощью диаграммы Helm. Шаблон может быть расширен путем модификации шаблона трубопровода, представленного здесь, для использования подключения службы трубопроводов Azure для AWS, чтобы запрашивать и использовать данные из облака AWS.

observability-with-amazon-opensearch

observability-with-amazon-opensearch это репозиторий содержит семинар, где вы узнаете, как инструментировать, собирать и анализировать метрики, трассировки и данные журналов на всем пути от пользовательских фронтэндов до бэкэндов сервисов и всего, что между ними. Сочетайте это с OpenSearch, AWS Distro for OpenTelemetry, FluentBit и Data Prepper.

aws-sagemaker-pipelines-skin-classification

aws-sagemaker-pipelines-skin-classification Этот репозиторий предназначен для настройки встроенного конвейера SageMaker для MLOps на заданный пользователем рабочий процесс. В данном случае мы рассматриваем пример использования компьютерного зрения для классификации поражений кожи. Это пошаговое руководство по адаптации существующего кода к конвейеру CI/CD в AWS SageMaker Studio.

amazon-elasticache-demo-using-aws-cdk

amazon-elasticache-demo-using-aws-cdk это репо содержит код для развертывания Amazon Elasticache для Redis с помощью AWS Cloud Development Kit (AWS CDK). В демо-версии конфигурируется хост для веб-приложения с помощью Amazon Elastic Compute Cloud (Amazon EC2). Мы загружаем большой набор данных в базу данных MySQL, размещенную на Amazon Relational Database Service (Amazon RDS). Для кэширования запросов мы используем Amazon ElastiCache for Redis. На следующей архитектурной диаграмме показаны компоненты решения и их взаимодействие.

Сообщения в блогах AWS и сообщества

Smithy

Smithy — это язык определения интерфейса с открытым исходным кодом и набор инструментов, позволяющий разработчикам создавать клиенты и серверы на нескольких языках. Адам Томас делится своими восторгами по поводу предварительной версии генераторов серверов и клиентов Smithy для TypeScript в своем посте Smithy Server and Client Generator for TypeScript (Developer Preview). Это позволит разработчикам писать лаконичный, безопасный для типов код в той же манере model-first, которую использует AWS для разработки своих сервисов. Рекомендуем прочитать на этой неделе. [hands on]

Apache Livy

Apache Livy — это сервис, который позволяет легко взаимодействовать с кластером Spark через REST-интерфейс. В статье Access Apache Livy using a Network Load Balancer on a Kerberos-enabled Amazon EMR cluster Бхарат Гамини и Джон Беннингхофф обсуждают, как обеспечить доступ к Livy с помощью Kerberos ticket для внешних систем, таких как Airflow и Notebooks. [практическое занятие]

OpenSearch

Шахар Шакед подготовил эту запись в блоге, Introducing open-source Kubernetes Operator for OpenSearch, в которой рассматривается оператор OpenSearch. Это полностью открытый Kubernetes Operator, лицензированный как Apache 2.0, и используется для автоматизации развертывания, обеспечения, управления и оркестровки кластеров OpenSearch и приборных панелей OpenSearch.

Ray

Ray — это фреймворк с открытым исходным кодом (лицензия Apache 2.0) для создания и масштабирования распределенных приложений. В статье Анонс Amazon CloudWatch для Ray Даниэль Йео и Ицинь (Миранда) Жу рассказывают о том, как с помощью CloudWatch для Ray вы можете развернуть свои приложения Ray в продакшене на Amazon EC2 и следить за их состоянием с помощью метрик, журналов и сигналов тревоги практически в режиме реального времени.

Terraform

Отличная статья от Andrew Wasilczuk на Scale Factory, которая показывает, как можно использовать Terraform для автоматизации развертывания и настройки AWS Control Tower. Если вы хотите автоматизировать процесс развертывания и конфигурирования AWS Control Tower, вам необходимо прочитать статью, Подходит ли AWS Control Tower для пользователей Terraform?

AWS Copilot

В посте AWS Copilot GitHub Actions, AWS Community Builder Sivamuthu Kumar показывает, как вы можете использовать AWS Copilot, интерфейс командной строки с открытым исходным кодом, который упрощает разработчикам создание, выпуск и эксплуатацию готовых к производству контейнерных приложений на AWS, вместе с GitHub actions. [hands on]

AWS Amplify

Использование Open Source AWS Amplify JS с Cognito для защиты Angular Apps — это пост от Гилада Давида Мааяна, в котором рассказывается о том, как настроить поток аутентификации Cognito UserPools JWT и как он будет интегрирован с Angular Web Application. [hands on]

VSCode

Code-server — это популярный проект с открытым исходным кодом, который позволяет вам получить доступ к VS Code через браузер. Sofian Hamiti и Prayag Singh сделали еще один шаг вперед и совместно написали пост Hosting VS Code on SageMaker Studio, в котором они рассказывают о развертывании VS Code в SageMaker Studio. [hands on]

Locust

Locust — это инструмент нагрузочного тестирования с открытым исходным кодом, о котором я рассказывал в предыдущих информационных бюллетенях. Он поставляется с приборной панелью реального времени и программируемыми сценариями тестирования.

В статье «Нагрузочное тестирование рабочей нагрузки на Amazon EKS с помощью Locust» Шон Ли, Чон Ёль Ли, Сеунджэ Ли, Вонтаг Хан и Джонас Ву описывают шаги по созданию двух кластеров Amazon EKS, одного для создания нагрузки с помощью Locust и другого для запуска образца рабочей нагрузки. Вы можете использовать это в качестве основы для своей собственной установки. [hands on]

Kubernetes

В посте Introducing Kubernetes Resource View in Amazon EKS console — пост от Paavan Mistry и Matt DePietro, в котором рассматривается обновление в консоли Amazon EKS, благодаря которому вы сможете видеть все типы ресурсов Kubernetes API, запущенные в ваших кластерах Amazon EKS, что упрощает визуализацию и устранение неполадок в приложениях Kubernetes с помощью Amazon EKS.

Я также нашел этот пост от партнера AWS компании Weaveworks, Weaveworks & AWS: Best Practices for Hybrid Cloud Kubernetes with EKS and Weave GitOps, в котором представлен обзор и ссылки на технический документ о передовом опыте использования Hybrid Cloud Kubernetes с EKS. Абсолютно необходимое чтение, если вы используете Amazon EKS.

AWS Distro для OpenTelemetry

AWS Distro for OpenTelemetry (ADOT) — это безопасный, поддерживаемый AWS дистрибутив проекта OpenTelemetry. Viji Sarathy и Imaya Kumar Jagannathan собрались вместе, чтобы написать «Сбор метрик и трасс из Amazon ECS с помощью AWS Distro for OpenTelemetry with Dynamic Service Discovery», показывающий, как можно развернуть один экземпляр ADOT Collector на кластере Amazon ECS и собирать метрики Prometheus с рабочих нагрузок, которые были динамически обнаружены, используя преимущества интеграции между Amazon ECS и AWS Cloud Map. [hands on].

Другие посты, на которые стоит обратить внимание

  • Автоматизация обслуживания и мониторинга интервальных разделов в Amazon RDS для PostgreSQL и Amazon Aurora PostgreSQL демонстрирует, как настроить интервальные разделы в базе данных Aurora PostgreSQL с помощью расширений PostgreSQL, таких как pg_partman и pg_cron
  • AWS объявляет о поддержке игр для Android, iOS и MacOS с помощью AWS GameKit для Unreal Engine — обновление, в котором рассказывается о том, как AWS GameKit теперь поддерживает игры для Android, iOS и MacOS, разработанные с помощью Unreal Engine
  • Ускорение гибридных квантово-классических алгоритмов на Amazon Braket с помощью встроенных симуляторов от Xanadu’s PennyLane на базе NVIDIA cuQuantum — что такое квантовые встроенные симуляторы и как их можно использовать

Тематические исследования

  • Ogury использует технологии с открытым исходным кодом на AWS для запуска машинного обучения с низкой задержкой — это отличный кейс, демонстрирующий, как Ogury, компания, занимающаяся персонифицированной рекламой, использует машинное обучение (ML) с открытым исходным кодом на AWS для обеспечения запланированных 300 000 выводов в секунду с задержкой в 10 мс.

Быстрые обновления

PostgreSQL

Amazon Relational Database Service (Amazon RDS) for PostgreSQL объявляет о поддержке PostgreSQL 14 с тремя уровнями каскадных реплик чтения, 5 реплик на экземпляр, поддерживая максимум до 155 реплик чтения на экземпляр источника. Теперь вы можете создавать экземпляры БД с одной или несколькими каскадными репликами чтения в одном регионе или в любом другом регионе, пересекающемся с другим экземпляром реплики чтения, что позволит вам построить более надежную архитектуру аварийного восстановления.

Начиная с версии Amazon RDS для PostgreSQL 14.1 и выше, рабочие нагрузки с интенсивным чтением, такие как анализ данных, теперь могут воспользоваться преимуществами 155 каскадных реплик чтения, которые обеспечивают в 30 раз большую емкость чтения по сравнению с предыдущими версиями PostgreSQL, тем самым снижая нагрузку на исходный экземпляр. Теперь вы также можете предварительно создавать реплики чтения для выбранной целевой реплики чтения для аварийного восстановления и использовать масштабирование чтения сразу после продвижения цели. Каскадированные реплики чтения также поставляются с возможностью включения автоматического резервного копирования, что позволяет ускорить продвижение реплики чтения в исходный экземпляр, поскольку для продвигаемой реплики чтения требуется только инкрементный снимок.

AWS SAM

Теперь вы можете использовать AWS Serverless Application Model (AWS SAM) CLI для включения трассировки AWS X-Ray в шаблонах AWS SAM автоматически, без ручного создания шаблонов AWS SAM. Это упрощает централизованное управление трассировкой AWS X-Ray для всех функций Lambda в вашем бессерверном приложении.

AWS SAM CLI — это инструмент разработчика, облегчающий инициализацию, сборку, упаковку, тестирование на локальном и облачном уровнях и развертывание бессерверных приложений. AWS X-Ray помогает анализировать и отлаживать распределенные приложения, например, построенные с использованием архитектуры микросервисов. AWS X-Ray обеспечивает сквозное представление запросов по мере их прохождения через ваше приложение, что облегчает мониторинг и устранение неполадок в сложных бессерверных архитектурах. Включение трассировки через AWS SAM CLI снижает сложность настройки трассировки на каждой из ваших функций Lambda.

Чтобы включить трассировку через AWS SAM CLI, просто добавьте флаг —tracing к вызову команды sam init, чтобы активировать трассировку. Вы можете включить трассировку для всех функций Lambda в вашем приложении AWS SAM или для определенных функций.

Видео недели

.NET Core

Стивен Дэвид поможет вам узнать о Porting Assistant for .NET — инструменте анализа, который сканирует приложения .NET Framework и выдает оценку совместимости с .NET Core, помогая вам быстрее переносить приложения на облачные сервисы.

События для вашего ежедневника

События, предстоящие в ближайшие несколько недель. Я буду участвовать в AWS Summit Berlin и KubeCon, так что если вы тоже будете участвовать, дайте мне знать — было бы здорово встретиться с некоторыми из вас лично.

День контейнеров AWS
10-13 мая

Не за горами KubeCon, а за несколько дней до него AWS проводит ежегодное мероприятие Container Day, в рамках которого мы проводим ряд отличных сессий, охватывающих все, что вам нужно знать о работе контейнеров на AWS. Вы можете ознакомиться с записью в блоге, Save the date: AWS Containers events in May, где приведены ссылки и более подробная информация. Хотя вам не нужно регистрироваться, поскольку эти мероприятия будут транслироваться в прямом эфире, регистрация позволит вам установить напоминание и приглашение в календарь, чтобы не пропустить ни одну из этих замечательных сессий.

Если вы хотите ознакомиться с расписанием докладчиков и тем, посмотрите AWS Container Day with Docker и AWS Container Days @ KubeCon + CloudNativeCon Europe 2022, чтобы получить полную информацию.

Берлинский саммит AWS
11/12 мая

Помимо сессий AWS с открытым исходным кодом (включая меня, снова рассказывающего об Apache Airflow), у нас будет наш собственный Spot и я, которые будут работать на стенде с открытым исходным кодом. Мы с нетерпением ждем этого и будем рады, если вы придете и поделитесь своими проектами с открытым исходным кодом на нашем стенде.

Страница регистрации на AWS Berlin Summit

KubeCon
16-20 мая, Валенсия, Испания

Флагманская конференция Cloud Native Computing Foundation собирает последователей и технологов из ведущих сообществ open source и cloud native в Валенсии, Испания, с 16 по 20 мая 2022 года. Я буду там вместе со многими из команды разработчиков открытого кода и другими коллегами из AWS, так что если вы собираетесь туда, обязательно загляните на стенд AWS.

Узнайте больше о мероприятии здесь.

GitOpsCon Europe
17 мая, Валенсия, Испания

GitOpsCon Europe призван способствовать сотрудничеству, обсуждению и обмену знаниями по GitOps. Мероприятие рассчитано на аудиторию, как новичков в GitOps, так и тех, кто уже использует GitOps в своей организации. Общайтесь с теми, кто неравнодушен к GitOps. Узнайте от специалистов-практиков о подводных камнях, которых следует избегать, препятствиях, которые необходимо преодолеть, и о том, как внедрить GitOps в вашей облачной среде.

Мероприятие не имеет отношения к поставщикам и организовано рабочей группой CNCF GitOps. Темы включают начало работы с GitOps, масштабирование и управление GitOps, уроки, извлеченные из производственных развертываний, технические сессии и лидерство мысли.

Подробнее об этом можно прочитать на официальной странице здесь.

День CDK
26 мая — Виртуальный

Это организованное сообществом мероприятие, посвященное AWS CDK, cdktf, projen и cdk8s. Это будет уже третий год, когда они проводят это мероприятие, и если предыдущие два ничего не значат, то это будет обязательным для просмотра — прямая трансляция через You Tube. Загляните и зарегистрируйтесь на мероприятие на их домашней странице https://www.cdkday.com/.

BOSC 2022
13-14 июля, Мэдисон, Висконсин, США

Конференция по биоинформатике с открытым исходным кодом (BOSC) проводится ежегодно с 2000 года, и в этом году AWS гордится тем, что является платиновым спонсором этого мероприятия. BOSC охватывает все аспекты открытого программного обеспечения для биоинформатики и открытой науки, включая (но не ограничиваясь) такие темы, как открытая наука и воспроизводимые исследования, открытые биомедицинские данные, гражданская/партиципативная наука, стандарты и совместимость, рабочие процессы науки о данных, открытые подходы к трансляционной биоинформатике, инструменты и библиотеки для разработчиков, инклюзия, а также информационно-просветительская деятельность и обучение. Это гибридное мероприятие (очное/виртуальное), и вы можете узнать больше, посетив страницу мероприятия, BOSC 2022.

OpenSearch
Каждый вторник, 15:00 GMT

Эта регулярная встреча для всех, кто интересуется OpenSearch и Open Distro. Приветствуются все уровни подготовки, а также выступления на такие темы, как: поиск, логирование, аналитика логов и визуализация данных.

Зарегистрируйтесь на следующую сессию, Встреча сообщества OpenSearch — февраль 2022 г.

OpenSearchCon 2022
21 сентября 2022 года в Сиэтле

Приходите на первый ежегодный OpenSearchCon!

Эта однодневная конференция будет наполнена докладчиками, которые создают и внедряют инновации в OpenSearch. Неважно, только ли вы начинаете свой путь в OpenSearch, управляете огромными кластерами или вносите тонны кода; это мероприятие для всех. Присоединяйтесь к нам, чтобы отпраздновать прогресс и заглянуть в будущее проекта. Вход бесплатный, а регистрация будет открыта в ближайшие несколько недель. Все, что вам нужно будет сделать, это зарегистрироваться и приехать в Сиэтл!

Ознакомьтесь с полной информацией, включая регистрацию и место проведения, на странице встречи здесь.

Оставайтесь на связи с открытым исходным кодом в AWS

Надеюсь, это краткое изложение было полезным. Не забудьте заглянуть на домашнюю страницу Open Source, чтобы быть в курсе всей нашей деятельности в области открытого исходного кода, следите за нами на @AWSOpen.

Оцените статью
Procodings.ru
Добавить комментарий