AWS Glue: что это такое и как это работает?

AWS Glue — это служба интеграции данных, которая подготавливает данные для аналитики, разработки приложений и машинного обучения с помощью так называемого процесса точного преобразования, трансформации и загрузки (ETL). 

Будучи полностью бессерверным облачным сервисом, AWS Glue упрощает организацию больших данных, их сбор в озера данных и хранилища, а также извлечение данных для интеграции в другие задания и процессы.

Одним словом, Glue автоматизирует процесс интеграции данных для вашего бизнеса или предприятия. Облачная вычислительная платформа ищет ваши данные, определяет форматы данных, предоставляет схемы и позволяет вам генерировать код для импорта данных в процессы загрузки и другие задачи.

В этой статье мы подробно рассмотрим AWS Glue, включая его ключевые особенности, плюсы и минусы, и многое другое.

Особенности AWS Glue

Подобно другим ETL-процессам, Glue содержит несколько особенностей:

• Более быстрая интеграция данных
• Бессерверная среда
• Автоматизация данных для больших данных 

Давайте рассмотрим эти возможности подробнее.

Более быстрая интеграция данных

Благодаря полностью автоматизированному процессу интеграция данных происходит быстрее и эффективнее. Например, вы можете извлекать, очищать, нормализовать, объединять и загружать рабочие процессы ETL, чтобы сократить время анализа данных с меньшим количеством ошибок.

Кроме того, если вы работаете в команде, ваша организация может совместно выполнять эти задачи — разделяя уже сокращенный рабочий процесс для еще большей эффективности. 

Бессерверная среда

Не имея инфраструктуры, которой нужно управлять, как клиент AWS Glue вы не имеете дополнительных серверов или расходов, за которые нужно платить. Вы платите только за ресурсы, используемые во время выполнения процессов интеграции данных.

Автоматизация данных для больших данных 

Предприятия, работающие с большими данными, часто испытывают трудности с автоматизацией данных. Но AWS Glue автоматизирует процесс интеграции данных благодаря возможности ползать по всем видам источников данных.

При необходимости команды могут использовать Glue для сканирования, управления и запуска тысяч отдельных заданий ETL. Более того, он также может автоматически генерировать код для запуска данных и загрузки других процессов.

Плюсы и минусы AWS Glue 

Теперь, когда мы обсудили основные возможности, давайте выделим плюсы и минусы. Потому что, давайте посмотрим правде в глаза, во всех ETL-сервисах всегда есть что-то хорошее и что-то не очень хорошее.

Плюсы

• Glue автоматически генерирует код —
• Бессерверный дизайн 
• Можно отлаживать журналы и извлекать неудачные задания
• Glue предлагает схемы данных 

Glue автоматически генерирует код

В отличие от других вариантов ETL, Glue автоматически генерирует код для большинства случаев, что делает его идеальным для тех, кто практически не имеет опыта кодирования.

Если вы предпочитаете писать свой собственный код, вы также можете сделать это с помощью Apache Spark (который встроен в AWS Glue).

Бессерверный дизайн

Мы уже кратко рассказывали об этом в разделе «Возможности», но бессерверная конструкция означает, что нужно меньше времени тратить на управление ресурсами и больше времени на выполнение заданий по организации данных.

Это также означает, что она, как правило, дешевле, чем жесткие варианты, так что это еще один бонус! 

Журналы можно отлаживать, а неудачные задания извлекать. 

Если ETL-задание идет не по плану, неудачные задания можно не только извлечь, но и отладить, чтобы предотвратить повторение проблемы в будущем. 

Отладка позволяет поддерживать работу по интеграции данных с минимальными перерывами и максимальной эффективностью. 

Клей предполагает схемы данных 

Схемы данных описывают, как ваши данные хранятся в базе данных. Вы будете использовать несколько схем для упорядочивания различных наборов данных, и при использовании других вариантов программного обеспечения вы часто остаетесь в неведении, вынужденные создавать или выбирать схемы без каких-либо указаний. 

Однако в AWS Glue схемы данных предлагаются вам — даже если вы явно не определили, что вам нужно. Это позволяет людям с ограниченными знаниями о данных с легкостью упорядочивать, хранить и интерпретировать данные. Это также экономит время тех, у кого есть опыт.

Потенциальные недостатки 

• Glue принимает только скрипты на Python или Scala. 
• Небольшой контроль и настройка ресурсов 
• Ограниченные возможности совместимости
• Может быть сложным в освоении — тем, кто знаком с Apache Spark, будет гораздо проще.

Glue принимает только скрипты на Python или Scala 

Одним из основных потенциальных недостатков AWS Glue является невозможность использования других скриптов, кроме Python или Scala.

Для большинства пользователей это не будет проблемой. Но если вы переносите свои процессы интеграции данных из более пользовательских операций, это может стать проблемой. Или, по крайней мере, небольшим неудобством, пока вы не настроите и не запустите процесс. 

Небольшой контроль и настройка ресурсов 

AWS Glue предоставляет мало возможностей для контроля и настройки ресурсов. Например, они, как правило, требуют много памяти и ориентированы на машинное обучение.

Но если вы ищете что-то очень нишевое и специфическое, то вы можете столкнуться с несколькими препятствиями на этом пути.

Ограниченные возможности совместимости 

Glue хорошо работает и отлично интегрируется с большинством источников данных, но, к сожалению, функционирует только с другими сервисами, использующими AWS. 

Это приводит к ограниченным возможностям совместимости, особенно если у вас есть различные источники данных из систем, не относящихся к AWS.

Может быть сложно в освоении

Наконец, Glue поставляется с относительно крутой кривой обучения. Если вы уже знакомы с Apache Spark, то переход будет не таким сложным. 

В Glue Apache Spark работает в фоновом режиме. Но если вы впервые слышите об этом популярном аналитическом механизме с открытым исходным кодом, вам может потребоваться некоторое время для ознакомления с облачным программным обеспечением. 

Интеграция данных, которая имеет смысл для большинства предприятий  

AWS Glue — это бессерверный сервис интеграции данных, который упрощает организацию и передачу данных с помощью пользовательского кода, схем, озер данных и других впечатляющих функций.

Glue является подходящим вариантом для управления, интерпретации и хранения больших данных для многих пользователей и предприятий — это достижение, с которым не может конкурировать другое программное обеспечение (совместимое с облаком или нет). И если вы уже пользуетесь услугами AWS (связанными с данными или нет), то попробовать Glue имеет гораздо больше смысла, чем конкурирующие варианты.