Информационный бюллетень NLP@AWS 05/2022

Здравствуйте, мир! Это ежемесячный бюллетень AWS Natural Language Processing(NLP), охватывающий все, что связано с NLP в AWS. Не стесняйтесь оставлять комментарии и делиться им в своих социальных сетях.

Совместный семинар AWS / Hugging Face

Недавно состоялся совместный семинар AWS/Hugging Face, который теперь доступен на YouTube, посвященный тому, как «Ускорить вывод BERT с помощью дистилляции знаний и AWS Inferentia».

В ходе семинара вы узнаете о применении дистилляции знаний для сжатия большой модели до маленькой, а затем от маленькой модели до оптимизированной нейронной модели, готовой к запуску на AWS Inferentia. Сочетание уменьшения размера модели и улучшений в области выводов с помощью пользовательского кремния Inferentia позволило сократить время задержки со 100 мс+ до 5 мс+ — улучшение в 20 раз!

На семинаре были рассмотрены следующие вопросы:

  • Применение дистилляции знаний с использованием BERT-large в качестве учителя и MiniLM в качестве ученика
  • Компиляция модели Hugging Face Transformer с помощью AWS Neuron для AWS Inferentia
  • Развертывание дистиллированной и оптимизированной модели в Amazon SageMaker для быстрых выводов производственного уровня.

На YouTube-канале Hugging Face есть отличный набор презентаций и обучающих материалов, которые стоит просмотреть в каталоге и подписаться на новые видео.

Истории успеха клиентов НЛП

Как Searchmetrics использует Amazon SageMaker для автоматического поиска релевантных ключевых слов и повышения скорости работы аналитиков на 20%

Searchmetrics — глобальный поставщик поисковых данных, программного обеспечения и консалтинговых решений, помогающий клиентам превращать поисковые данные в уникальные бизнес-понятия. На сегодняшний день Searchmetrics помогла более чем 1000 компаний, таким как McKinsey & Company, Lowe’s и AXA, найти преимущество в гиперконкурентной среде поиска.

В 2021 году компания Searchmetrics обратилась к AWS за помощью в использовании искусственного интеллекта (ИИ) для дальнейшего улучшения возможностей поисковой аналитики.

В этой статье рассказывается о том, как Searchmetrics создала решение на основе искусственного интеллекта, которое повысило эффективность работы персонала на 20% за счет автоматического поиска релевантных ключевых слов для любой заданной темы, используя Amazon SageMaker и его встроенную интеграцию с Hugging Face.

В новостях : Генерирование иллюстраций из письменного описания

Компания OpenAI анонсировала DALL-E 2 — преемника системы DALL-E, которую они анонсировали в прошлом году и которая может создавать реалистичные изображения и произведения искусства на основе описания на естественном языке. DALL-E 2 изучает взаимосвязь между изображениями и текстом, используемым для их описания. Он использует процесс под названием «диффузия», который начинается с узора из случайных точек и постепенно изменяет этот узор в сторону изображения, когда распознает определенные аспекты этого изображения. Создаваемые изображения соответствуют ожидаемым, но позволяют в запросе указать стиль рисунка, например, два изображения ниже — «Астронавт верхом на лошади», причем один запрос заканчивается «как карандашный рисунок», а другой — «фотореалистичный стиль».

Другие примеры позволяют сделать более детальные и тонкие запросы, например, «енот-астронавт с космосом, отражающимся на стекле его шлема, мечтающий о звездах» дает изображение, которое, кажется, передает запрошенную эмоцию, но при этом удачно сочетает несколько изображений, сохраняя пропорции.

Более подробную информацию можно найти в блоге OpenAI, анонсирующем DALL-E 2, в основе которого лежит исследовательская работа Hierarchical Text-Conditional Image Generation with CLIP Latents.

В новостях : ИИ наконец-то понимает шутки

По мере того, как обработка естественного языка продолжает развиваться, она вышла за рамки определения сущностей, намерений или простых чувств и теперь находится на том этапе, когда она может «понять» и объяснить шутку:

Хотя шутки, возможно, не самые лучшие (ученым, создавшим их, лучше бы остаться на основной работе), объяснение шутки моделью приводит к интересным возможностям. Хотя это все еще очень исследовательский проект, его применение в чат-ботах для обслуживания клиентов может, например, дать лучшие результаты, чем слишком буквальное восприятие комментариев язвительного клиента.

Сама модель построена на основе языковой модели Pathways Language Model (PaLM) от Google, которая была масштабирована до 540 миллиардов параметров, чтобы достичь такого уровня понимания.

Прочтите исходный пост в блоге или погрузитесь еще глубже, прочитав статью о PaLM.

Заметки о NLP из блога AWS Machine Learning Blog

Создание виртуального агента по одобрению кредитов с помощью Amazon Lex, Amazon Textract и Amazon Connect

Банковские и финансовые учреждения рассматривают тысячи кредитных заявок в неделю. В этой статье блога описывается, как финансовые учреждения могут быстро и эффективно ускорить этот процесс, снизить затраты и обеспечить лучший клиентский опыт за счет более быстрого принятия решений, используя ряд услуг искусственного интеллекта, доступных в AWS. Хотя приведенный сценарий относится к сфере финансовых услуг, необходимость предоставления документации и доказательств в виде банковских выписок, счетов за коммунальные услуги и т.д. применима к ряду бизнес-процессов, таких как выдача разрешений на строительство, прием на работу или государственные процессы, например, получение паспорта.
В этой статье описывается реализация бессерверной модели с использованием Amazon Connect, Amazon Lex и Amazon Textract, а также других бессерверных возможностей, таких как Amazon API Gateway и AWS Lambda, для быстрого развертывания работающего решения.

Приведенная выше модель решения будет знакома многим, кто создает бессерверные веб-приложения на AWS. В этой статье рассказывается об интеграции возможностей обработки естественного языка и интеллектуальной обработки документов в такое приложение.

Создание пользовательского распознавателя сущностей для PDF-документов с помощью Amazon Comprehend

Идентификация сущностей является ключевой частью многих рабочих процессов интеллектуальной обработки документов, будь то создание маркированного набора документов, построение индекса или запуск бизнес-процесса. Amazon Comprehend предоставляет возможность определять не только общие сущности, поддерживаемые сервисом, такие как даты, лица или местоположение, но и пользовательские сущности, связанные с вашим набором данных, такие как коды продуктов или другие специфические для бизнеса сущности.

Раньше Amazon Comprehend можно было использовать только для работы с обычными текстовыми документами, поэтому если вы хотели проанализировать документ PDF или Word, как это часто бывает, вам нужно было сначала преобразовать его в обычный текст. Это не только дополнительный шаг, но и потеря дополнительных атрибутов, связанных с положением и расположением в документе, которые можно было использовать для более эффективного распознавания. В прошлом году была объявлена поддержка Amazon Comprehend для извлечения пользовательских сущностей из собственных форматов документов, а также поддержка аннотирования учебных документов с помощью Amazon SageMaker Ground Truth.

В этой статье рассматривается процесс настройки Amazon SageMaker Ground Truth
для аннотирования документов PDF напрямую, построения пользовательской модели сущностей и использования дополнительного структурного контекста для предоставления дополнительной информации в модель, чтобы помочь идентифицировать соответствующие сущности в документах.

Тонкая настройка и развертывание модели Wav2Vec2 для распознавания речи с помощью Hugging Face и Amazon SageMaker

Автоматическое распознавание речи (ASR) в наши дни встречается повсюду, будь то помощники с голосовым управлением, такие как Alexa или Siri, транскрипция в колл-центрах, голосовые переводы и многое другое. Хотя многие сценарии могут быть эффективно обработаны с помощью готовых сервисов ИИ, таких как Amazon Transcribe, для любого специалиста по НЛП всегда полезно иметь в своем распоряжении несколько инструментов. Одним из примеров является модель Hugging Face Wav2Vec2, которая использует алгоритм коннекционистской временной классификации (CTC). Поскольку CTC — это алгоритм, основанный на символах, он имеет возможность генерировать выходные данные с последовательностью символов записи.

В этой статье блога описывается развертывание сквозного решения Wav2Vec2 на SageMaker, следующая диаграмма дает высокоуровневое представление о рабочем процессе решения.

Подход, описанный в этой статье, может быть использован для точной настройки модели Wav2Vec2 для ваших собственных наборов данных.

Модели трансформации Host Hugging Face с помощью Amazon SageMaker Serverless Inference

В этой статье блога описаны шаги по развертыванию модели Hugging Face с помощью SageMaker Serverless Inference, которая после анонса на re:Invent 2021 стала GA в прошлом месяце.
Serverless Inference объединяет существующие в SageMaker модели развертывания конечных точек вывода в реальном времени, пакетного преобразования и асинхронного вывода, чтобы упростить развертывание и масштабирование ML-моделей.
Помимо описания процесса развертывания ряда популярных моделей Hugging Face на Serverless Inference, в статье анализируется относительная стоимость по сравнению с конечной точкой вывода в реальном времени на экземпляре ml.t2.medium, демонстрируя экономию, которую можно получить для моделей с прерывистым или низким уровнем доступа.

Идентификация перефразированного текста с помощью Hugging Face на Amazon SageMaker

Идентификация перефразированного текста, когда один фрагмент текста является кратким изложением другого, может иметь широкий спектр применения в обработке естественного языка. Например, выявляя перефразированные предложения, система обобщения текста может удалить избыточную информацию, выявить плагиат, или использовать для выявления перекрестных ссылок между несколькими документами.

Более сложные и эффективные модели успешно выявляют перефразирование, в котором используется значительно отличающийся язык, или определяют отрывки, имеющие лексическое сходство, но противоположные значения, например, такие противоположности, как ‘I took a flight from New York to Paris’ vs ‘I took a flight from Paris to New York’.

В этой статье блога рассматривается создание такой модели, тонкая настройка трансформатора Hugging Face и выполнение модели на Amazon SageMaker. Он строит сценарий на основе набора данных PAWS (который содержит пары предложений с высоким лексическим перекрытием), а также демонстрирует использование модели Serverless Inference, о которой говорилось выше. Это будет отличной отправной точкой для любых наборов данных, которые вам нужно обработать в своей работе.

Оцените статью
Procodings.ru
Добавить комментарий