Фото лямбда: «лямбда»-штамм COVID-19 устойчив к иммунитету — Российская газета

Что это такое

Избыток воздуха в смеси измеряется весьма оригинальным способом – путем определения в выхлопных газах содержания остаточного кислорода (О₂). Поэтому лямбда зонд и стоит в выпускном коллекторе перед катализатором. Электрический сигнал датчика считывается электронным блоком управления системы впрыска топлива (ЭБУ). Тот в свою очередь оптимизирует состав смеси путем изменения количества подаваемого в цилиндры топлива.

На некоторых моделях автомобилей имеется еще один лямбда-зонд. Расположен он на выходе катализатора. Этим достигается большая точность приготовления смеси и контролируется эффективность работы катализатора.

Принцип работы

Эффективное измерение остаточного кислорода в отработавших газах лямбда-зонд обеспечивает после разогрева до температуры 300 – 400°С. Только в таких условиях циркониевый электролит приобретает проводимость. Разница в количестве атмосферного кислорода и кислорода в выхлопной трубе ведет к появлению на электродах лямбда-зонда выходного напряжения.

Особенность циркониевого лямбда-зонда — при малых отклонениях состава смеси от идеального напряжение на его выходе изменяется скачком в интервале 0,1 — 0,9 В.

Зависимость напряжения лямбда-зонда от коэффициента избытка воздуха при температуре датчика 500-800°С

Для повышения чувствительности лямбда-зондов при пониженных температурах и после запуска холодного двигателя используют принудительный подогрев. Нагревательный элемент расположен внутри керамического тела датчика и подключается к электросети автомобиля.

Если не работает

Отметим, что попытки замены неисправного устройства имитатором или применение обманок ни к чему не приведут. ЭБУ не распознает «чужие» сигналы и не использует их для коррекции состава приготавливаемой горючей смеси, т.е. попросту «игнорирует».

Лямбда зонд – наиболее уязвимый датчик машины. Его ресурс составляет 60 – 120 000 км в зависимости от условий эксплуатации и исправности двигателя. Особенно чувствителен к качеству топлива – после нескольких плохих заправок он «умирает» и больше не работает.

Обработка изображений в AWS Lambda. В этом руководстве я расскажу вам… | автор: Jeroen van Hoek

Все команды в этом руководстве должны работать в любой операционной системе, поэтому везде, где я прошу вас запустить или выполнить команду, не стесняйтесь делать это в своем любимом интерфейсе командной строки. Если есть разница для команд Unix или Windows, я покажу это, и если что-то не работает, дайте мне знать!

Если у вас уже есть Serverless, Docker и Conda на вашем компьютере, вы можете пропустить этот раздел и перейти к настройке.

Я не буду вдаваться в подробности о том, как установить необходимые компоненты, но я свяжу руководства, необходимые для того, чтобы сделать это самостоятельно. Не волнуйся, я верю в тебя.

Мы будем использовать Serverless для развертывания нашей функции Lambda позже в этом руководстве. В их кратком руководстве есть раздел с предварительными условиями, который необходимо заполнить, прежде чем двигаться дальше. Это включает в себя установку Node.js и бессерверного интерфейса командной строки, создание учетной записи AWS и настройку учетных данных для учетной записи.Не обязательно читать оставшуюся часть их краткого руководства, однако это может дать вам лучшее понимание бессерверного режима.

Установите docker из их руководства по установке. Вы можете выбрать свою операционную систему через панель навигации слева и оттуда следовать руководству. Позже мы будем использовать Docker для развертывания функции Lambda. Если мы хотим упаковать определенные библиотеки Python, нам понадобится Docker для создания образа, чтобы загрузить его в AWS.

Для Conda вы можете отследить обычную установку для вашей системы. Нет необходимости устанавливать полный пакет Anaconda, Miniconda прекрасно подойдет.

Я создал для работы папку с именем «пример манипуляции изображениями», однако не стесняйтесь придумать более оригинальное имя для вашей папки. Затем мы можем создать виртуальную среду, которую я назову «манипуляцией с изображениями». Выполнив следующую команду, Conda создаст среду, включающую две библиотеки (Pillow и Pip), которые нам понадобятся позже:

 conda create --name imagemanipulation python = 3.7 Pillow pip 

Далее мы активируем нашу виртуальную среду:

Windows: conda активировать управление изображениями

Unix / osx: источник активировать управление изображениями

Теперь ваш терминал должен показать (манипуляция изображениями) перед строка, в которой вы печатаете. И, наконец, мы создадим файл requirements.txt, это будет удобно позже:

 pip freeze> requirements.txt 

Setup

Мы будем использовать шаблон AWS python 3 from serverless (sls) для этого руководства, которое можно легко настроить, запустив:

 sls create --template aws-python3 

Это должно привести к чему-то похожему на приведенное выше.Затем мы инициируем npm и установим пакет, который мы будем использовать позже:

 npm init  (просто примите значения по умолчанию для всего)  npm install --save serverless-python-requirements 

На этом этапе ваша папка должна выглядеть что-то вроде этого:

Позже мы отредактируем handler.py и serverless.yml. Остальные файлы можно оставить без изменений.

Откройте serverless.yml в своем любимом редакторе, и вы увидите, что многие строки начинаются с символа «#».Они закомментированы, и нам не понадобится большинство из них, так что вы можете оставить их в покое. Нас интересуют следующие строки:

Измените имя службы на что-то более ваше, я выбрал предсказуемый «манипулятор изображений». Кроме того, я раскомментировал регион и установил для него значение «eu-west-1», поэтому в итоге я получил:

. Здесь вы можете проверить, какой регион подходит для вашего местоположения. Практическое правило — выбирать город, который физически ближе всего к вам. Однако не беспокойтесь об этом слишком много, наше приложение не будет полагаться на низкую задержку.

Создать

Вот и начинается самое интересное. Мы можем начать развертывание нашей функции в AWS. Мы еще не написали никакого кода, однако бессерверный шаблон, который мы использовали ранее, сгенерировал простую функцию «hello» в handler.py, которую мы будем использовать, чтобы проверить, работает ли наше развертывание. Итак, запустите:

 sls deploy 

Это может занять несколько минут в первый раз и должно вывести что-то вроде этого:

Теперь это ничего не говорит нам, кроме того, что служба была развернута в выбранном нами регионе.Мы можем проверить, действительно ли функция работает, выполнив:

 sls invoke -f hello 

Пока не очень интересный ответ, но он работает! Мы можем войти в консоль AWS, чтобы проверить развертывание функции в Lambda. Не забудьте проверить, на какой регион вы смотрите, в правом верхнем углу. Ваша функция не будет отображаться, если вы выбрали другой регион.

Отправка фотографий по электронной почте в корзину S3 с помощью AWS Lambda (с кадрированием, на Ruby)

В моем ежегодном поиске праздничных подарков я наткнулся на эту цифровую фоторамку, которая позволяет загружать фотографии по электронной почте.Довольно аккуратно, но я в конечном итоге не купил его по нескольким причинам: 1) это довольно дорого, 2) я бы доверил данные своей семьи неизвестному лицу и 3) если компания когда-нибудь обанкротится или просто решит прекратите поддерживать продукт, он может перестать работать или, по крайней мере, перестать обновляться. Но я подумал, а можно ли самому построить что-то подобное? Я сохраню полную информацию для более поздней статьи, но первое, что мне нужно было выяснить, это как перенести фотографии из электронной почты в корзину S3, которую можно было бы синхронизировать на устройстве.

Я стараюсь не отставать от различных предложений AWS, и Lambda была на моем радаре уже несколько лет, но у меня не было возможности использовать ее в гневе. Подобные услуги действительно превосходны в самых крайних аспектах веб-программного обеспечения — на низком уровне, когда вы не хотите нести расходы на постоянный сервер, и на высоком уровне, когда вы не хотите платить за целый флот из них. Большая часть нашей работы приходится на середину, где время разработчика намного дороже, чем инфраструктура хостинга, и поэтому использование более полнофункционального стека, работающего на небольшом количестве обычных серверов, обычно является лучшим вариантом.Но шлюз электронной почты на S3 — идеальный вариант использования для вычислений по требованию.

Услуги

Для работы нам необходимо подключить несколько сервисов AWS:

• Route 53 (для регистрации домена и настройки DNS)
• SES (для настройки адреса электронной почты и «набора правил», запускающего лямбда-функцию)
• S3 (для хранения содержимого входящих писем, а также полученных фотографий)
• SNS (для уведомления функции Lambda о входящем электронном письме)
• Лямбда (для обработки входящего сообщения электронной почты, извлечения фотографий, их обрезки и сохранения результатов)
• CloudWatch (для отладки проблем с кодом)
• IAM (для установки соответствующих разрешений)

Конечно, много, но складывается довольно легко:

1. Создайте пару корзин в S3, одну для электронной почты, а другую для фотографий.
2. Зарегистрируйте домен («хостинговую зону») в Route 53.
3. Перейдите в Простая служба электронной почты> Домены и подтвердите новый домен, выбрав домен, который вы только что зарегистрировали в Route 53.
4. Перейдите в интерфейс «наборов правил» SES и нажмите «Создать правило». Дайте ему имя и адрес электронной почты, на который вы хотите отправлять свои фотографии.
5. В качестве действия правила выберите «S3», а затем корзину электронной почты, которую вы создали на шаге 1 (мы должны использовать S3, а не просто вызывать функцию Lambda напрямую, потому что наши электронные письма превышают максимальный размер полезной нагрузки).Обязательно добавьте тему SNS (Simple Notification Service), чтобы она соответствовала вашему действию S3, именно так мы будем запускать нашу функцию Lambda.
6. Перейдите в интерфейс Lambda и создайте новую функцию. Дайте ему понятное для вас имя и выберите в качестве языка Ruby 2.7.
7. Создав скелетную функцию, нажмите «Добавить триггер» и выберите тему SNS, созданную на шаге 5. Вам нужно будет добавить ImageMagick в качестве слоя ¹ и увеличить объем памяти и тайм-аут (я использовал 512 МБ и 30 секунд соответственно, но вы должны использовать то, что заставляет вас чувствовать себя хорошо в вашем сердце).
8. Создайте пару переменных среды: BUCKET должно быть именем корзины S3, в которую вы хотите загружать фотографии, и AUTHORIZED_EMAILS , чтобы хранить все допустимые адреса электронной почты, разделенные точкой с запятой.
9. Предоставьте вашей функции разрешения на чтение и запись в / из двух сегментов.
10. И, наконец, код. Мы будем управлять этим локально, а не использовать веб-интерфейс, поскольку нам нужно добавить пару драгоценных камней.

Код

Итак, как я сказал буквально одно предложение назад, мы управляем кодом для этой лямбда-функции локально, поскольку нам нужно включить пару драгоценных камней: mail для анализа электронных писем, хранящихся в S3, и mini_magick для обрезки.Если вам не нужна обрезка, не стесняйтесь оставлять ее и соответствующим образом обновлять код. Без лишних слов:

Monitor AWS Lambda Functions, развернутые с использованием образов контейнеров

Бессерверная экосистема кардинально изменилась с тех пор, как начала набирать популярность среди разработчиков, которым нужен более быстрый и простой способ развертывания своих приложений. Сегодня она превратилась в убедительную стратегию создания современных продуктов корпоративного масштаба. Но по мере того, как все больше и больше организаций внедряют быстро меняющиеся технологии, у разработчиков часто остаются пробелы в видимости между ключевыми приложениями.Это делает переход на контейнеры или бессерверные архитектуры более рискованным, полным неизвестных и требует больше времени.

Мы создали Datadog Serverless Monitoring, чтобы помочь компаниям получить непрерывный контроль над своей бессерверной инфраструктурой, даже если экосистема продолжает расширяться. Сегодня AWS Lambda объявила о поддержке развертывания функций, упакованных в виде образов контейнеров, что означает, что еще больше компаний могут воспользоваться преимуществами бессерверной архитектуры, продолжая использовать существующие инструменты для работы с контейнерами и среды разработки.Интеграция Datadog с Lambda теперь включает поддержку функций, упакованных в виде образов контейнеров, поэтому вы можете беспрепятственно отслеживать состояние всех ваших сервисов на одной платформе, даже если ваша динамическая среда развивается.

Контейнеры позволяют изолировать микросервисы и создавать согласованные воспроизводимые среды для всех этапов разработки, тестирования и производства. В упаковке кода в образы контейнеров нет ничего нового. Фактически, наше исследование показывает, что использование контейнеров никогда не было более распространенным.Но что произойдет, если вы добавите в смесь функции AWS Lambda?

Упаковка функций AWS Lambda как образов контейнеров проста и не требует замены существующих инструментов. Например, предоставляемые AWS Lambda базовые образы с открытым исходным кодом для Node.js, Python, Ruby, Go, Java и .NET Core доступны в Docker Hub. В качестве альтернативы вы можете использовать изображение, предоставленное сообществом, или даже начать с нуля. Чтобы обеспечить прозрачность состояния вашего стека, Datadog Serverless Monitoring может отслеживать любые функции AWS Lambda, включая функции, развернутые с использованием образов контейнеров.

Чтобы начать мониторинг функции Lambda, развернутой с использованием образа контейнера, просто установите библиотеку Datadog Lambda для вашей среды выполнения непосредственно в контейнере. Например, если ваша функция использует среду выполнения Python, вы можете запустить pip install datadog-lambda , чтобы установить библиотеку Datadog Lambda для Python. Смотрите документацию для более подробной информации.

Datadog может отслеживать распределенные запросы, собирать журналы и получать метрики из любой комбинации компонентов инфраструктуры, а затем автоматически коррелировать их, предоставляя вам единое место для понимания состояния вашей системы.

Это означает, что даже если вы используете Docker, Kubernetes и Terraform сегодня для управления своей инфраструктурой, вы можете решить создать и запустить новый сервис на AWS Lambda с теми же инструментами, а затем немедленно начать его мониторинг с помощью Datadog. Благодаря сквозной распределенной трассировке и автоматической корреляции журналов Datadog вы не увидите никаких пробелов, когда представите новый сервис на основе AWS Lambda, который автоматически масштабируется в ответ на новые запросы.

При развертывании приложений в неоднородной смеси виртуальных машин, контейнеров и бессерверных функций может быть сложно справиться с этой сложностью без всестороннего мониторинга.Интеграция Datadog с AWS Lambda обеспечивает сквозную видимость всех этих разрозненных компонентов, включая любые функции, развернутые с использованием образов контейнеров, поэтому вы можете легко устранять неполадки и отслеживать самое главное: насколько хорошо ваши приложения обслуживают клиентов.

Если вы уже используете Datadog, ознакомьтесь с нашей документацией, чтобы начать мониторинг любой функции Lambda, развернутой как образ контейнера. В противном случае, начните с 14-дневной полнофункциональной бесплатной пробной версии сегодня.

Изменение размера изображения на лету с помощью Lambda и S3

19 августа 2021 г.

Обработка больших изображений всегда была моей головной болью с тех пор, как я начал писать код. В последнее время это начало оказывать огромное влияние на скорость страницы и SEO-рейтинг.Если на вашем веб-сайте есть плохо оптимизированные изображения, он не получит высоких оценок в Google Lighthouse. Если он не получит хороших оценок, он не появится на первой странице Google. Это отстой.

TL; DR

Я создал и выложил в открытый доступ фрагмент кода, который автоматизирует процесс создания и развертывания функции изменения размера изображения и корзины S3 с помощью одной простой команды. Посмотрите код здесь.

Но если вы хотите продолжить и научиться делать это самостоятельно, продолжайте читать.

С чего начать?

К счастью, есть способ решить проблему плохой оптимизации изображений практически без проблем.Сегодня мы создадим функцию AWS Lambda для изменения размера изображений на лету.

Изображения будут храниться в корзине S3 и после запроса будут обслуживаться из нее. Если вам нужна версия с измененным размером, вы должны запросить изображение и указать высоту и ширину. Это вызовет функцию. Он захватит существующее изображение, изменит его размер, вернет его обратно в корзину, а затем подаст из корзины.

В этом сценарии размер изображения для заданного набора измерений будет изменен только один раз. Каждый последующий запрос к изображению такого размера будет обслуживаться из корзины.Довольно круто, да? Вот диаграмма, потому что кто не любит диаграммы.

Поскольку я уже предполагаю, что вы знаете, как использовать Serverless Framework и уже познакомились с основами бессерверной архитектуры, Docker и AWS, я сразу перейду к сути вещей. Вот обзор того, что мы будем делать.

• Создание структуры проекта
• Создать файл секретов
• Запишите конфигурацию функции AWS Lambda
• Записать исходный код функции AWS Lambda
• Запись конфигурации сегмента S3
• Развертывание с помощью Docker
• Тест с Dashbird

Примечание : пожалуйста, установите Docker и Docker Compose, прежде чем продолжить изучение этого руководства.

Самое смешное, что нам нужно использовать Docker для развертывания этой службы из-за Sharp. Этот модуль изменения размера изображения имеет двоичные файлы, которые должны быть созданы в той же операционной системе, в которой он будет работать. Поскольку AWS Lambda работает в Amazon Linux, перед запуском sls deploy необходимо установить пакетов в инстансе Amazon Linux.

Итак, давайте построим кое-что.

Создание структуры проекта

Лучше всего объяснить эту сложную структуру с помощью изображения.

Папки зеленого цвета, а файлы синего цвета. Ознакомьтесь с репо для получения дополнительной информации.

Создать файл секретов

Мы создадим файл secrets.env в папке secrets , чтобы хранить наши секреты и внедрить их в наш контейнер Docker, как только он заработает.

  SLS_KEY = XXX # замените своим ключом пользователя IAM
SLS_SECRET = YYY # заменить на свой секрет пользователя IAM
ЭТАП = разработчик
РЕГИОН = us-east-1
ВЕДРО = images. 2.0,18,4 дюйма
  }
}
  

Нет необходимости запускать какую-либо установку, потому что нам нужно сначала запустить контейнер Docker. Обратите внимание, что мы добавляем плагин трассировки, чтобы включить X-Ray, потому что это потрясающе.

Далее, давайте создадим файл serverless.yml для настройки нашей функции.

  сервис: функции изменения размера изображения на лету

плагины:
  - безсерверная трассировка плагинов

провайдер:
  имя: aws
  время выполнения: nodejs8.10
  stage: $ {env: STAGE, 'dev'}
  профиль: serverless-admin
  трассировка: правда
  регион: $ {env: REGION, 'us-east-1'}
  среда:
    ВЕДРО: $ {env: BUCKET}
    РЕГИОН: $ {env: REGION}
  iamRoleStatements:
    - Эффект: «Разрешить»
      Действие:
        - «s3: ListBucket»
      Ресурс: "arn: aws: s3 ::: $ {env: BUCKET}"
    - Эффект: «Разрешить»
      Действие:
        - «s3: PutObject»
      Ресурс: "arn: aws: s3 ::: $ {env: BUCKET}"
    - Эффект: «Разрешить»
      Действие:
        - «xray: PutTraceSegments»
        - «xray: PutTelemetryRecords»
      Ресурс:
        - "*"

функции:
  изменить размер:
    обработчик: изменить размер.обработчик
    События:
      - http:
          путь: изменить размер
          метод: получить
  

Как вы можете видеть, мы берем кучу значений из env , а также предоставляем функции доступ к указанному нами BUCKET и некоторой рентгеновской телеметрии.

Записать исходный код функции AWS Lambda

Остался только код. Вот что мы будем делать. Поскольку изображения могут быть довольно большими и мы не хотим рисковать загрузкой нескольких мегабайт в память лямбда-функции, я покажу вам, как использовать Node.js, чтобы прочитать изображение из потока S3, направить его в Sharp, а затем снова записать обратно в S3 в виде потока.

Готовы? Давайте сделаем это в два этапа. Сначала определите вспомогательные функции, которые нам нужны для создания потоков, а затем создайте саму функцию-обработчик, которую будет вызывать наша лямбда.

  // resize.js

// требуются модули
const stream = require ('поток')
const AWS = требуется ('aws-sdk')
const S3 = новый AWS.S3 ({
  подписьVersion: 'v4'
})
const sharp = require ('резкий')

// создаем константы
const BUCKET = process.env.BUCKET
const URL = `http: // $ {process.env.BUCKET} .s3-website. $ {process.env.REGION} .amazonaws.com`

// создаем абстракцию потока чтения для загрузки данных из S3
const readStreamFromS3 = ({Bucket, Key}) => {
  return S3.getObject ({Bucket, Key}). createReadStream ()
}
// создаем абстракцию потока записи для загрузки данных в S3
const writeStreamToS3 = ({Bucket, Key}) => {
  const pass = новый поток.
  возвращение {
    writeStream: пройти,
    uploadFinished: S3.upload ({
      Тело: пройти,
      Ведро,
      ContentType: 'image / png',
      Ключ
    }).обещать()
  }
}
// резкое изменение размера потока
const streamToSharp = ({ширина, высота}) => {
  вернуться диез ()
    .resize (ширина, высота)
    .toFormat ('png')
}
  

Здесь мы определяем константы и функции-конструкторы для наших потоков. Важно отметить, что в S3 нет метода по умолчанию для записи в хранилище с помощью потока. Итак, вам нужно создать его. Это можно сделать с помощью помощника stream.PassThrough () . Приведенная выше абстракция запишет данные в поток и разрешит обещание, как только это будет выполнено.

Давайте посмотрим на обработчика. Вставьте его прямо под приведенный выше код.

  exports.handler = async (event) => {
  const key = event.queryStringParameters.key
  // сопоставить строку вида: '/1280x720/image.jpg'
  const match = key.match (/ (\ d +) x (\ d +) \ / (. *) /)
  // получаем размеры нового изображения
  const width = parseInt (совпадение [1], 10)
  const height = parseInt (совпадение [2], 10)
  const originalKey = match [3]
  // создаем новое имя изображения, обратите внимание, что у него есть '/' - S3 создаст каталог
  const newKey = '' + ширина + 'x' + высота + '/' + originalKey
  const imageLocation = `$ {URL} / $ {newKey}`

  пытаться {
    // создаем потоки чтения и записи из S3 и в S3, а также поток Sharp resize
    const readStream = readStreamFromS3 ({Bucket: BUCKET, Key: originalKey})
    const resizeStream = streamToSharp ({ширина, высота})
    const {
      writeStream,
      uploadFinished
    } = writeStreamToS3 ({Bucket: BUCKET, Key: newKey})

    // запускаем поток
    readStream
      .труба (resizeStream)
      .pipe (writeStream).

    // ждем завершения потока
    const uploadedData = ожидание загрузкиFinished

    // записываем данные в Dashbird
    console.log ('Данные:', {
      ... загруженные данные,
      BucketEndpoint: URL,
      ImageURL: imageLocation
    })

    // возвращаем 301 редирект на вновь созданный ресурс в S3
    возвращение {
      statusCode: '301',
      заголовки: {'location': imageLocation},
      тело: ''
    }
  } catch (err) {
    console.error (ошибка)
    возвращение {
      statusCode: '500',
      тело: эрр.сообщение
    }
  }
}
  

Параметры строки запроса будут выглядеть так: /1280x720/image.jpg . Это означает, что мы получаем размеры изображения из параметров, используя соответствие регулярному выражению. В качестве значения newKey устанавливаются размеры, за которыми следуют / и исходное имя изображения. Это создаст новую папку с именем 1280x720 с изображением image.jpg в ней. Довольно круто.

Как только мы запускаем потоки и ждем обещания разрешения, мы можем выйти из системы и вернуть 301 редирект на расположение изображения в корзине.Обратите внимание, что в следующем абзаце мы включим статический хостинг веб-сайтов в нашей корзине.

## Запись конфигурации сегмента S3

Конфигурация корзины в основном будет состоять из шаблонов CloudFormation по умолчанию, поэтому, если вы немного устали, я бы посоветовал вам немного освежиться. Но суть этого достаточно проста для понимания. Откройте папку корзины и создайте файл serverless.yml .

  сервис: изменение размера изображения на лету

обычай:
  секреты: $ {файл (../secrets/secrets.json)} # будет создан в нашем скрипте deploy.sh

провайдер:
  имя: aws
  время выполнения: nodejs8.10
  stage: $ {env: STAGE, 'dev'}
  профиль: serverless-admin
  регион: us-east-1
  среда:
    ВЕДРО: $ {env: BUCKET}

Ресурсы:
  Ресурсы:
    ImageResizeOnTheFly:
      Введите: AWS :: S3 :: Bucket # создание сегмента S3.
      Характеристики:
        AccessControl: PublicReadWrite
        BucketName: $ {env: BUCKET}
        WebsiteConfiguration: # включение параметра статического веб-сайта
          ErrorDocument: ошибка.html
          IndexDocument: index.html
          RoutingRules: # указываем перенаправление при каждой ошибке 404
            -
              RedirectRule:
                HostName: $ {self: custom.secrets.DOMAIN} # домен шлюза API
                HttpRedirectCode: "307" # HTTP-код временного перенаправления
                Протокол: https
                ReplaceKeyPrefixWith: "$ {self: provider.stage} / resize? Key =" # route
              RoutingRuleCondition:
                HttpErrorCodeReturnedEquals: «404»
                KeyPrefixEquals: ""
    ImageResizeOnTheFlyPolicy:
      Тип: AWS :: S3 :: BucketPolicy # добавить политику для публичного доступа на чтение
      Характеристики:
        Ведро:
          Ссылка: ImageResizeOnTheFly
        Документ о политике:
          Заявление:
            -
              Действие:
                - «s3: *»
              Эффект: «Разрешить»
              Ресурс:
                Fn :: Присоединиться:
                  - ""
                  -
                    - "arn: aws: s3 :::"
                    -
                      Ссылка: ImageResizeOnTheFly
                    - "/ *"
              Главный: "*"
  

Как только мы включим параметр хостинга статических веб-сайтов в нашей корзине, он будет вести себя как любой веб-сайт.Это позволяет нам обслуживать изображения из него и использовать правило перенаправления ошибок 404.

Если изображение не найдено, сегмент вызовет 404, который перенаправляет на нашу лямбда-функцию. Затем измените размер исходного изображения до требуемых размеров и поместите его обратно в корзину по точному маршруту, по которому оно было запрошено.

Как по волшебству!

Развертывание с помощью Docker

А вот и самое интересное! Мы создадим файл Dockerfile и docker-compose.yml , чтобы создать наш контейнер Amazon Linux и загрузить его с помощью .Значения env . Это просто. Самой сложной частью будет написание сценария bash для запуска всех команд и развертывания нашей функции и корзины.

Начиная с Dockerfile , вот что вам нужно добавить.

  ОТ amazonlinux

# Создать каталог развертывания
WORKDIR / развертывание

# Установить системные зависимости
ЗАПУСТИТЬ yum -y install make gcc *
ЗАПУСК curl --silent --location https://rpm.nodesource.com/setup_8.x | баш -
ЗАПУСТИТЬ yum -y install nodejs

# Установить бессерверный
ЗАПУСТИТЬ npm install -g serverless

# Копировать исходный код
КОПИРОВАТЬ..

# Установить зависимости приложений
RUN cd / deploy / functions && npm i --production && cd / deploy

# Запустить сценарий развертывания
CMD ./deploy.sh; спать 5м
  

Поскольку Amazon Linux довольно прост, нам нужно сразу установить и gcc, и Node.js. Тогда это так же просто, как любой Dockerfile, который вы видели. Установите Serverless Framework глобально, скопируйте исходный код, установите модули npm в каталог functions и запустите сценарий deploy.sh .

Файл docker-compose.yml буквально используется только для загрузки значений .env .

  версия: "3"
Сервисы:
  изменение размера изображения на лету:
    строить: .
    объемы:
      - ./secrets:/deploy/secrets
    env_file:
      - ./secrets/secrets.env
  

Вот и все. Часть Docker готова. Напишем баш.

Начнем с простого, мы определим начальные переменные, настроим нашу бессерверную установку и развернем нашу функцию.

  # deploy.sh

# переменные
stage = $ {STAGE}
регион = $ {REGION}
ведро = $ {BUCKET}
секреты = '/ развертывание / секреты / секреты.json'

# Настройте бессерверную установку для связи с вашей учетной записью AWS
учетные данные конфигурации sls \
  --provider aws \
  --key $ {SLS_KEY} \
  --secret $ {SLS_SECRET} \
  --profile serverless-admin

# cd в functions dir
компакт-диск / развертывание / функции

# Развернуть функцию
эхо "------------------"
echo 'Функция развертывания ...'
эхо "------------------"
sls развертывание
  

После того, как мы его развернем, нам нужно получить доменное имя нашей конечной точки API Gateway и поместить его в секреты .json , который будет загружен в наш файл serverless.yml из каталога bucket . Для этого я просто применил магию регулярных выражений. Добавьте его в конец файла deploy.sh .

  # найти и заменить конечную точку службы
если [-z $ {stage + dev}]; затем эхо «Сцена сброшена.»; else echo "Stage установлен на '$ stage'."; фи

sls info -v | grep ServiceEndpoint> domain.txt
sed -i 's @ ServiceEndpoint: \ https: \ / \ / @@ g' domain.txt
sed -i "s @ / $ stage @@ g" домен.текст
домен = $ (cat domain.txt)
sed "s @ .execute-api. $ region.amazonaws.com @@ g" domain.txt> id.txt
id = $ (cat id.txt)

эхо "------------------"
echo "Домен:"
эхо "$ домен"
эхо "------------------"
echo "API ID:"
эхо "$ id"

rm domain.txt
rm id.txt

echo "{\" ДОМЕН \ ": \" $ domain \ "}"> $ secrets
  

Теперь у вас есть файл secrets.json в каталоге secrets . Осталось только запустить развертывание корзины. Вставьте этот последний фрагмент в конец файла развертывания .sh скрипт.

  компакт-диск / развертывание / ведро

# Развернуть конфигурацию корзины
эхо "------------------"
echo 'Развертывание корзины ...'
sls развертывание

эхо "------------------"
echo 'Конечная точка сегмента:'
echo "http: //$bucket.s3-website.$region.amazonaws.com/"

эхо "------------------"
echo «Служба развернута. Для выхода нажмите CTRL + C».
  

Вот и все! Кодирование сделано. Вы поверите, что сейчас нам нужно запустить только одну команду? Откройте окно терминала в корне вашего проекта и запустите:

  $ docker-compose up --build
  

Позвольте ему творить чудеса, и вы увидите, как все создается автоматически! Обратите внимание, что терминал покажет вам конечную точку сегмента, которую вы будете использовать для доступа к изображениям.

Тест с Dashbird

Последний шаг — проверить, все ли работает. Давайте загрузим изображение в корзину, чтобы нам было что изменить. Найдите изображение, которое вам нравится, и вы хотите изменить его размер, или просто возьмите это.

Он довольно большой, размером около 6 МБ. Вот команда, которую вы хотите запустить, чтобы загрузить его.

  $ aws s3 cp --acl public-read ИЗОБРАЖЕНИЕ s3: // ВЕДРО
  

Итак, если имя вашей корзины — изображений — , а имя — the-earth.jpg , то он должен выглядеть так, если вы запустите команду из каталога, в котором находится изображение.

  $ aws s3 cp --acl public-read the-earth.jpg s3: // images
  

Имейте в виду, что на вашем компьютере должен быть установлен интерфейс командной строки AWS или загрузить образ через консоль AWS.

Теперь попробуйте запросить изображение через ведро. Введите в браузере URL-адрес корзины S3.

  http://BUCKET.s3-website.REGION.amazonaws.com/the-earth.jpg
  

Вы увидите исходное изображение. Но теперь добавьте размеры к URL-адресу.

  http://BUCKET.s3-website.REGION.amazonaws.com/400x400/the-earth.jpg
  

Это вызовет функцию изменения размера и создаст версию изображения размером 400 × 400 пикселей. На создание потребуется несколько сотен миллисекунд, и как только это будет сделано, браузер перенаправит вас к только что созданному изображению. Когда вы попытаетесь обновить URL-адрес, вы увидите, что он загружает новое изображение без вызова функции изменения размера.

Давайте проверим логи в Dashbird и убедимся, что все работает нормально под капотом.

Выглядит нормально, но я сделал несколько ошибок новичка, когда впервые попытался настроить функцию. Один из них забыл потребовать модуль перед его использованием. К счастью, я сразу получил предупреждение, в котором объяснялось, что случилось. Оповещения Slack спасают жизнь.

Я решил проблему с помощью функции live-tailing. Это позволило мне проверить журналы вызовов с задержкой в ​​несколько секунд, чтобы я мог отладить проблему.Довольно круто.

Подведение итогов

В заключение этого небольшого сеанса showdev я хотел бы отметить невероятное использование бессерверного режима в качестве помощника для поддержки существующей инфраструктуры. Он не зависит от языка и прост в использовании.

Мы в Dashbird используем кластеры контейнеров для наших основных функций, которые активно взаимодействуют с нашими базами данных, при этом все остальное передается лямбда-функциям, очередям, потокам и другим бессерверным сервисам на AWS.

И, конечно же, вот репо еще раз. Поставьте ему звезду, если хотите, чтобы больше людей увидели его на GitHub.Если вы будете следовать приведенным там инструкциям, вы сможете мгновенно настроить микросервис для изменения размера этого изображения и запустить его в кратчайшие сроки.

Или взгляните сразу на несколько моих статей:

Я получил огромное удовольствие от написания этого фрагмента кода с открытым исходным кодом. Написание статьи тоже было не так уж и плохо! Надеюсь, вам, ребята, понравилось читать это так же, как мне понравилось писать. Если вам понравилось, оставьте комментарий ниже. До следующего раза проявите любопытство и получайте удовольствие.

Мы стремимся улучшать Dashbird каждый день, и отзывы пользователей чрезвычайно важны для этого, поэтому, пожалуйста, дайте нам знать, если у вас есть какие-либо отзывы об этих улучшениях и новых функциях! Мы были бы очень признательны!

транслируйте фотографии в цифровые фоторамки с помощью SMS с использованием AWS Lambda, Twilio и SendGrid

Один из способов стимулировать взаимодействие — использовать общие шаблоны, с которыми люди знакомы.Когда вся моя семья получила цифровые фоторамки в качестве еще одного способа оставаться на связи, пока мы находились в карантине, возникла проблема: процесс обмена фотографиями не был интуитивно понятным, так как вам требовалось составить электронное письмо со всеми адресами, назначенными цифровым. рамки, принадлежащие семье, и прикрепите к ним свои фотографии.

Чтобы улучшить взаимодействие, я взял на себя роль ИТ-поддержки семьи и создал службу текстовых сообщений, где изображения, отправленные на номер Twilio, будут транслироваться в каждый кадр изображения в семье.Используя шаблон, с которым все были знакомы, обмениваясь изображениями с помощью текстовых сообщений, мы делились сотнями фотографий хлеба, который мы испекли, младенцев в их повседневной одежде, фотографий с ностальгией из прошлого и многого другого!

В этом руководстве я покажу, как создать собственную службу загрузки цифровых фоторамок по SMS с помощью AWS, Twilio Programmable SMS и SendGrid. Приступим к строительству!

Предварительные требования

Для выполнения этого проекта вам понадобятся:

• Учетная запись Twilio.Если у вас нет учетной записи Twilio, вы можете использовать эту ссылку, чтобы получить бесплатные 10 долларов, чтобы начать работу, более чем достаточно для этого проекта.
• Учетная запись SendGrid. Вы можете зарегистрировать учетную запись SendGrid, где вы можете использовать уровень бесплатного пользования, чтобы начать работу. После создания учетной записи вам также необходимо будет создать ключ API SendGrid.
• Учетная запись AWS.
• Docker для настройки внешних зависимостей в нашей функции Lambda. Инструкции в этом посте будут использовать Unix. Если вы работаете на компьютере с Windows, вам нужно будет использовать WSL2 для создания своего лямбда-слоя.
• Цифровая фоторамка. Я использую Skylight Frame, но подойдет любой тип цифровой фоторамки, позволяющий загружать фотографии по электронной почте.

Обзор

Прежде чем писать какой-либо код, давайте подробно рассмотрим, что мы собираемся построить вместе. На изображении ниже показано, как текстовое сообщение заканчивается трансляцией в цифровой фоторамке.

Весь процесс начинается с виртуального телефонного номера Twilio. SMS-сообщения, отправленные на ваш номер Twilio, будут перенаправлены на API, встроенный в AWS.API вызовет функцию Lambda, в которой будут обрабатываться изображения из SMS-сообщений. После обработки изображений с помощью API SendGrid создается электронное письмо с изображениями, включенными в качестве вложений. Электронное письмо будет отправлено на адреса электронной почты для рамок, которые вы хотите получить. И через несколько мгновений они должны появиться у вас на кадре!

Может показаться, что это много, но не волнуйтесь, мы пройдем каждый шаг вместе! Давайте начнем!

Покупка Twilio Number

Весь процесс начинается с номера Twilio, на который можно отправлять текстовые сообщения.Если вы еще не создали учетную запись Twilio, создайте ее сейчас. Войдите в свою учетную запись Twilio и выберите номеров телефонов в меню слева. Затем выберите опцию Buy a Number .

Поскольку мы отправляем фотографии в этом проекте, убедитесь, что вы выбрали номер, который поддерживает как SMS, так и MMS. Одно примечание, в настоящее время сообщения MMS поддерживаются Twilio только для телефонных номеров в Северной Америке. Когда вы найдете номер, соответствующий этим критериям, выберите номер телефона и нажмите Купить .

Создание ресурсов AWS

К телефону вернемся позже. Теперь мы собираемся настроить ресурсы AWS для проекта. Мы собираемся использовать бессерверную функцию AWS Lambda для обработки входящих текстовых сообщений с фотографиями на ваш номер Twilio, а затем прикрепить фотографии к электронному письму, которое будет отправлено на список адресов электронной почты, связанных с выбранными вами цифровыми фоторамками. Затем мы настроим API-шлюз, чтобы помочь связать наш номер Twilio с нашей функцией Lambda.Итак, приступим к работе с нашей лямбда-функцией!

Создание функционального уровня

По умолчанию функции AWS Lambda имеют ограниченную функциональность. Для этого проекта нам понадобится доступ к паре внешних библиотек, чтобы читать фотографии и отправлять электронные письма с помощью SendGrid. Чтобы сделать эту функциональность доступной для нашей лямбда-функции, мы собираемся создать лямбда-слой. Слои — это внешний набор кода, который загружается вместе с вашей лямбда-функцией и обеспечивает дополнительную функциональность.

В частности, в этом проекте нам нужно создать Lambda Layer для sendgrid и запросов библиотек, чтобы они могли использоваться нашей функцией Lambda. Один из удобных способов создания Lambda Layer — использование Docker для создания пакета со всеми зависимостями.

Откройте новый терминал и создайте каталог, который вы будете использовать для этого проекта. В этом каталоге создайте новый путь Python, в котором будут установлены требования, как в приведенном ниже коде.

  mkdir текст-в-фрейм-слой
cd текст-в-фрейм-слой
mkdir -pv python / lib / python3.8 / сайты-пакеты
  

В каталоге уровня текста в кадр создайте новый файл requirements.txt . Этот файл будет содержать список внешних пакетов, которые вам понадобятся для этого проекта. Специально для этого проекта нам понадобятся библиотеки sendgrid и Python запросов . В файле requirements.txt введите следующее:

Затем вам понадобится Docker для создания пакета развертывания с теми зависимостями, которые можно загрузить в AWS.В терминале введите команду ниже.

  docker run -v "$ PWD": / var / task "lambci / lambda: build-python3.8" / bin / sh -c "pip install -r requirements.txt -t python / lib / python3.8 / site-packages /; выход "
  

Команда использует образ, реплицирующий среду Python Lambda, и устанавливает пакеты в каталог site-packages , который вы создали ранее. Когда эта команда будет завершена, вы должны увидеть каталог site-packages , заполненный всеми пакетами и требованиями.

Каталог с требованиями необходимо упаковать, чтобы их можно было загрузить в AWS. В терминале введите:

  zip -r text-to-frame-layer.zip python
  

Теперь у вас должен быть zip-файл с именем text-to-frame-layer.zip в вашем локальном каталоге. Держите это под рукой, мы собираемся завершить настройку нашей функции Lambda в консоли AWS.

Написание лямбда-функции

Функция Lambda будет настроена с помощью консоли AWS.Войдите в свою учетную запись AWS и выберите Lambda в меню услуг.

Перед написанием функции Lambda загрузим zip-файл с внешними зависимостями в AWS. В меню слева выберите Layers и затем щелкните Create layer.

Назовите свой слой слой текста в кадр . Выберите опцию Загрузить и выберите ранее созданный zip-файл. В раскрывающемся списке Compatible runtimes выберите Python 3.8 вариант. Затем нажмите Create .

Теперь приступим к написанию кода лямбда-функции. Вернитесь на страницу Lambda и нажмите кнопку Create function .

В качестве имени функции введите text-to-frame и из раскрывающегося списка Runtime выберите Python3.8 . В разделе Permissions ничего делать не нужно. Для этого руководства AWS создаст роль по умолчанию с базовыми разрешениями, которых будет достаточно.Щелкните функцию Create .

На следующей странице вы можете управлять лямбда-функцией. Во-первых, вам нужно добавить слой, который вы создали на предыдущем шаге, в вашу функцию, чтобы ваша функция Lambda могла получить доступ к необходимым внешним библиотекам.

Нажмите кнопку Layers под полем с названием вашей функции в центре экрана. Прокрутите вниз и нажмите кнопку Добавить слой .

На следующем экране выберите параметр Пользовательские слои .Затем найдите в раскрывающемся списке вариант для слоя текста в кадре . В раскрывающемся списке Версия выберите 1 и нажмите Добавить .

При добавлении уровня к функции sendgrid и запрашивают библиотек, доступных для использования функцией. После загрузки этих зависимостей можно написать код функции.

На странице вашей лямбда-функции прокрутите вниз до раздела Источник кода . В этом разделе есть окно кода.Щелкните файл lambda_function.py на левой боковой панели, чтобы открыть шаблон кода по умолчанию для функции. Замените код в окне приведенным ниже кодом и нажмите кнопку Deploy , чтобы сохранить изменения.

  импорт ОС
запросы на импорт
импорт base64
from urllib.parse import unquote
из sendgrid импортировать SendGridAPIClient
из импорта sendgrid.helpers.mail (Почта, Вложение, FileContent, FileName, FileType, Disposition)

SENDGRID_API = os.environ ["SENDGRID_API"]
FROM_EMAIL = os.Environment ["FROM_EMAIL"]

# Целевые электронные письма для трансляции изображений.
# Замените электронными письмами ваших получателей
frame_recipient_emails = [
        ('[email protected]', 'Семья1'),
        ('[email protected]', 'Семья2'),
        ('[email protected]', 'Семья3'),
]


def lambda_handler (событие, контекст):
    n_media = int (событие ["NumMedia"] [0])

    если 1 <= n_media <= 5:
        # Создайте объект электронной почты с помощью SendGrid
        message = Почта (
            from_email = FROM_EMAIL,
                to_emails = frame_recipient_emails,
                is_multiple = Истина,
                subject = 'Новое изображение',
                html_content = 'Загрузка нового изображения.'
        )

        # Перебирать изображения в сообщении.
        для i в диапазоне (n_media):
            # Получить изображение из сообщения.
            image_url = unquote (событие [f'MediaUrl {str (i)} '])
                raw_image = requests.get (image_url) .content
                изображение = base64.b64encode (raw_image) .decode ()

            # Создайте вложение с изображением.
                attachment = Вложение (
                FileContent (изображение),
                Имя файла (f'image {str (i)}. Jpg '),
                Тип файла ('изображение / JPEG'),
                Распоряжение («привязанность»)
                )

                сообщение.add_attachment (вложение)

        # Отправьте электронное письмо с помощью SendGrid.
        пытаться:
            sg = SendGridAPIClient (SENDGRID_API)
response = sg.send (сообщение)
печать (response.status_code)
resp = "Спасибо за изображение!"
        кроме исключения как e:
печать (электронное сообщение)
resp = "Что-то пошло не так при отправке вашего электронного письма."
    elif n_media> 5:
        resp = "Я могу загружать только 5 изображений за раз"
    еще:
        resp = "Вы должны прикрепить изображение"

    # Отправить текстовое сообщение пользователю.
    вернуть f ' '\
            f '   {resp}   '
  

Код выполняет несколько задач. Сначала проверяется атрибут сообщения NumMedia , чтобы определить, включены ли в сообщение какие-либо изображения. Если изображение не обнаружено, отправителю возвращается ответ с просьбой отправить изображение.

Существует ограничение на размер файлов, которые могут быть загружены за один раз. Чтобы не выходить за эти рамки, на каждое сообщение накладывается ограничение в 5 фотографий.Если отправлено более 5 фотографий, пользователю будет отправлено сообщение, информирующее его о ограничении в 5 фотографий. В противном случае продолжим обработку изображений.

Создается объект SendGrid Mail , где вы определяете, с какого адреса электронной почты будут отправляться электронные письма (вы сделаете это на следующем шаге!) И кому их отправлять. Параметр to_emails должен включать список электронных писем с цифровыми фреймами, в которые вы хотите пересылать изображения. Вы можете предоставить их, установив переменную frame_recipient_emails в верхней части файла, чтобы она соответствовала кадрам, в которые вы хотите отправить.

После создания объекта Mail следующим шагом будет обработка изображений и прикрепление их к электронному письму. Каждое изображение извлекается путем доступа к своему атрибуту MediaUrl в сообщении Twilio. Затем изображение кодируется в байтовый объект. Объект Attachment создается для изображения с помощью API SendGrid, и вложение добавляется к почтовому сообщению с помощью message.add_attachment (attachment) . Эти шаги повторяются для каждого отправленного изображения.

После того, как все изображения будут обработаны и прикреплены к вашему электронному письму, с помощью клиента API SendGrid будет отправлено электронное письмо:

  sg = SendGridAPIClient (SENDGRID_API)
ответ = sg.Отправить сообщение)
  

Ответ отправляется обратно пользователю, информируя его о том, что изображения были отправлены.

Код использует пару переменных среды: SENDGRID_API и FROM_EMAIL . Убедитесь, что они настроены в вашей среде Lambda.

Щелкните вкладку Configuration и выберите параметр Environment variables из списка вариантов слева. раздел и щелкните Edit справа.

Здесь вы можете добавить переменные окружения к вашей лямбда-функции. Щелкните Добавить переменную среды . Нам нужно добавить две переменные к лямбда-функции. Первый — это ключ SENDGRID_API , который вы создали при настройке учетной записи Sendgrid. Если вы не настраивали ключ API, сделайте это сейчас. Вторая переменная — FROM_EMAIL , представляющая адрес электронной почты, с которого вы будете отправлять электронные письма. Это должен быть тот адрес электронной почты, который вы использовали при настройке учетной записи Sendgrid.

Последняя конфигурация, которую нам нужно сделать, — это увеличить время работы нашей функции. По умолчанию лямбда-функции отключаются по таймауту через 3 секунды. Чтобы гарантировать, что у функции Lambda будет достаточно времени для завершения своего процесса, время ожидания необходимо увеличить до 10 секунд. На вкладке Configuration выберите General configuration в меню слева и нажмите Edit . На следующей странице измените значение Timeout на 10 секунд.Нажмите Сохранить .

Вот и весь код! Давайте продолжим развертывание, настроив API-шлюз для облегчения связи между Twilio и вашей лямбда-функцией.

Настройка шлюза API

API Gateway позволит Twilio получить доступ к вашей лямбда-функции. Будет создана конечная точка API, которая может получать HTTP-запрос при отправке сообщения на ваш номер Twilio.

В консоли AWS выберите API Gateway в меню Services .На странице API Gateway нажмите кнопку Create API . Выберите опцию Rest API .

На следующей странице введите text-to-frame-endpoint в качестве имени API и нажмите Create API .

Для этого урока вам понадобится одна конечная точка, которая будет связана с функцией Lambda. Создайте этот ресурс с помощью раскрывающегося списка Actions , выбрав опцию Create Resource .

На правой панели установите Имя ресурса на sms .Вы увидите поле Resource Path , автоматически заполненное / sms . Щелкните Create Resource .

Для вашего ресурса необходимо создать метод. Убедитесь, что / sms выбрано в списке ресурсов, а затем выберите Create Method из меню Actions . Под / sms появится раскрывающийся список. В раскрывающемся списке выберите Post и щелкните галочку.

На следующем экране нам нужно указать API на вызов созданной нами лямбда-функции.Выберите лямбда-функцию в качестве типа интеграции . Не устанавливайте флажок для интеграции прокси. Затем выберите область AWS, в которой вы создали свою функцию, и введите имя созданной ранее функции Lambda, text-to-frame . Нажмите Сохранить .

Наш API теперь подключен к лямбда-функции. Прежде чем мы сможем начать использовать API, необходимо выполнить несколько настроек для правильного взаимодействия Twilio и AWS.

Во-первых, входящий контент из Twilio необходимо преобразовать из типа application / x-www-form-urlencoded , отправленного Twilio, в JSON, что ожидается AWS.Для этого найдите раздел API Integration Request .

На следующей странице выполните следующие действия:

— Прокрутите вниз и разверните раздел Mapping Templates

— Выберите параметр «Если шаблоны не определены» для Передача тела запроса

— Выберите Добавить шаблон сопоставления и введите application / x-www-form-urlencoded в текстовое поле

— Щелкните маленькую галочку

— В текстовом поле ниже введите следующий код и нажмите кнопку Сохранить .Этот код разделит параметры HTTP на пары ключ / значение JSON, которые можно прочитать в нашей функции Lambda.

  #set ($ httpPost = $ input.path ('$'). Split ("&"))
{
#foreach ($ kvPair в $ httpPost)
 #set ($ kvTokenised = $ kvPair.split ("="))
 #if ($ kvTokenised.size ()> 1)
   "$ kvTokenised [0]": "$ kvTokenised [1]" # if ($ foreach.hasNext), # end
 #еще
   "$ kvTokenised [0]": "" #if ($ foreach.hasNext), # конец
 #конец
#конец
}
  

Когда вы закончите, раздел должен выглядеть так:

Точно так же вывод JSON от функции Lambda необходимо преобразовать в XML, который ожидает Twilio.Перейдите в раздел Integration Response API и выполните следующие действия:

— разверните ответ 200 , а затем Mapping Templates .

— Если есть запись application / json , удалите эту запись.

— Щелкните Добавить шаблон сопоставления и введите application / xml , затем щелкните галочку.

— В текстовом поле справа введите приведенный ниже код и нажмите кнопку Сохранить .

Последняя конфигурация вывода должна быть выполнена в разделе Method Response .

— развернуть ответ 200 .

— Если приложение / json указано в теле ответа для 200 , удалите эту запись.

— Нажмите Добавить ответ Модель

— введите application / xml в поле Content type и выберите модель Empty .

— Щелкните маленькую галочку.

API готов к развертыванию!

В меню Действия выберите опцию Развернуть API .

Во всплывающем окне выберите новый этап развертывания и назовите его prod . Щелкните Развернуть .

Слева разверните раздел prod и выберите конечную точку sms . На правой панели есть опция для Invoke URL . Скопируйте этот URL, так как он понадобится на следующем шаге.

Подключите свой номер Twilio к API

Конец близок. Последний шаг — это подключение вашего номера Twilio к созданной вами конечной точке API, чтобы входящие сообщения отправлялись в API и могли начать делиться фотографиями с друзьями и семьей!

Войдите в свою учетную запись Twilio. Если у вас нет учетной записи Twilio, вам нужно будет создать ее сейчас. По этой реферальной ссылке вы получите 10 долларов США, чтобы начать работу с учетной записью! После создания учетной записи вернитесь к первому шагу в этом руководстве, чтобы приобрести номер телефона Twilio.

На консоли Twilio выберите Телефонные номера в меню слева. Выберите номер телефона, который вы купили ранее. Если вы еще не приобрели номер, выберите Купить номер в меню слева и убедитесь, что вы приобрели номер с возможностью SMS и MMS .

Прокрутите страницу вниз до раздела Messaging . Существует опция для A Message Comes In , убедитесь, что в раскрывающемся списке выбрано Webhook .

В текстовое поле вставьте URL-адрес конечной точки, который вы скопировали из шлюза API на предыдущем шаге. Это перенаправит все входящие текстовые сообщения в API для обработки вашей лямбда-функцией.

Нажмите синюю кнопку Сохранить внизу страницы

Поделитесь с друзьями и семьей

И готово! Теперь у вас есть служба текстовых сообщений, которой вы можете поделиться с друзьями и семьей. Каждый раз, когда на этот номер приходит сообщение с прикрепленными изображениями, сервер будет транслировать фотографии в список цифровых фоторамок!

Пара заключительных записок.Все изображения, отправленные на ваш номер Twilio, будут транслироваться в цифровые кадры. Чтобы предотвратить загрузку фальшивых фотографий, вы можете изменить функцию Lambda для преобразования текста в кадр , чтобы разрешить загрузку изображений из утвержденного списка номеров, используя атрибут From входящих сообщений. Добавьте список утвержденных номеров в свою функцию Lambda, а затем, когда придет сообщение, вы можете проверить, что номер разрешен, и продолжить загрузку фотографий. Во-вторых, если ваша цифровая фоторамка настроена на получение электронных писем только с определенных адресов электронной почты, убедитесь, что вы добавили адрес электронной почты SendGrid, который вы использовали, в список разрешенных адресов для вашей цифровой рамки.Зарегистрируйте членов своей семьи в сервисе, добавив электронные письма с фреймами в свою функцию Lambda, а затем поделитесь номером телефона со всеми, чтобы они могли начать делиться фотографиями друг с другом!

Мэтью Вилькинд (Matthew Vielkind) — инженер по решениям в Rasa. Мэтью увлекается всем, что связано с Python и созданием продуктов для обработки данных. Следуйте за ним @MatthewVielkind в Twitter и matty_v_codes на Twitch, где он вживую кодирует свои проекты, публично делится тем, что он узнает по пути.

Авторы

• Мэтью Вилькинд

🎉 Спасибо за отзыв!

Что-то пошло не так. Пожалуйста, попробуйте еще раз.

Создание функции компоновки фотографий Lambda :: Innovator Island

Функция берет обработанное изображение из предыдущего раздела — человека с удаленным зеленым фоном — и объединяет различные графические элементы в окончательное изображение.Это окончательное изображение сохраняется в последней корзине.

Внутри раздела

В последнем разделе вы создали лямбда-функцию вручную через консоль. Однако, если ваша функция содержит пакеты или библиотеки, проще использовать автоматизацию, чтобы объединить ресурсы для развертывания.

В этой части вы будете использовать модель бессерверного приложения AWS (SAM) для автоматизации пакета и развертывания функции.

ЗУР и ЯМЛ

Файл шаблона AWS SAM представляет собой файл конфигурации YAML или JSON.Вы используете шаблон для объявления всех ресурсов AWS, составляющих ваше бессерверное приложение.

1. Перейдите на вкладку браузера с запущенным Cloud9. Если вам нужно повторно запустить Cloud9, в Консоли управления AWS выберите Services , затем выберите Cloud9 в разделе Developer Tools . Убедитесь, что ваш регион правильный.

2. На панели проводника файлов Cloud9 перейдите к theme-park-backend \ 3-photos \ 2-compositing \ template и откройте его.yaml , чтобы просмотреть его содержимое.

SAM прочитает этот файл и преобразует этот YAML в инфраструктуру. Некоторые из важных разделов на сегодня включают:

• Параметры : функции необходимо знать имя последнего сегмента, поэтому вы можете указать его в качестве параметра для шаблона.
• Globals : любые настройки здесь будут применяться ко всему шаблону.
• Ресурсы : определяет ресурсы AWS для создания.

В разделе «Ресурсы»:

• Шаблон определяет одну лямбда-функцию с именем CompositeFunction .
• Он определяет время выполнения, размер памяти и место размещения кода (в каталоге lambdaFunction ).
• Он определяет переменную среды, которая использует параметр FinalBucketName в качестве входных данных.
• Он предоставляет политику IAM, чтобы разрешить доступ для функции к S3.

Создайте лямбда-функцию с помощью SAM

Пошаговая инструкция

1. Изменить каталог:

  cd ~ / environment / theme-park-backend / 3-фото / 2-композитинг
  

2. Вы можете увидеть имя последней корзины S3, используя следующую команду, которая уже была сохранена как переменная среды $ FINAL_BUCKET .SAM будет настроен на использование этого имени сегмента S3 для установки переменной среды в функции Lambda.

  aws s3 ls | grep finalbucket
  

3. В терминале выполните следующие команды интерфейса командной строки SAM, которые будут построить приложение SAM, упаковать код с тем же сегментом развертывания SAM S3, который использовался ранее, а затем развернуть приложение, указав имя конечного сегмента S3 для использования лямбда-функции:

  Сам сборка

sam package - файл-шаблон-вывода упакован.yaml --s3-bucket $ s3_deploy_bucket

sam deploy --template-file packaged.yaml --stack-name theme-park-photos --capabilities CAPABILITY_IAM --parameter-overrides "FinalBucketName" = $ FINAL_BUCKET

  

Развертывание займет несколько минут — дождитесь подтверждающего сообщения в консоли, прежде чем продолжить.

Добавление триггера S3

Теперь вы создали лямбда-функцию, и вам нужно настроить, как она вызывается. Эта функция компоновки должна выполняться, когда новый объект помещается в корзину обработки .В этом разделе вы создадите этот триггер.

Пошаговая инструкция

1. Перейдите в консоль Lambda — в Консоли управления AWS выберите Services , затем выберите Lambda в разделе Compute . Убедитесь, что ваш регион правильный.

2. Выберите функцию с именем тематический парк-фотографии-CompositeFunction-XXXXXXXXX .

3. Выбрать + Добавить триггер :

   • В раскрывающемся списке Конфигурация триггера выберите S3 .
   • В раскрывающемся списке Bucket выберите имя сегмента, начинающееся с theme-park-backend-processingbucket .
   • Для типа события выберите Все объекты создают события из раскрывающегося списка.
   • Проверьте подтверждение Рекурсивный вызов и выберите Добавить .

Проверить работу

Теперь вы протестируете функцию, используя тестовое изображение, содержащее фотографию человека на зеленом фоне.Вы скопируете это изображение в uploadbucket и увидите окончательный результат в finalbucket .

Пошаговая инструкция

1. Вернитесь на вкладку браузера с запущенным Cloud9. Если вам нужно повторно запустить Cloud9, в Консоли управления AWS выберите Services , затем выберите Cloud9 в разделе Developer Tools . Убедитесь, что ваш регион правильный.

2. В терминале введите следующую команду для смены каталога:

  cd ~ / окружающая среда / серверная часть тематического парка / 3 фотографии /
  

3. Вы можете увидеть имя своего сегмента загрузки S3 с помощью этой команды:

  aws s3 ls | grep uploadbucket
  

4. Скопируйте локальный тестовый образ в загрузочную корзину.Команда будет использовать ранее созданную переменную среды $ UPLOAD_BUCKET , для которой установлено это имя сегмента:

  aws s3 cp ./green-screen-test.png s3: // $ UPLOAD_BUCKET
  

5. На другой вкладке откройте консоль S3.

6. Выберите тематический парк-backend-finalbucket .

7. Проверьте объект green-screen-test.jpg , затем выберите Download .

8. Сохраните файл локально и откройте в программе просмотра изображений.

9. Вы увидите фотографию человека, у которой был удален зеленый фон, и теперь она совмещена с фоном тематического парка и графикой логотипа.

Следующие шаги

Затем вы создадите лямбда-функцию постобработки, чтобы сохранить результат в DynamoDB и уведомить интерфейсную часть.

Создайте высокомасштабируемую службу обработки изображений на AWS Lambda и API Gateway за 10 минут | Райнер Селвет

А теперь давайте создадим что-нибудь более полезное, чем это.

Давайте создадим функцию, которая принимает изображение в качестве входных данных и переводит его в оттенки серого. Для этого мы будем использовать OpenCV, в частности его привязки к Python. Хотя использование OpenCV может быть излишним для такой задачи, оно демонстрирует, как такая полезная библиотека может быть относительно легко включена в вашу среду Lambda.

Теперь мы будем

1. Сгенерировать пакет Python для Lambda для OpenCV.
2. Загрузите этот пакет в Lambda Layers, чтобы его можно было использовать в любой создаваемой вами функции.
3. Импортируйте OpenCV в нашу лямбда-функцию.

1. Сгенерируйте пакет Python с поддержкой Lambda для OpenCV

Я собрал мертвенно простой инструмент — образ Docker, который может собрать любой пакет pip и сгенерировать .ZIP, который мы можем загрузить в Lambda Layers. Если вы хотите изучить этот инструмент, вы можете найти его в LambdaZipper.

Если у вас установлен Docker, вы можете открыть свой терминал и просто запустить

 docker run --rm -v $ (pwd): / package tiivik / lambdazipper opencv-python 

Вот и все! В вашем текущем рабочем каталоге вы найдете opencv-python.zip

Один из самых полезных наборов бессерверных инструментов — это serverless . Однако мы не собираемся использовать его в этом примере. Изобретать колесо редко бывает хорошей идеей, за исключением случаев, когда вы хотите узнать, как все работает под капотом. Хотя существуют зрелые платформы, такие как serverless , неплохо было бы углубиться в некоторые из основных функций, которые абстрагируются этими структурами.

Давайте посмотрим, что этот инструмент отвлек от нас.

Если вы посмотрите на package.sh, то увидите, что он выполнил команду pip install с аргументом opencv-python . Все это было выполнено в среде amazonlinux: 2017.03 , которая в некоторой степени имитирует среду AWS Lambda. Вы можете изучить среду выполнения в Dockerfile.

2. Загрузите пакет в Lambda Layers, чтобы его можно было использовать в любой функции, которую вы создаете.

Давайте загрузим файл opencv-python.zip в Lambda Layers, чтобы мы могли использовать этот пакет с этого момента во всех наших функциях.Думайте о слоях как о данных, которые можно использовать в любой функции, которую вы пишете. Это могут быть модули Python, фрагменты кода, двоичные файлы или что угодно.

Перейдите на панель Layers в AWS Lambda и нажмите Create layer .

Задайте имя слоя, описание и загрузите zip-файл. Убедитесь, что вы выбрали правильную среду выполнения, в нашем случае Python 3.6. Нажмите Создайте слой .

На момент написания этой статьи размер загружаемого ZIP-файла из веб-интерфейса ограничен 50 МБ.К счастью, наш пакет opencv-python меньше этого. Если ваш пакет превышает это значение, вы можете предоставить пакет как ссылку из корзины S3. Имейте в виду, что Lambda устанавливает ограничение для пакета развертывания на уровне 250 МБ.

После создания функции вы должны увидеть сообщение

Успешно создан слой opencv-python версии 1.

Ура!

Давайте вернемся к нашей функции lambda-demo и добавим уровень opencv-python в нашу среду выполнения функций.Нажмите Layers > Добавьте слой и выберите свой слой opencv-python .

3. Импорт OpenCV

Попробуем импортировать библиотеку как обычно:

 import json 
  import cv2  def lambda_handler (event, context): 
 # TODO реализация 
 return {
 'statusCode': 200, 
 'body ': json.dumps (' Привет от Lambda! ') 
} 

Теперь давайте нажмем на Test . Нам предоставили ответ:

 Ответ: 
 {
 "errorMessage": "Невозможно импортировать модуль 'lambda_function'" 
} 

По какой-то причине Lambda не смогла найти наш пакет Python.Давайте изучим.

По умолчанию все слои лямбда монтируются на / opt . Давайте прокомментируем наш импорт cv2 и посмотрим, что внутри / opt .

 import json 
  #import cv2  
  from os import listdir  def lambda_handler (event, context): 
 # Реализация TODO 
  print (listdir ("/ opt"))  
 return {
 'statusCode': 200, 
 'body': json.dumps ('Hello from Lambda!') 
} 

В журналах функций мы видим наш модуль cv2 в / opt .

 ['bin', 'cv2', 'numpy', 'numpy-1.16.2.dist-info', 'opencv_python-4.0.0.21.dist-info'] 

По умолчанию / opt / bin добавляется к переменной среды $ PATH . Вы можете ссылаться на это в документации AWS. Однако наши модули уровней существуют в / opt / , а не в / opt / bin . Итак, давайте также включим / opt в $ PATH , чтобы Lambda могла видеть наш пакет.

В разделе «Переменные среды» добавьте следующую переменную среды.