Базовая производительность для .NET на AWS Lambda

Мне всегда нравится понимать, как выглядит нижняя граница. Какова абсолютная самая высокая производительность, на которую мы можем рассчитывать? Я считаю это очень важным, поскольку это задает базовый уровень для всего остального.

Необходимым предупреждением здесь является риск экстраполяции слишком многого из такого тривиального образца. Мы должны принимать эти данные такими, какие они есть: базовыми. Они не являются репрезентативными для реальной бизнес-логики. Простое добавление некоторых операций ввода-вывода значительно увеличит время обработки. Обычно ввод-вывод в 1 000 раз — 1 000 000 раз медленнее, чем код.

Лямбда-функция Minimal

Проект Minimal определяет лямбда-функцию, которая принимает поток и возвращает пустой ответ. Она не имеет бизнес-логики и включает только необходимые библиотеки. Также отсутствует десериализация полезной нагрузки. Это функция Lambda с наименьшим количеством накладных расходов.

using System.IO;
using System.Threading.Tasks;

namespace Benchmark.Minimal {

    public sealed class Function {

        //--- Methods ---
        public async Task<Stream> ProcessAsync(Stream request)
            => Stream.Null;
    }
}

Данные бенчмарка для .NET 6 на x86-64

Данные наглядно показывают, что фаза INIT примерно одинакова для всех конфигураций памяти ниже порога в 3 008 МБ. Как упоминалось в статье Анатомия жизненного цикла AWS Lambda, фаза INIT всегда выполняется на полной скорости.

Холодная фаза INVOKE примерно в 10 раз медленнее для 128 МБ, чем для 1 024 МБ. Однако сумма всех теплых фаз INVOKE всего в ~3 раза медленнее. Тем не менее, стоимость улучшенной производительности выше менее чем на 5%.

Удивительно, что даже на таком тривиальном примере мы уже можем оценить тонкий баланс между производительностью и стоимостью.

Полноразмерное изображение

Полноразмерное изображение

Минимальная продолжительность холодного запуска для .NET 6

Неудивительно, что наименьшая продолжительность холодного запуска была достигнута при использовании конфигурации с наибольшим объемом памяти. Многоуровневая компиляция также помогла снизить этот показатель. Однако ReadyToRun не оказал значительного влияния, что вполне ожидаемо, поскольку наш минимальный проект почти не содержит кода.

Более примечательно, что архитектура ARM64 оказалась медленнее при сопоставимых конфигурациях памяти, чем архитектура x86-64.

Полноразмерное изображение

Минимальная стоимость выполнения для .NET 6

Еще одним неудивительным результатом является то, что архитектура ARM64 обеспечивает самую низкую стоимость выполнения, поскольку ее цена за единицу продукции на 20% ниже. Аналогично, конфигурация памяти находится в нижней части — всего 256 МБ.

Более интересным является то, что многоуровневая компиляция всегда обходится дороже. Это интуитивно понятно, поскольку требуется дополнительное время на повторную обработку кода. После этого можно поспорить между настройками ReadyToRun и PreJIT.

Полноразмерное изображение

Что насчет .NET Core 3.1?

Я сомневался, стоит ли упоминать об этом, поскольку .NET Core 3.1 выходит из эксплуатации в декабре 2022 года, но разница в производительности для базового варианта просто ошеломляющая.

Лямбда-функция, использующая .NET Core 3.1 с 512 МБ, на 40% быстрее при холодном запуске, чем функция, использующая .NET 6 с 5120 МБ!

Я просто потрясен таким результатом. Все, что я могу сделать, это напомнить себе, что этот базовый тест не является репрезентативным для реального кода.

Полноразмерное изображение

Аналогично, стоимость выполнения ниже в .NET Core 3.1, но не так значительно. Тем не менее, для .NET 6 было всего 4 конфигурации, которые достигли стоимости ниже 22 мк$. Для .NET Core 3.1 существует 39 конфигураций со стоимостью ниже 21 мк$!

Интересно, что 4 конфигурации с наименьшей стоимостью следуют аналогичной схеме: ARM64, 128 МБ, отсутствие многоуровневой компиляции, а также выбор ReadyToRun и PreJIT.

Полноразмерное изображение

Заключение

На основе контрольных примеров мы можем установить эти нижние границы.

Для .NET 6:

• Продолжительность холодного старта: 223 мс
• Стоимость выполнения: 21,94 мк$

Для .NET Core 3.1:

• Продолжительность холодного запуска: 154 мс
• Стоимость выполнения: 20,53µ$

Если ничего принципиально не изменится, не стоит ожидать, что мы сможем добиться большего, чем эти базовые значения.

Что дальше

В следующем посте я собираюсь провести сравнительный анализ сериализаторов JSON. В частности, популярную библиотеку Newtonsoft JSON.NET, встроенное пространство имен System.Text.Json и новые генераторы исходников JSON в .NET 6.