Подробности об обновлениях искусственного интеллекта Google в облачной инфраструктуре • The Register

Aug 10, 2023

Cloud Next В этом году на Cloud Next Google уделяет особое внимание искусственному интеллекту, предлагая множество аппаратных проектов, включая обновления TPU, опции графического процессора и множество программных инструментов, чтобы все это работало.

На первой версии мероприятия с личным присутствием еще до пандемии, проходившей в огромном Центре Москоне в Сан-Франциско, Google раскрыл подробности о своем Cloud TPU v5e, новейшем из своих ускорителей искусственного интеллекта Tensor Processing Unit, а также экземплярах виртуальных машин на базе виртуальных машин. графическими процессорами Nvidia H100.

TPU — это специальный чип Google для ускорения машинного обучения, а сервис Cloud TPU основан на собственной платформе машинного обучения TensorFlow в дополнение к другим платформам, включая Jax и PyTorch.

Предыдущий AI-чип TPU v4 был официально выпущен в 2021 году, хотя поисковый гигант тестировал его несколько лет назад.

Google утверждает, что с Cloud TPU v5e удвоилась производительность обучения на доллар и в 2,5 раза выше производительность вывода на доллар для больших языковых моделей (LLM) и генеративного искусственного интеллекта по сравнению с Cloud TPU v4.

Облачный гигант использует механизмы TPUv4 для формирования выводов для своих собственных поисковых систем и платформ показа рекламы.

Google будет предлагать восемь различных конфигураций виртуальных машин: от одного чипа TPU до более 250 в одном слайсе.

Конечно, дело не только в оборудовании. Они сосредоточены на большей масштабируемости для обработки больших рабочих нагрузок искусственного интеллекта в Cloud TPU v5e с помощью функции Multislice. В настоящее время это предварительная версия, которая была разработана, чтобы позволить пользователям масштабировать модели за пределы одного модуля TPU, чтобы при необходимости охватить десятки тысяч чипов TPU. Ранее обучающие задания ограничивались одним кусочком чипов ТПУ.

Экземпляры виртуальных машин Google A3, оснащенные восемью графическими процессорами Nvidia H100, двумя масштабируемыми процессорами Intel Xeon 4-го поколения и 2 ТБ памяти, также предназначены для требовательных рабочих нагрузок ИИ, таких как LLM. Эти экземпляры были впервые анонсированы на Google IO еще в мае, но теперь они будут доступны в следующем месяце, говорится в сообщении.

Google ожидает, что виртуальные машины A3 дадут импульс пользователям, стремящимся создавать еще более сложные модели искусственного интеллекта, благодаря улучшению пропускной способности сети благодаря разгрузочному сетевому адаптеру и библиотеке Nvidia Connective Communications Library (NCCL).

Google Next также предоставил подробную информацию о GKE Enterprise, описанном как премиум-версия управляемого сервиса Google Kubernetes Engine (GKE) компании для контейнерных рабочих нагрузок.

По словам Google, версия GKE Enterprise, предварительная версия которой будет доступна в начале сентября, обладает новой возможностью мультикластера, которая позволяет клиентам группировать схожие рабочие нагрузки в «парки» и применять специальные конфигурации и ограничения политик ко всему парку, сообщает Google.

Эта редакция включает в себя управляемые функции безопасности, включая анализ уязвимостей рабочих нагрузок, средства управления и политики, а также сеть управляемых сервисов. Компания утверждает, что благодаря возможностям платформы Google Anthos редакция GKE Enterprise может охватывать гибридные и мультиоблачные сценарии, позволяя пользователям запускать рабочие нагрузки контейнеров в других публичных облаках и локально, а также в GKE.

Кроме того, по словам Google, сама GKE теперь поддерживает как Cloud TPU v5e, так и экземпляры виртуальных машин A3 с графическими процессорами H100 для требовательных рабочих нагрузок искусственного интеллекта.

Продолжая тему искусственного интеллекта, Google представляет дополнения к своему предложению Google Distributed Cloud (GDC), а также обновленное оборудование для поддержки локального расширения своей облачной платформы.

Три новых предложения в области искусственного интеллекта и данных — это интеграции Vertex AI, AlloyDB Omni и Dataproc Spark. Интеграция Vertex переносит Vertex Prediction и Vertex Pipelines на хостинг GDC, хотя они будут доступны только в предварительной версии со второго квартала 2024 года.

AlloyDB Omni — это новый управляемый механизм базы данных, который, как утверждается, обеспечивает вдвое большую скорость, чем PostgreSQL, для транзакционных рабочих нагрузок и в настоящее время доступен в предварительной версии.

Dataproc Spark — это управляемый сервис для выполнения аналитических рабочих нагрузок под управлением Apache Spark, который, как утверждается, предлагает пользователям более низкие затраты, чем развертывание Spark самостоятельно. Предварительная версия будет доступна с четвертого квартала.