Em sua estreia nos benchmarks MLPerf do setor, o NVIDIA Orin, um sistema em chip de baixa potência baseado na arquitetura NVIDIA Ampere, estabelece novos recordes em inferência de inteligência artificial (IA), elevando o nível do desempenho por acelerador no edge.
A NVIDIA, junto a seus parceiros, continua a mostrar o mais alto desempenho e o mais amplo ecossistema para executar todas as cargas de trabalho e cenários de machine learning, nesta quinta rodada de métricas do setor para IA de produção.
“A cada nova análise, seja de produtos já analisados ou de novos, como o é o caso do Orin, a NVIDIA se mostra mais e mais apta a dar saltos de qualidade, tecnologia e inovação. Conhecer e expandir limites é muito importante para uma empresa de tecnologia que quer sempre atingir melhores desempenhos, e continuamos fazendo isso com maestria”, aponta Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Para a IA no edge, uma versão de pré-produção do NVIDIA Orin liderou em cinco dos seis testes de desempenho. Ele foi executado até cinco vezes mais rápido do que a geração anterior Jetson AGX Xavier e ofereceu em média duas vezes mais eficiência energética.
O NVIDIA Orin já está disponível no Kit para Desenvolvedor NVIDIA Jetson AGX Orin para robótica e sistemas autônomos. Mais de 6 mil clientes, incluindo Amazon Web Services, John Deere, Komatsu, Medtronic e Microsoft Azure, usam a plataforma NVIDIA Jetson para inferência de IA ou outras tarefas.
Ele é também um componente-chave da plataforma NVIDIA Hyperion para veículos autônomos. A maior fabricante de veículos elétricos (EV) da China, a BYD, é a mais atual fabricante de automóveis a anunciar que usará a arquitetura DRIVE Hyperion baseada em Orin nas suas frotas automatizadas de EVs de última geração.
O Orin também é um ingrediente essencial da NVIDIA Clara Holoscan para dispositivos médicos, uma plataforma que fabricantes de sistemas e pesquisadores estão usando para desenvolver a próxima geração de instrumentos de IA.
Módulo pequeno, pacote grande
Servidores e dispositivos com GPUs NVIDIA, incluindo o Jetson AGX Orin, foram os únicos aceleradores de edge a executar todos os seis benchmarks do MLPerf. Com seu SDK JetPack, o Orin executa toda a plataforma de IA da NVIDIA, um pacote de softwares já comprovado no data center e no cloud. Além disso, ele conta com o apoio de um milhão de desenvolvedores que usam a plataforma NVIDIA Jetson.
A NVIDIA e seus parceiros continuam mostrando o melhor desempenho em todos os testes e cenários na última rodada de inferência MLPerf. Os benchmarks MLPerf contam com um amplo suporte de organizações como Amazon, Arm, Baidu, Dell Technologies, Facebook, Google, Harvard, Intel, Lenovo, Microsoft, Stanford e a Universidade de Toronto.
Mais parceiros e mais envios
A plataforma de IA da NVIDIA voltou a atrair o maior número de envios do MLPerf do ecossistema mais amplo de parceiros.
A Azure deu continuidade à sua forte estreia de dezembro nos testes de treinamento MLPerf com bons resultados nesta rodada de inferência de IA, ambos usando GPUs NVIDIA A100 Tensor Core. A instância ND96amsr_A100_v4 da Azure se equiparou aos envios de oito GPUs com o mais alto desempenho em quase todos os testes de inferência, demonstrando a potência que está prontamente disponível no cloud público.
Marcadores de sistema ASUS e H3C fizeram sua estreia no MLPerf nesta rodada com envios usando a plataforma de IA da NVIDIA. Eles se juntaram aos fabricantes de sistemas Dell Technologies, Fujitsu, GIGABYTE, Inspur, Nettrix e Supermicro, que apresentaram resultados em mais de 20 sistemas certificados pela NVIDIA.
Importância do MLPerf
Os parceiros da NVIDIA participam do MLPerf porque sabem que essa é uma ferramenta importante para clientes que avaliam plataformas e fornecedores de IA. Os diversos testes do MLPerf abrangem as cargas de trabalho e os cenários de AI mais populares do momento. Isso dá aos usuários confiança de que os benchmarks refletirão o desempenho que eles podem esperar em todo o âmbito de seus trabalhos.
O software que torna tudo possível
Todos os softwares usados nos testes estão disponíveis no repositório do MLPerf. Dois componentes principais que possibilitaram os resultados de inferência, o NVIDIA TensorRT (para otimizar modelos de IA) e o Servidor de Inferência NVIDIA Triton (para implementá-los com eficiência) estão disponíveis gratuitamente no NGC, catálogo de softwares otimizados por GPU.
Organizações em todo o mundo estão adotando o Triton, incluindo provedores de serviço em cloud, como Amazon e Microsoft.
Todas as otimizações em contêineres estão disponíveis no NGC. Assim, todos os usuários podem começar a colocar a IA em produção com o melhor desempenho.
¹ MLPerf v2.0 Inference Closed - o desempenho por acelerador derivado dos melhores resultados do MLPerf para os respectivos envios usando a contagem de aceleradores relatada em servidor de data center e off-line. Qualcomm AI 100: 2.0-130, Intel Xeon 8380 do envio MLPerf v.1.1: 1.1-023 e 1.1-024, Intel Xeon 8380H 1.1-026, NVIDIA A30: 2.0-090, NVIDIA A100 (Arm): 2.0-077, NVIDIA A100 (X86): 2.0-094. O nome e o logo MLPerf são marcas registradas. Consulte www.mlcommons.org para mais informações.
