Soubemos em maio que a Apple já está usando internamente seu próprio chatbot de IA, que alguns apelidaram de Apple GPT. Um novo artigo de pesquisa parece ter como objetivo permitir que um sistema estilo ChatGPT seja executado em iPhones.
Um segundo artigo sobre IA da Apple analisa maneiras de gerar avatares 3D animados a partir de vídeo padrão, com aplicação óbvia ao Vision Pro…
VentureBeat avistou os papéis.
‘Apple GPT’
O chatbot tem direito LLM em um piscar de olhos: Inferência eficiente de modelos de linguagem grande com memória limitada.
O ‘flash’ no título é um trocadilho, pois se trata de minimizar a quantidade de dados que precisam ser transferidos do armazenamento flash para a RAM. LLMs é o termo genérico para sistemas de chat de IA que foram treinados em grandes quantidades de texto.
LLMs (têm) requisitos computacionais e de memória intensivos (que) apresentam desafios, especialmente para dispositivos com capacidade DRAM limitada. Este artigo aborda o desafio de executar LLMs com eficiência que excedem a capacidade DRAM disponível, armazenando os parâmetros do modelo na memória flash, mas trazendo-os sob demanda para a DRAM. Nosso método envolve a construção de um modelo de custo de inferência que se harmonize com o comportamento da memória flash, orientando-nos para a otimização em duas áreas críticas: redução do volume de dados transferidos do flash e leitura de dados em blocos maiores e mais contíguos.
Essa abordagem permite que os LLMs sejam executados até 25 vezes mais rápido em dispositivos com RAM limitada. Os pesquisadores concluem:
Este avanço é particularmente crucial para a implantação de LLMs avançados em ambientes com recursos limitados, expandindo assim a sua aplicabilidade e acessibilidade.
Avatares 3D animados gerados a partir de vídeo ‘plano’
Se você deseja gravar vídeo espacial para visualização 3D no Vision Pro, a segunda versão beta do iOS 17.2 permite fazer isso no seu iPhone.
Mas todos nós temos muitos vídeos “planos” (monoculares), e o segundo artigo sobre IA da Apple descreve um método para transformar vídeos 2D em avatares 3D animados.
O artigo diz que normalmente se você deseja gerar um avatar 3D realista, isso requer uma configuração de múltiplas câmeras para capturar imagens de diferentes ângulos, combinando-as em um modelo 3D. O que a Apple conseguiu aqui é um método de fazer isso a partir de um pequeno vídeo padrão.
O artigo é profundamente técnico, com até mesmo o resumo e as conclusões repletos de siglas, mas o resultado final é que o método da Apple é cerca de cem vezes mais rápido do que as formas existentes de alcançar o mesmo resultado.
Nosso método utiliza apenas um vídeo monocular com um pequeno número de (50-100) quadros e aprende automaticamente a desembaraçar a cena estática e um avatar humano totalmente animável em 30 minutos.
Isso tem aplicações óbvias para o Vision Pro, mas também pode permitir coisas como roupas virtuais ajustadas no seu iPhone, permitindo que você crie um avatar 3D de si mesmo e veja como ficaria em várias peças de roupa.
Quando isso será lançado é outra questão, com Kuo dizendo em agosto que ainda “não havia sinal” de que a empresa lançaria seu próprio chatbot de IA em 2024.
Foto: Max Langelott/Remover respingo
FTC: Usamos links de afiliados automotivos para geração de renda. Mais.
