Nvidia apresenta chatbot no dispositivo, abordagem preferida pela Apple – 9to5Mac

Uma das aparentes ambições de IA da Apple é permitir um chatbot no dispositivo que possa ser executado em iPhones, em vez de usar servidores para fazer o processamento. Isso seria capaz de acessar dados armazenados no seu iPhone, além de aumentar a privacidade…

A Nvidia adotou a mesma abordagem, com um chatbot que roda em um PC com Windows – naturalmente, equipado com uma das GPUs de última geração da própria empresa.

Apple trabalhando em chatbot no dispositivo para iPhone

Um artigo de pesquisa da Apple publicado no final do ano passado parecia apontar para a empresa permitindo que um chatbot no dispositivo fosse executado em um iPhone.

O artigo trata de minimizar a quantidade de dados que precisam ser transferidos do armazenamento flash para a RAM. LLMs é o termo genérico para sistemas de chat de IA que foram treinados em grandes quantidades de texto.

Essa abordagem permite que os LLMs sejam executados até 25 vezes mais rápido em dispositivos com RAM limitada.

Embora o artigo não revele detalhes sobre os planos da Apple, há indicações crescentes de que o iOS 18 é o ponto em que a empresa finalmente lançará uma versão muito mais poderosa do Siri, usando o tipo de tecnologia de IA generativa chamada AppleGPT. A próxima versão do iOS, prevista para ser revelada na WWDC em junho, é considerada a maior atualização da história da empresa.

Chatbot no dispositivo da Nvidia

A Nvidia já criei uma versão demo de um chatbot no dispositivo, embora exija um PC Windows com uma das placas GPU premium da própria empresa.

Chat With RTX é um aplicativo de demonstração que permite personalizar um modelo de linguagem grande (LLM) GPT conectado ao seu próprio conteúdo – documentos, notas, vídeos ou outros dados. Aproveitando a geração aumentada de recuperação (RAG), TensorRT-LLM e aceleração RTX, você pode consultar um chatbot personalizado para obter rapidamente respostas contextualmente relevantes. E como tudo é executado localmente no seu PC ou estação de trabalho Windows RTX, você obterá resultados rápidos e seguros (…)

O Chat with RTX oferece suporte a vários formatos de arquivo, incluindo texto, pdf, doc/docx e xml. Basta apontar o aplicativo para a pasta que contém seus arquivos e ele os carregará na biblioteca em questão de segundos. Além disso, você pode fornecer o URL de uma playlist do YouTube e o aplicativo carregará as transcrições dos vídeos da playlist, permitindo consultar o conteúdo que eles cobrem.

Sua máquina Windows precisará de uma GPU NVIDIA GeForce RTX Série 30 ou 40, ou uma GPU RTX Ampere ou Geração Ada com pelo menos 8 GB de VRAM.

ChatGPT pode finalmente lembrar de você

Em outras notícias sobre IA, ChatGPT está ganhando uma memória – pelo menos, para um pequeno número de usuários.

Uma das limitações do ChatGPT até o momento é que cada sessão é executada isoladamente – ou seja, ele não se lembrará de nada que você fez nas sessões anteriores.

A OpenAI está agora testando uma versão que pode lembrar certos dados e preferências, para uma experiência mais coerente ao longo do tempo.

Estamos testando memória com ChatGPT. Lembrar-se de coisas discutidas em todos os bate-papos evita que você tenha que repetir informações e torna as conversas futuras mais úteis.

Você está no controle da memória do ChatGPT. Você pode dizer explicitamente para ele se lembrar de algo, perguntar o que ele lembra e dizer para esquecer em conversação ou por meio de configurações. Você também pode desligá-lo totalmente (…)

A memória do ChatGPT ficará melhor quanto mais você usá-la e você começará a notar melhorias com o tempo. Por exemplo:

• Você explicou que prefere que as notas da reunião tenham títulos, marcadores e itens de ação resumidos na parte inferior. ChatGPT se lembra disso e recapitula as reuniões desta forma.
• Você disse ao ChatGPT que possui uma cafeteria no bairro. Ao debater mensagens para uma postagem social comemorando um novo local, o ChatGPT sabe por onde começar.
• Você mencionou que tem uma criança pequena e que ela adora águas-vivas. Quando você pede ajuda ao ChatGPT para criar seu cartão de aniversário, ele sugere uma água-viva usando um chapéu de festa.
• Como professora de jardim de infância com 25 alunos, você prefere aulas de 50 minutos com atividades de acompanhamento. ChatGPT se lembra disso ao ajudá-lo a criar planos de aula.

A empresa afirma que está sendo testada com um pequeno número de usuários esta semana e que compartilhará planos de implementação mais amplos assim que avaliar os resultados.