Quando você usa um assistente de IA pelo navegador, sua pergunta viaja até um servidor, é processada lá e a resposta volta. Na IA local, esse processamento acontece dentro do seu computador. O resultado é mais controle sobre os dados, mas com exigências de hardware que muita gente desconhece.
Como a IA local funciona
Um modelo de linguagem é, na prática, um arquivo grande com os parâmetros que a IA aprendeu. Para usá-lo você precisa de um programa que carregue esse arquivo na memória e gere o texto. Existem aplicativos que fazem isso com uma interface parecida com a de um chat, e outros que funcionam por linha de comando.
Os modelos costumam vir em versões menores, chamadas quantizadas. A quantização reduz a precisão dos números para o arquivo ocupar menos espaço e rodar em máquinas mais modestas, à custa de alguma perda de qualidade.
O que pesa no hardware
O fator decisivo é a memória disponível para carregar o modelo:
- Memória de vídeo da placa gráfica: se o modelo cabe inteiro nela, a resposta sai rápida.
- Memória RAM do computador: serve como alternativa quando a placa de vídeo não comporta o modelo, porém com velocidade menor.
- Espaço em disco: cada modelo ocupa de poucos a muitos gigabytes, então confira o tamanho antes de baixar.
- Processador: importa mais quando não há placa de vídeo adequada.
Como regra geral, quanto maior o modelo, mais memória ele pede. Verifique a ficha de cada modelo, que informa a necessidade aproximada. Se não sabe o que tem no seu PC, veja como ver as configurações do PC.
Vantagens e limites
Vantagens:
- Seus textos não precisam sair do computador, o que interessa a quem lida com documentos sensíveis.
- Funciona offline.
- Não depende de assinatura nem de limite diário de uso, embora você pague em energia e hardware.
Limites:
- Modelos que cabem em um PC doméstico costumam ser menos capazes que os grandes serviços online em raciocínio, textos longos e idiomas.
- Podem inventar informações com a mesma segurança de qualquer IA. Vale conferir as respostas, como explica o texto sobre alucinação de IA.
- A configuração inicial dá mais trabalho que abrir um site.
Cuidados antes de instalar
- Baixe programas e modelos de fontes oficiais e confira a reputação do projeto.
- Leia a licença do modelo, porque alguns têm restrições de uso comercial.
- Se for usar com dados de clientes, lembre que a lei de proteção de dados continua valendo. Em caso de dúvida, consulte um profissional da área.