Nuvem, local ou embutido: escolha o modelo ideal

O Gridberry roda no Windows 10/11 e se comunica com o modelo que você escolher. Use um provedor de IA na nuvem via endpoint de API padrão, um modelo no seu PC ou o modelo embutido, alternando conforme a tarefa exigir.

Três formas de conectar um modelo

Provedor de IA na nuvem

Um provedor de IA na nuvem é ideal para etapas complexas, como sessões longas de troubleshooting em vários logs. Insira o endpoint de API padrão do provedor e sua chave no Gridberry; a chave permanece no seu PC. O texto do prompt é enviado ao provedor, incluindo o conteúdo de qualquer arquivo lido pelo agente, portanto, mantenha segredos fora desses arquivos. O Gridberry mascara segredos na saída das ferramentas antes de enviá-los ao modelo. Um provedor de IA na nuvem pode cobrar pelo uso, conforme definido pelo próprio provedor, não pelo Gridberry.

Um modelo no seu próprio PC

Um modelo executado no seu próprio PC é ideal para trabalhos onde o prompt deve permanecer na sua máquina. Com um modelo local, nada sai do PC via conexão do modelo. Outras funcionalidades ainda usam a rede quando ativadas, como busca na web ou verificações de atualização, e uma sessão SSH ao seu servidor é uma conexão de rede por natureza. A velocidade e a janela de contexto dependem do seu hardware, portanto, execute o botão Testar e leia ambos os valores antes de confiar no modelo.

Modelo embutido

O modelo embutido está pronto para uso sem necessidade de seu próprio endpoint. É ideal para uma primeira tentativa: instale o Gridberry, abra um chat e peça ao agente para explicar o que o adduser faz. Alterne para o modo Plan only para ler um plano sem execução, depois use Ask first quando quiser aprovar comandos individuais em uma máquina de teste. Você pode conectar um modelo na nuvem ou local posteriormente. Revise cada cartão de comando e cada diff com este modelo como faria com qualquer outro.

Verifique a conexão com o botão Testar

O botão Testar verifica um endpoint. Ele mostra o tempo de resposta e a janela de contexto do modelo conectado. Execute-o após inserir um novo endpoint ou chave, e novamente ao alternar modelos, para identificar problemas no endpoint antes de iniciar um chat. Um tempo de resposta longo significa que cada etapa aguardará mais. Uma janela de contexto pequena significa que o agente retém menos de um log longo ou um arquivo de configuração longo de uma vez. Compare dois endpoints com o mesmo botão e mantenha o que melhor se adapta à sua tarefa. O resultado descreve apenas a conexão. Ele não indica se o modelo gera comandos corretos, portanto, você ainda deve revisar cada cartão e cada diff.

Escolha um modelo para a tarefa

Escolha um modelo maior para etapas com muitas variáveis, como uma sessão longa de troubleshooting em logs e arquivos de configuração, e um menor para etapas curtas, como criar uma conta ou listar um grupo. A ferramenta run_on_model envia uma etapa complexa para um modelo maior enquanto o restante do chat permanece no modelo escolhido, e você decide quando usá-la. Um modelo maior pode ser mais lento para responder e requer hardware mais potente em um PC local, portanto, ajuste o modelo à etapa. Revise o resultado de qualquer forma.

A qualidade varia entre modelos, e qualquer modelo pode gerar um comando errado com total confiança. Leia o diff ou o cartão de comando antes de aceitá-lo. Ask first pausa antes de ações que alteram algo, permitindo que você veja a linha exata antes da execução. Plan only gera um plano e não executa nada, o que é um primeiro passo sensato com um modelo não testado. Teste novos modelos em uma máquina que você possa reconstruir.