Cloud, lokaal of ingebouwd: kies het model dat bij je past

Gridberry draait op Windows 10/11 en communiceert met het model dat jij kiest. Gebruik een cloud-AI-provider via een standaard API-eindpunt, een model op je eigen pc of het ingebouwde model, en schakel van model als een taak daarom vraagt.

Drie manieren om een model te koppelen

Cloud-AI-provider

Een cloud-AI-provider is geschikt voor ingewikkeldere stappen, zoals een uitgebreide foutopsporing over meerdere logs heen. Je voert het standaard API-eindpunt van de provider en je sleutel in in Gridberry; de sleutel blijft op je pc. De prompttekst wordt naar die provider gestuurd, inclusief de tekst van bestanden die de agent leest, dus houd geheimen buiten die bestanden. Gridberry verwijdert geheimen uit uitvoer van tools voordat deze het model bereikt. Een cloud-AI-provider kan kosten in rekening brengen voor gebruik, en dat wordt bepaald door de provider, niet door Gridberry.

Een model op je eigen pc

Een model dat op je eigen pc draait, is geschikt voor werk waarbij de prompt op je machine moet blijven. Met een lokaal model verlaat er niets de pc via de modelverbinding. Andere functies gebruiken nog steeds het netwerk als je ze inschakelt, zoals webzoekopdrachten of updatecontroles, en een SSH-sessie naar je server is van nature een netwerkverbinding. Snelheid en contextvenster hangen af van je hardware, dus voer de Test-knop uit en lees beide getallen voordat je op het model vertrouwt.

Ingebouwd model

Het ingebouwde model is direct bruikbaar zonder een eigen eindpunt. Het is geschikt voor een eerste proef: installeer Gridberry, open een chat en vraag de agent uit te leggen wat adduser doet. Schakel over naar Plan only om een plan te lezen zonder uitvoering, en ga naar Ask first wanneer je losse commando's op een testmachine wilt goedkeuren. Je kunt later een cloud- of lokaal model koppelen. Controleer elke commandokaart en elk diff met dit model, net zoals je dat bij elk ander model zou doen.

Controleer de verbinding met Test

De Test-knop controleert een eindpunt. Het toont de responstijd en het contextvenster van het gekoppelde model. Voer het uit nadat je een nieuw eindpunt of een nieuwe sleutel hebt ingevoerd, en opnieuw wanneer je van model wisselt, zodat je een probleem met het eindpunt opmerkt voordat je een chat start. Een lange responstijd betekent dat elke stap langer wacht. Een klein contextvenster betekent dat de agent minder van een lange log of een lange configuratiebestand tegelijk kan onthouden. Vergelijk twee eindpunten met dezelfde knop en bewaar degene die bij je taak past. Het resultaat beschrijft alleen de verbinding. Het zegt niets over of het model correcte commando's schrijft, dus je controleert nog steeds elke kaart en elk diff.

Kies een model voor de taak

Kies een groter model voor stappen met veel onderdelen, zoals een uitgebreide foutopsporing over logs en configuratiebestanden, en een kleiner model voor korte stappen zoals het aanmaken van één account of het lezen van één groepslijst. Het hulpprogramma run_on_model stuurt een ingewikkelde stap naar een groter model terwijl de rest van de chat op het gekozen model blijft, en jij beslist wanneer je het gebruikt. Een groter model kan langzamer antwoorden en vereist sterkere hardware op een lokale pc, dus pas het model aan bij de stap. Controleer het resultaat in beide gevallen.

De kwaliteit varieert tussen modellen, en elk model kan een fout commando schrijven met volledige zekerheid. Lees het diff of de commandokaart voordat je het accepteert. Ask first pauzeert voordat acties iets wijzigen, zodat je de exacte regel ziet voordat deze wordt uitgevoerd. Plan only schrijft een plan en voert niets uit, wat een verstandige eerste stap is met een model dat je nog niet eerder hebt gebruikt. Probeer nieuwe modellen op een machine die je opnieuw kunt inrichten.