Cloud, lokal oder integriert: Das passende Modell wählen

Gridberry läuft unter Windows 10/11 und kommuniziert mit dem von Ihnen gewählten Modell. Nutzen Sie einen Cloud-KI-Anbieter über einen Standard-API-Endpunkt, ein Modell auf Ihrem eigenen PC oder das integrierte Modell und wechseln Sie jederzeit, wenn eine Aufgabe ein anderes Modell erfordert.

Drei Möglichkeiten zur Verbindung eines Modells

Cloud-KI-Anbieter

Ein Cloud-KI-Anbieter eignet sich für anspruchsvollere Schritte, etwa eine lange Fehlersuche über mehrere Logs hinweg. Sie geben den Standard-API-Endpunkt des Anbieters und Ihren Schlüssel in Gridberry ein; der Schlüssel verbleibt auf Ihrem PC. Der Prompt-Text wird an diesen Anbieter gesendet, einschließlich des Inhalts jeder Datei, die der Agent liest. Bewahren Sie Geheimnisse in diesen Dateien auf. Gridberry maskiert Geheimnisse in der Agent-Ausgabe, bevor sie das Modell erreicht. Ein Cloud-KI-Anbieter kann Nutzungsgebühren erheben, die vom Anbieter festgelegt werden und nicht von Gridberry.

Ein Modell auf Ihrem eigenen PC

Ein Modell, das auf Ihrem eigenen PC läuft, eignet sich für Arbeiten, bei denen der Prompt auf Ihrem Rechner bleiben muss. Bei einem lokalen Modell verlässt nichts die Maschine über die Modellverbindung. Andere Funktionen nutzen weiterhin das Netzwerk, wenn Sie sie aktivieren, z. B. die Websuche oder Updates, und eine SSH-Sitzung zu Ihrem Server ist per Definition eine Netzwerkverbindung. Geschwindigkeit und Kontextfenster hängen von Ihrer Hardware ab. Führen Sie den Test aus und lesen Sie beide Werte, bevor Sie sich auf das Modell verlassen.

Integriertes Modell

Das integrierte Modell ist ohne eigenen Endpunkt einsatzbereit. Es eignet sich für einen ersten Test: Installieren Sie Gridberry, öffnen Sie einen Chat und bitten Sie den Agenten, zu erklären, was adduser macht. Wechseln Sie in den Modus Plan only, um einen Plan ohne Ausführung zu lesen, und wechseln Sie dann zu Ask first, wenn Sie einzelne Befehle auf einer Testmaschine genehmigen möchten. Sie können später ein Cloud- oder lokales Modell verbinden. Überprüfen Sie jede Befehlskarte und jeden Diff mit diesem Modell, genau wie mit jedem anderen.

Verbindung mit Test prüfen

Die Schaltfläche Test prüft einen Endpunkt. Sie zeigt die Antwortzeit und das Kontextfenster des verbundenen Modells an. Führen Sie den Test aus, nachdem Sie einen neuen Endpunkt oder einen neuen Schlüssel eingegeben haben, und erneut, wenn Sie das Modell wechseln, damit Sie Probleme mit dem Endpunkt erkennen, bevor Sie einen Chat starten. Eine lange Antwortzeit bedeutet, dass jeder Schritt länger wartet. Ein kleines Kontextfenster bedeutet, dass der Agent weniger von einem langen Log oder einer langen Konfigurationsdatei gleichzeitig im Gedächtnis behält. Vergleichen Sie zwei Endpunkte mit derselben Schaltfläche und behalten Sie den, der zu Ihrer Aufgabe passt. Das Ergebnis beschreibt nur die Verbindung. Es sagt nichts darüber aus, ob das Modell korrekte Befehle schreibt. Überprüfen Sie weiterhin jede Karte und jeden Diff.

Modell für die Aufgabe wählen

Wählen Sie ein größeres Modell für Schritte mit vielen beweglichen Teilen, wie eine lange Fehlersuche über Logs und Konfigurationsdateien hinweg, und ein kleineres Modell für kurze Schritte, wie das Erstellen eines einzelnen Benutzers oder das Lesen einer Gruppenliste. Das Tool run_on_model sendet einen komplexen Schritt an ein größeres Modell, während der Rest des Chats beim gewählten Modell bleibt. Sie entscheiden selbst, wann Sie es nutzen. Ein größeres Modell kann langsamer antworten und benötigt auf einem lokalen PC leistungsfähigere Hardware. Passen Sie das Modell an den Schritt an. Überprüfen Sie das Ergebnis in jedem Fall.

Die Qualität variiert zwischen den Modellen, und jedes Modell kann mit voller Zuversicht einen falschen Befehl schreiben. Lesen Sie den Diff oder die Befehlskarte, bevor Sie ihn akzeptieren. Ask first pausiert vor Aktionen, die etwas ändern, sodass Sie die genaue Zeile sehen, bevor sie ausgeführt wird. Plan only erstellt einen Plan und führt nichts aus, was ein sinnvoller erster Schritt mit einem noch nicht getesteten Modell ist. Testen Sie neue Modelle auf einer Maschine, die Sie neu aufsetzen können.