Cloud, lokální nebo vestavěný: vyberte model, který vám vyhovuje

Gridberry běží na Windows 10/11 a komunikuje s modelem, který si zvolíte. Použijte poskytovatele AI v cloudu přes standardní endpoint API, model na vlastním PC nebo vestavěný model a přepínejte podle toho, jaký úkol vyžaduje jiný model.

Tři způsoby připojení modelu

Poskytovatel AI v cloudu

Poskytovatel AI v cloudu se hodí pro náročnější kroky, jako je dlouhá relace ladění napříč několika logy. Do Gridberry zadáte standardní endpoint API poskytovatele a svůj klíč; klíč zůstává na vašem PC. Text promptu jde k tomuto poskytovateli, včetně textu souborů, které agent čte, takže z těchto souborů vynechte důvěrné údaje. Gridberry maskuje důvěrné údaje ve výstupu nástrojů, než se dostanou k modelu. Poskytovatel AI v cloudu může účtovat poplatky za využití, což určuje poskytovatel, ne Gridberry.

Model na vašem vlastním PC

Model běžící na vašem vlastním PC se hodí pro práci, kde musí prompt zůstat na vašem stroji. S lokálním modelem nic neopustí PC přes připojení k modelu. Ostatní funkce stále využívají síť, když je zapnete, například vyhledávání na webu nebo kontrolu aktualizací, a SSH relace k vašemu serveru je síťové připojení od podstaty. Rychlost a kontextové okno závisí na vašem hardwaru, takže spusťte tlačítko Test a přečtěte obě čísla, než se na model spolehnete.

Vestavěný model

Vestavěný model je připraven k použití bez vlastního endpointu. Hodí se pro první vyzkoušení: nainstalujte Gridberry, otevřete chat a požádejte agenta, aby vysvětlil, co dělá adduser. Přepněte na Plan only, abyste si přečetli plán bez provedení příkazů, a přejděte na Ask first, když chcete schvalovat jednotlivé příkazy na testovacím stroji. Cloudový nebo lokální model můžete připojit později. Kontrolujte každou kartu příkazu a každý diff s tímto modelem stejně jako s jakýmkoli jiným.

Zkontrolujte připojení pomocí Test

Tlačítko Test zkontroluje endpoint. Zobrazí dobu odezvy a kontextové okno připojeného modelu. Spusťte ho po zadání nového endpointu nebo nového klíče a znovu při přepnutí modelů, abyste si všimli problému s endpointem před zahájením chatu. Dlouhá doba odezvy znamená, že každý krok čeká déle. Malé kontextové okno znamená, že agent najednou uchová méně z dlouhého logu nebo dlouhého konfiguračního souboru. Porovnejte dva endpointy se stejným tlačítkem a ponechte si ten, který vyhovuje vašemu úkolu. Výsledek popisuje pouze připojení. Neříká vám, zda model píše správné příkazy, takže stále kontrolujte každou kartu a každý diff.

Vyberte model pro úkol

Vyberte větší model pro kroky s mnoha pohyblivými částmi, jako je dlouhá relace ladění napříč logy a konfiguračními soubory, a menší model pro krátké kroky, jako je vytvoření jednoho účtu nebo přečtení jednoho seznamu skupin. Nástroj run_on_model pošle náročný krok k většímu modelu, zatímco zbytek chatu zůstává na modelu, který jste zvolili, a vy rozhodujete, kdy ho použít. Větší model může být pomalejší při odpovědi a potřebuje výkonnější hardware na lokálním PC, takže přizpůsobte model kroku. Výsledek zkontrolujte v obou případech.

Kvalita se mezi modely liší a jakýkoli model může napsat špatný příkaz s plnou důvěrou. Přečtěte si diff nebo kartu příkazu před jeho přijetím. Ask first pozastaví akce, které něco mění, takže uvidíte přesný řádek před jeho spuštěním. Plan only napíše plán a nic nespustí, což je rozumný první krok s modelem, který jste ještě nepoužili. Vyzkoušejte nové modely na stroji, který můžete obnovit.