Cloud, lokal, atau bawaan: pilih model yang sesuai
Gridberry berjalan di Windows 10/11 dan terhubung ke model pilihan Anda. Gunakan penyedia AI cloud melalui endpoint API standar, model di PC Anda sendiri, atau model bawaan, dan beralih kapan saja jika tugas memerlukan model yang berbeda.
Tiga cara menghubungkan model
Penyedia AI cloud
Penyedia AI cloud cocok untuk langkah yang lebih berat, seperti sesi pemecahan masalah panjang yang melintasi beberapa log. Masukkan endpoint API standar penyedia dan kunci Anda ke Gridberry; kunci tetap tersimpan di PC Anda. Teks prompt dikirim ke penyedia tersebut, termasuk teks file apa pun yang dibaca agen, jadi pastikan rahasia tidak ada di dalam file tersebut. Gridberry menghapus rahasia dalam output alat sebelum dikirim ke model. Penyedia AI cloud mungkin membebankan biaya penggunaan, dan hal itu diatur oleh penyedia, bukan oleh Gridberry.
Model di PC Anda sendiri
Model yang berjalan di PC Anda sendiri cocok untuk pekerjaan di mana prompt harus tetap berada di mesin Anda. Dengan model lokal, tidak ada data yang keluar dari PC melalui koneksi model. Fitur lain masih menggunakan jaringan saat Anda mengaktifkannya, misalnya web_search atau pemeriksaan pembaruan, dan sesi SSH ke server Anda pada dasarnya adalah koneksi jaringan. Kecepatan dan jendela konteks bergantung pada perangkat keras Anda, jadi jalankan tombol Test dan baca kedua angka tersebut sebelum mengandalkan model.
Model bawaan
Model bawaan siap digunakan tanpa endpoint milik Anda sendiri. Model ini cocok untuk percobaan pertama: instal Gridberry, buka chat, dan minta agen menjelaskan apa yang dilakukan adduser. Beralih ke Plan only untuk membaca rencana tanpa ada yang dieksekusi, lalu beralih ke Ask first ketika Anda ingin menyetujui perintah satu per satu di mesin uji. Anda dapat menghubungkan model cloud atau lokal nanti. Tinjau setiap kartu perintah dan setiap diff dengan model ini sebagaimana Anda melakukannya dengan model lain.
Periksa koneksi dengan Test
Tombol Test memeriksa sebuah endpoint. Tombol ini menampilkan waktu respons dan jendela konteks dari model yang Anda hubungkan. Jalankan setelah Anda memasukkan endpoint baru atau kunci baru, dan lagi saat Anda beralih model, agar Anda menyadari masalah dengan endpoint sebelum memulai chat. Waktu respons yang panjang berarti setiap langkah akan menunggu lebih lama. Jendela konteks yang kecil berarti agen hanya dapat menyimpan sebagian kecil dari log panjang atau file konfigurasi panjang sekaligus. Bandingkan dua endpoint dengan tombol yang sama dan pertahankan yang paling sesuai dengan tugas Anda. Hasilnya hanya menggambarkan koneksi. Hasil ini tidak memberi tahu Anda apakah model menulis perintah yang benar, jadi Anda tetap harus meninjau setiap kartu dan setiap diff.
Pilih model untuk tugasnya
Pilih model yang lebih besar untuk langkah dengan banyak komponen, seperti sesi pemecahan masalah panjang yang melintasi log dan file konfigurasi, dan model yang lebih kecil untuk langkah singkat seperti membuat satu akun atau membaca satu daftar grup. Alat run_on_model mengirim langkah berat ke model yang lebih besar sementara sisa percakapan tetap menggunakan model pilihan Anda, dan Anda memutuskan kapan menggunakannya. Model yang lebih besar mungkin lebih lambat dalam memberikan jawaban, dan membutuhkan perangkat keras yang lebih kuat di PC lokal, jadi sesuaikan model dengan langkahnya. Tinjau hasilnya dalam kasus apa pun.
Kualitas bervariasi antar model, dan model apa pun dapat menulis perintah yang salah dengan keyakinan penuh. Baca diff atau kartu perintah sebelum menerimanya. Ask first akan menjeda sebelum tindakan yang mengubah sesuatu, sehingga Anda melihat baris persis sebelum dijalankan. Plan only menulis rencana dan tidak menjalankan apa pun, yang merupakan langkah pertama yang masuk akal dengan model yang belum pernah Anda gunakan sebelumnya. Coba model baru di mesin yang dapat Anda bangun ulang.
