Đám mây, cục bộ hay tích hợp: chọn mô hình phù hợp

Gridberry chạy trên Windows 10/11 và giao tiếp với mô hình bạn chọn. Sử dụng nhà cung cấp AI đám mây qua điểm cuối API chuẩn, mô hình trên máy tính cá nhân của bạn hoặc mô hình tích hợp, và chuyển đổi bất cứ khi nào tác vụ đòi hỏi một mô hình khác.

Ba cách kết nối mô hình

Nhà cung cấp AI đám mây

Nhà cung cấp AI đám mây phù hợp cho các bước phức tạp, chẳng hạn như phiên gỡ lỗi dài xuyên suốt nhiều nhật ký. Bạn nhập điểm cuối API chuẩn và khóa của nhà cung cấp vào Gridberry, và khóa vẫn nằm trên máy tính cá nhân của bạn. Văn bản nhắc được gửi đến nhà cung cấp đó, bao gồm cả nội dung của bất kỳ tệp nào mà agent đọc, vì vậy hãy giữ các thông tin bí mật khỏi các tệp đó. Gridberry ẩn thông tin nhạy cảm trong kết quả công cụ trước khi chúng đến mô hình. Nhà cung cấp AI đám mây có thể tính phí sử dụng, và mức phí do nhà cung cấp quyết định, không phải Gridberry.

Mô hình trên máy tính cá nhân của bạn

Mô hình chạy trên máy tính cá nhân của bạn phù hợp cho công việc mà văn bản nhắc phải ở lại máy của bạn. Với mô hình cục bộ, không dữ liệu nào rời khỏi máy tính cá nhân qua kết nối mô hình. Các tính năng khác vẫn sử dụng mạng khi bạn bật chúng, chẳng hạn như tìm kiếm web hoặc kiểm tra cập nhật, và phiên SSH đến máy chủ của bạn vốn dĩ là một kết nối mạng. Tốc độ và cửa sổ ngữ cảnh phụ thuộc vào phần cứng của bạn, vì vậy hãy nhấn nút Test và đọc cả hai con số trước khi dựa vào mô hình.

Mô hình tích hợp sẵn

Mô hình tích hợp sẵn sẵn sàng sử dụng mà không cần điểm cuối riêng của bạn. Nó phù hợp để thử lần đầu: cài đặt Gridberry, mở một phiên chat và hỏi agent giải thích lệnh adduser làm gì. Chuyển sang Plan only để đọc một kế hoạch mà không có lệnh nào được thực thi, sau đó chuyển sang Ask first khi bạn muốn phê duyệt từng lệnh riêng lẻ trên máy thử. Bạn có thể kết nối một mô hình đám mây hoặc cục bộ sau đó. Hãy xem xét mọi thẻ lệnh và mọi diff với mô hình này như bạn vẫn làm với bất kỳ mô hình nào khác.

Kiểm tra kết nối bằng nút Test

Nút Test kiểm tra một điểm cuối. Nó hiển thị thời gian phản hồi và cửa sổ ngữ cảnh của mô hình bạn đã kết nối. Hãy chạy nó sau khi nhập một điểm cuối mới hoặc một khóa mới, và chạy lại khi bạn chuyển đổi mô hình, để bạn nhận ra sự cố với điểm cuối trước khi bắt đầu một phiên chat. Thời gian phản hồi dài nghĩa là mỗi bước sẽ chờ lâu hơn. Cửa sổ ngữ cảnh nhỏ nghĩa là agent giữ ít hơn một đoạn nhật ký dài hoặc một tệp cấu hình dài cùng một lúc. So sánh hai điểm cuối bằng cùng một nút và giữ lại cái phù hợp với tác vụ của bạn. Kết quả chỉ mô tả kết nối. Nó không cho bạn biết liệu mô hình có viết đúng lệnh hay không, vì vậy bạn vẫn cần xem xét mọi thẻ và mọi diff.

Chọn mô hình cho tác vụ

Chọn một mô hình lớn hơn cho các bước có nhiều thành phần chuyển động, chẳng hạn như một phiên gỡ lỗi dài xuyên suốt các nhật ký và tệp cấu hình, và chọn mô hình nhỏ hơn cho các bước ngắn như tạo một tài khoản hoặc đọc một danh sách nhóm. Công cụ run_on_model gửi một bước phức tạp đến mô hình lớn hơn trong khi phần còn lại của phiên chat vẫn ở trên mô hình bạn đã chọn, và bạn là người quyết định khi nào sử dụng nó. Một mô hình lớn hơn có thể chậm hơn trong việc trả lời, và nó cần phần cứng mạnh hơn trên máy tính cá nhân cục bộ, vì vậy hãy khớp mô hình với bước thực hiện. Hãy xem xét kết quả dù theo cách nào.

Chất lượng khác nhau giữa các mô hình, và bất kỳ mô hình nào cũng có thể viết một lệnh sai với sự tự tin đầy đủ. Hãy đọc diff hoặc thẻ lệnh trước khi chấp nhận nó. Ask first tạm dừng trước các hành động thay đổi thứ gì đó, để bạn thấy chính xác dòng lệnh trước khi nó chạy. Plan only viết ra một kế hoạch và không thực thi gì, đây là một bước đầu hợp lý với một mô hình mà bạn chưa từng sử dụng trước đây. Hãy thử các mô hình mới trên một máy mà bạn có thể xây dựng lại.