클라우드, 로컬 또는 내장: 작업에 맞는 모델을 선택하세요

Gridberry는 Windows 10/11에서 실행되며 선택한 모델과 통신합니다. 표준 API 엔드포인트를 통해 클라우드 AI 제공업체를 사용하거나, 로컬 PC의 모델을 사용하거나, 내장 모델을 사용할 수 있으며, 작업에 따라 언제든지 모델을 전환할 수 있습니다.

모델 연결 방법 세 가지

클라우드 AI 제공업체

여러 로그를 아우르는 긴 진단 세션과 같은 복잡한 작업에는 클라우드 AI 제공업체가 적합합니다. Gridberry에 제공업체의 표준 API 엔드포인트와 키를 입력하면 키는 PC에 유지됩니다. 프롬프트 텍스트는 읽은 파일의 내용을 포함해 해당 제공업체로 전송되므로, 이러한 파일에 민감한 정보를 넣지 마세요. Gridberry는 도구 출력의 민감한 정보를 모델에 전달하기 전에 제거합니다. 클라우드 AI 제공업체는 사용량에 따라 요금을 부과할 수 있으며, 이는 Gridberry가 아닌 제공업체에서 결정합니다.

로컬 PC의 모델

프롬프트가 내 PC에 남아야 하는 작업에는 로컬 모델이 적합합니다. 로컬 모델의 경우 모델 연결을 통해 데이터가 외부로 나가지 않습니다. 웹 검색이나 업데이트 확인과 같이 켜 둔 다른 기능은 여전히 네트워크를 사용하며, 서버에 대한 SSH 세션은 본질적으로 네트워크 연결입니다. 속도와 컨텍스트 창 크기는 하드웨어에 따라 다르므로, 모델에 의존하기 전에 테스트 버튼을 실행하고 두 수치를 모두 확인하세요.

내장 모델

내장 모델은 별도의 엔드포인트 설정 없이 바로 사용할 수 있습니다. 첫 번째 시도용으로 적합합니다: Gridberry를 설치하고 채팅을 열어 에이전트에게 adduser가 무엇을 하는지 설명해 달라고 요청하세요. Plan only로 전환하여 아무것도 실행되지 않는 계획을 읽고, 테스트 머신에서 개별 명령을 승인하고 싶을 때 Ask first로 전환하세요. 나중에 클라우드 또는 로컬 모델을 연결할 수 있습니다. 이 모델을 사용할 때도 다른 모델과 마찬가지로 모든 명령 카드와 diff를 검토하세요.

테스트로 연결 확인

테스트 버튼은 엔드포인트를 확인합니다. 연결한 모델의 응답 시간과 컨텍스트 창 크기를 표시합니다. 새 엔드포인트나 새 키를 입력한 후, 그리고 모델을 전환할 때마다 실행하여 채팅을 시작하기 전에 엔드포인트의 문제를 파악하세요. 응답 시간이 길면 모든 단계의 대기 시간이 길어집니다. 컨텍스트 창이 작으면 에이전트가 긴 로그나 긴 구성 파일을 한 번에 더 적게 보유합니다. 동일한 버튼으로 두 엔드포인트를 비교하고 작업에 맞는 것을 유지하세요. 결과는 연결 상태만 설명할 뿐, 모델이 올바른 명령을 작성하는지는 알려주지 않으므로 여전히 모든 카드와 diff를 검토해야 합니다.

작업에 맞는 모델 선택

로그와 구성 파일을 아우르는 긴 진단 세션과 같이 많은 요소가 움직이는 작업에는 더 큰 모델을 선택하고, 계정 생성 또는 그룹 목록 읽기와 같은 짧은 작업에는 더 작은 모델을 선택하세요. run_on_model 도구는 복잡한 작업을 큰 모델에 보내고 채팅의 나머지는 선택한 모델에서 처리하며, 언제 사용할지 결정할 수 있습니다. 더 큰 모델은 응답이 느릴 수 있으며 로컬 PC에서는 더 강력한 하드웨어가 필요하므로, 작업에 맞게 모델을 맞추세요. 어떤 경우든 결과를 검토하세요.

모델 간 품질은 다양하며, 어떤 모델도 확신에 차 잘못된 명령을 작성할 수 있습니다. 수락하기 전에 diff나 명령 카드를 읽어보세요. Ask first는 변경 작업을 수행하기 전에 일시 정지하므로 실행되기 전에 정확한 줄을 확인할 수 있습니다. Plan only는 계획을 작성하고 아무것도 실행하지 않으므로, 아직 사용하지 않은 모델로 작업할 때 현명한 첫 단계입니다. 재설치할 수 있는 머신에서 새로운 모델을 테스트해 보세요.