Облако, локальная или встроенная: выберите подходящую модель
Gridberry работает в Windows 10/11 и общается с выбранной вами моделью. Используйте облачный ИИ-сервис через стандартный API-эндпоинт, модель на вашем ПК или встроенную модель, и переключайтесь, когда задача требует другой.
Три способа подключения модели
Облачный ИИ-сервис
Облачный ИИ-сервис подходит для сложных задач, например длительного поиска неисправностей по нескольким журналам. Введите стандартный API-эндпоинт провайдера и ваш ключ в Gridberry; ключ остаётся на вашем ПК. Текст запроса отправляется провайдеру, включая содержимое файлов, которые читает агент, поэтому не храните секреты в этих файлах. Gridberry скрывает секреты в выводе инструментов перед отправкой модели. Облачный провайдер может взимать плату за использование, и условия устанавливает провайдер, а не Gridberry.
Модель на вашем ПК
Локальная модель подходит для задач, где запрос должен оставаться на вашем компьютере. При использовании локальной модели данные не покидают ПК через соединение с моделью. Другие функции всё ещё используют сеть при включении, например поиск в интернете или проверку обновлений, а SSH-соединение с сервером по своей природе является сетевым. Скорость и размер контекстного окна зависят от вашего оборудования, поэтому нажмите кнопку Test и прочтите оба значения, прежде чем полагаться на модель.
Встроенная модель
Встроенная модель готова к использованию без вашего собственного эндпоинта. Она подходит для первого знакомства: установите Gridberry, откройте чат и попросите агента объяснить, что делает adduser. Переключитесь в режим Plan only, чтобы прочитать план без выполнения команд, затем перейдите к Ask first, когда хотите утверждать отдельные команды на тестовой машине. Позже вы сможете подключить облачную или локальную модель. Проверяйте каждую карточку команды и каждое изменение с этой моделью так же, как с любой другой.
Проверка подключения кнопкой Test
Кнопка Test проверяет эндпоинт. Она показывает время отклика и размер контекстного окна подключённой модели. Запустите её после ввода нового эндпоинта или ключа, а также при переключении моделей, чтобы заметить проблему с эндпоинтом до начала чата. Длительное время отклика означает, что каждый шаг будет ждать дольше. Маленькое контекстное окно означает, что агент удерживает меньше данных из длинного журнала или длинного файла конфигурации за один раз. Сравните два эндпоинта с помощью одной кнопки и оставьте тот, который подходит для вашей задачи. Результат описывает только соединение. Он не говорит о том, правильно ли модель пишет команды, поэтому вы всё равно проверяете каждую карточку и каждое изменение.
Выбор модели для задачи
Выбирайте более мощную модель для задач со множеством компонентов, таких как длительный поиск неисправностей по журналам и файлам конфигурации, и более простую для коротких задач, например создания одной учётной записи или чтения списка групп. Инструмент run_on_model отправляет сложную задачу более мощной модели, пока остальная часть чата работает на выбранной вами модели, и вы решаете, когда её использовать. Более мощная модель может отвечать медленнее и требует более сильного оборудования на локальном ПК, поэтому подбирайте модель под задачу. Результат нужно проверять в любом случае.
Качество варьируется между моделями, и любая модель может уверенно написать неверную команду. Читайте diff или карточку команды перед тем, как принять её. Режим Ask first приостанавливает действия, изменяющие систему, чтобы вы увидели точную строку перед запуском. Режим Plan only создаёт план и ничего не выполняет, что является разумным первым шагом с новой для вас моделью. Пробуйте новые модели на машине, которую можно восстановить.
