Руководство по интеграции AnythingLLM

Обзор

AnythingLLM работает с Routerah как с провайдером Generic OpenAI. Введите модель, задайте окно контекста, сохраните.

Быстрая настройка

Вставьте это в клиент. Ваш ключ подставляется автоматически, если вы вошли в аккаунт.

Базовый URL: https://api.routerah.app/v1
API-ключ: YOUR_API_KEY

Совместимость

Пошаговая настройка

1. 1
   Откройте LLM Preference

   Откройте Settings в боковой панели, затем LLM Preference.

2. 2
   Выберите Generic OpenAI

   Установите LLM Provider в значение Generic OpenAI и заполните форму. Max Tokens по умолчанию равен 1024 и ограничивает каждый ответ, поэтому увеличьте это значение.

   text

   Base URL: https://api.routerah.app/v1
   API Key: YOUR_API_KEY
   Chat Model Name: YOUR_MODEL_ID
   Model context window: 50000
   Max Tokens: 8192

   Войдите, чтобы автоматически подставить ваш ключ API

3. 3
   Сохраните

   Сохраните. AnythingLLM будет использовать Routerah в рабочих пространствах чата.

Рекомендуемые модели

Бесплатные модели, которые здесь работают. Вставьте id любой модели в клиент.

Нюансы

• !Generic OpenAI загружает каталог, как только заданы Base URL и API Key. Если загрузка не удалась, поле превращается в обычную строку ввода, тогда введите идентификатор модели вручную.
• !Embedding Preference: отдельная вкладка. Оставьте там рабочего провайдера эмбеддингов, если только Routerah не даёт эмбеддинги на вашем тарифе.