Хотите запустить свою LLM на арендованных GPU и подключить её напрямую к IDE? Схема простая: Hugging Face → GPU → API → Cursor/другая IDE.
1. Выбираем модель
На Hugging Face находим подходящую модель под свою задачу. Для примера можно взять Qwen3 Coder 30B A3B Instruct (Abliterated) — модель для программирования с изменёнными ограничениями поведения.
2. Арендуем мощности
Используем облачный GPU-сервис вроде RunPod. Регистрируем аккаунт и пополняем баланс. Оплата идёт за фактическое использование вычислительных ресурсов.
3. Создаём Endpoint
Переходим в Serverless → New Endpoint → Deploy LLM API и указываем репозиторий выбранной модели с Hugging Face.
4. Подбираем GPU
Выбираем видеокарты исходя из размера модели и её требований к VRAM. Чем больше модель и контекст — тем больше памяти понадобится.
5. Настраиваем окружение
Указываем необходимые environment variables и параметры запуска. Они зависят от конкретной модели, поэтому перед запуском обязательно сверяемся с её документацией и требованиями.
6. Получаем API
После развёртывания создаём API Key и сохраняем его. Endpoint становится точкой доступа к нашей модели.
7. Подключаем OpenAI-compatible API
Если сервис предоставляет OpenAI-compatible endpoint, используем соответствующий URL API и ключ. Это позволяет подключать модель к приложениям и IDE, которые поддерживают OpenAI API.
8. Подключаем IDE
В Cursor или другой совместимой IDE указываем:
— Base URL своего endpoint
— API Key
— название модели
После этого запросы из IDE идут уже к вашей развёрнутой модели, а не к чужому готовому API.
💡 Итог: выбираем нужную модель → арендуем GPU → разворачиваем LLM → получаем API → подключаем к IDE.
Главный плюс — контроль над моделью, настройками и вычислительными ресурсами, а платить приходится только за используемые мощности.
🚀 Выбираем модель. Разворачиваем. Получаем API. Кодим.
1. Выбираем модель
На Hugging Face находим подходящую модель под свою задачу. Для примера можно взять Qwen3 Coder 30B A3B Instruct (Abliterated) — модель для программирования с изменёнными ограничениями поведения.
2. Арендуем мощности
Используем облачный GPU-сервис вроде RunPod. Регистрируем аккаунт и пополняем баланс. Оплата идёт за фактическое использование вычислительных ресурсов.
3. Создаём Endpoint
Переходим в Serverless → New Endpoint → Deploy LLM API и указываем репозиторий выбранной модели с Hugging Face.
4. Подбираем GPU
Выбираем видеокарты исходя из размера модели и её требований к VRAM. Чем больше модель и контекст — тем больше памяти понадобится.
5. Настраиваем окружение
Указываем необходимые environment variables и параметры запуска. Они зависят от конкретной модели, поэтому перед запуском обязательно сверяемся с её документацией и требованиями.
6. Получаем API
После развёртывания создаём API Key и сохраняем его. Endpoint становится точкой доступа к нашей модели.
7. Подключаем OpenAI-compatible API
Если сервис предоставляет OpenAI-compatible endpoint, используем соответствующий URL API и ключ. Это позволяет подключать модель к приложениям и IDE, которые поддерживают OpenAI API.
8. Подключаем IDE
В Cursor или другой совместимой IDE указываем:
— Base URL своего endpoint
— API Key
— название модели
После этого запросы из IDE идут уже к вашей развёрнутой модели, а не к чужому готовому API.
💡 Итог: выбираем нужную модель → арендуем GPU → разворачиваем LLM → получаем API → подключаем к IDE.
Главный плюс — контроль над моделью, настройками и вычислительными ресурсами, а платить приходится только за используемые мощности.
🚀 Выбираем модель. Разворачиваем. Получаем API. Кодим.