Все проекты
Инфраструктура
Внутренняя система
GPU-серверы для LLM
8× NVIDIA B200 и 8× RTX PRO 6000 Blackwell: языковые модели, генерация изображений и видео, речь
- Моя роль
- DevOps / MLOps
- Период
- 2026
Ввёл в эксплуатацию и сопровождаю два GPU-сервера, на которых работают AI-функции наших продуктов. На HGX-узле с 8× NVIDIA B200 работают крупные языковые и мультимодальные модели на SGLang за LLM-шлюзом с ключами и бюджетами. Узел с 8× RTX PRO 6000 Blackwell (768 ГБ видеопамяти, 1 ТБ RAM) обслуживает vLLM, ComfyUI для генерации изображений, видео и липсинка, распознавание и синтез речи. Конфигурации и runbook-и живут в git.
Что сделано
- Сравнение моделей (GLM, Qwen, DeepSeek, Kimi, MiniMax) и бенчмарки
- LLM-шлюз со строгой маршрутизацией, виртуальными ключами и бюджетами
- Runbook-и инцидентов: перезагрузка драйверов, падения CUDA graph, гарантийная замена GPU-модуля
- Установка ОС через BMC и виртуальные носители — без физического доступа
- На этих моделях работают AI-ассистент билетной системы, перевод в Zamon и помощник EnglishKids