u/Few_Professional_597

​

Собираю headless-сервер для инференса тяжёлых моделей. Основной ПК — тонкий клиент по сети.

Сервер:Xeon E5-2670V3, QIYIDA X99 D4, 16 ГБ DDR4. Докупаю Tesla P40 24 ГБ, турбинный кит охлаждения, БП 600–750 Вт, SSD 512 ГБ.

Софт: Ubuntu, драйвер NVIDIA Data Center 470.x/535.x, llama.cpp с поддержкой CC 6.1, запуск llama-server с --host 0.0.0.0 и -ngl 999. В BIOS — Above 4G Decoding.

Клиент: Ryzen 5 5500, 32 ГБ, RX 580. Open WebUI или LM Studio.

Соединение:прямой Ethernet-кабель без роутера, IP вручную.

Ваши мнения?