Нужен хороший бюджетный мини-ПК для ИИ-агента
Захотелось поэкспериментировать с локальным запуском небольших языковых моделей вроде Llama 3.1 8B, Mistral или Stable Diffusion для генерации текста и простых изображений. Для этого не нужен огромный игровой компьютер с топовой видеокартой, но и Raspberry Pi явно не справится. Ищу компактный, тихий и относительно недорогой мини-ПК, который можно поставить в угол и держать включённым 24/7, чтобы к нему можно было обращаться по сети. Основные требования упираются в железо желательно процессор с хорошим количеством ядер и поддержкой AVX2 обязательно для многих ИИ-библиотек, минимум 16 ГБ ОЗУ лучше 32, но это сильно удорожает, и наличие хотя бы скромной дискретной видеокарты с 4-8 ГБ памяти для ускорения через CUDA, потому что на CPU всё будет работать черепашьими темпами. Но вот здесь начинается проблема: почти все мини-ПК в бюджетном сегменте (до 40-50 тысяч) идут с интегрированной графикой, а те, у которых есть MXM-слот или возможность подключить внешнюю видеокарту через Thunderbolt, стоят как полноценный ПК. Может, есть смысл собрать компактную систему в корпусе типа Fractal Design Node? Или существуют готовые решения на базе Intel NUC с видеокартами Arc, которые хорошо работают с ИИ-инференсом?
6 комментариев
Забудь про миники с дискретной видяхой в твоём бюджете, бери обычный мини ITX корпус и собирай сам
Только вот на CPU даже 7B модель будет думать минуту на ответ, нужен хотя бы гпу так что смотри на варианты с внешним боксом для видеокарты через тандерболт например старый Intel NUC + бу RTX 3060 в боксе, дорого но хотя бы работает
Ответы (1)
Смотри в сторону мини-ПК на Intel N100/N200
А Intel Arc в миниПК сейчас бывают?
Есть но с ними гемор
Ответы (1)
Ответы (2)
Beelink SER7 с Ryzen 7 7840HS у него iGPU Radeon 780M по мощности близка к GTX 1650 и есть поддержка ROCm типа аналога CUDA от AMD для ИИ, правда настраивать придётся