Я правильно понимаю, что нынче лучшее/выгоднейшее железо для запуска здоровых LLMок без анальных бинарных драйверов - это AMD ThreadRipper и пачка модулей DDR5?
Ну и Monero майнить можно заодно.
В каких-то AMD процессорах есть нейроускорители, к которым дрова опенсорсные есть https://github.com/amd/xdna-driver
Правда хз как там щас с поддержкой LLMок. llamacpp не поддерживает https://github.com/ggerganov/llama.cpp/issues/1499
#ZY3AED/MKH
/ @j123123
/ 7 часов назад
Цоперайт © 2010-2016 @stiletto.