https://github.com/ggerganov/llama.cpp даже работает сразу, теперь у меня на хинкпаде есть электрический нейропиздобол, генерирующий по два токена в секунду на проце // 7B-версия
от педикулеза тебя избавит?
#7XVB0I/2KO
/ @anonymous
/ 613 дней назад
есть какая-то практическая область применения у этой игрушки?
#7XVB0I/4GC
/ @querens
/ 613 дней назад
@querens да, в анусе ёрзать, туда-сюда, туда-сюда
#7XVB0I/6Y5
/ @anonymous
-->
#7XVB0I/4GC
/ 613 дней назад
https://github.com/facebookresearch/llama/pull/73/files/016a53608c5eae1021e171b9c4f06a9783fc14c0 заебца
#7XVB0I/SU9
/ @komar
/ 613 дней назад
а что у тебя за модель тхинкпада? сколька оперативы?
#7XVB0I/OT9
/ @corpse
/ 613 дней назад
@corpse x210, 16ГБ, при генерации используется 4,2ГБ.
#7XVB0I/3CR
/ @l29ah
-->
#7XVB0I/OT9
/ 613 дней назад
@komar бля чет не качаеца ни хуя(((
#7XVB0I/L0W
/ @komar
-->
#7XVB0I/SU9
/ 613 дней назад
@komar умвр
#7XVB0I/7XH
/ @l29ah
-->
#7XVB0I/L0W
/ 613 дней назад
@l29ah но у меня ipv6 работает, а тебе вроде это нельзя
#7XVB0I/B1R
/ @l29ah
-->
#7XVB0I/7XH
/ 613 дней назад
Если вместо восьми тредов попросить четыре, то работает быстрее // 600мс на токен на 13B 4bit
#7XVB0I/05E
/ @l29ah
/ 613 дней назад
@l29ah Походу дело в том что у меня всего один канал оперативы задействован // лох
#7XVB0I/J5Q
/ @l29ah
-->
#7XVB0I/05E
/ 613 дней назад
Цоперайт © 2010-2016 @stiletto.