УМННБJ, ЯХВ.
Войти
!bnw
Сегодня
Клубы
будущее
https://github.com/ggerganov/llama.cpp
даже работает сразу, теперь у меня на хинкпаде есть электрический нейропиздобол, генерирующий по два токена в секунду на проце // 7B-версия
#7XVB0I
/
@l29ah
/
647 дней назад
от педикулеза тебя избавит?
#7XVB0I/2KO
/
@anonymous
/
647 дней назад
есть какая-то практическая область применения у этой игрушки?
#7XVB0I/4GC
/
@querens
/
647 дней назад
@querens
да, в анусе ёрзать, туда-сюда, туда-сюда
#7XVB0I/6Y5
/
@anonymous
-->
#7XVB0I/4GC
/
647 дней назад
https://github.com/facebookresearch/llama/pull/73/files/016a53608c5eae1021e171b9c4f06a9783fc14c0
заебца
#7XVB0I/SU9
/
@komar
/
646 дней назад
а что у тебя за модель тхинкпада? сколька оперативы?
#7XVB0I/OT9
/
@corpse
/
646 дней назад
@corpse
x210, 16ГБ, при генерации используется 4,2ГБ.
#7XVB0I/3CR
/
@l29ah
-->
#7XVB0I/OT9
/
646 дней назад
@komar
бля чет не качаеца ни хуя(((
#7XVB0I/L0W
/
@komar
-->
#7XVB0I/SU9
/
646 дней назад
@komar
умвр
#7XVB0I/7XH
/
@l29ah
-->
#7XVB0I/L0W
/
646 дней назад
@l29ah
но у меня ipv6 работает, а тебе вроде это нельзя
#7XVB0I/B1R
/
@l29ah
-->
#7XVB0I/7XH
/
646 дней назад
Если вместо восьми тредов попросить четыре, то работает быстрее // 600мс на токен на 13B 4bit
#7XVB0I/05E
/
@l29ah
/
646 дней назад
@l29ah
Походу дело в том что у меня всего один канал оперативы задействован // лох
#7XVB0I/J5Q
/
@l29ah
-->
#7XVB0I/05E
/
646 дней назад
BnW для ведрофона
BnW на Реформале
Викивач
Котятки
Цоперайт © 2010-2016
@stiletto
.