УМННБJ, ЯХВ. Войти !bnw Сегодня Клубы
https://github.com/ggerganov/llama.cpp даже работает сразу, теперь у меня на хинкпаде есть электрический нейропиздобол, генерирующий по два токена в секунду на проце // 7B-версия
#7XVB0I / @l29ah / 647 дней назад

от педикулеза тебя избавит?
#7XVB0I/2KO / @anonymous / 647 дней назад
есть какая-то практическая область применения у этой игрушки?
#7XVB0I/4GC / @querens / 647 дней назад
@querens да, в анусе ёрзать, туда-сюда, туда-сюда
#7XVB0I/6Y5 / @anonymous --> #7XVB0I/4GC / 647 дней назад
а что у тебя за модель тхинкпада? сколька оперативы?
#7XVB0I/OT9 / @corpse / 646 дней назад
@corpse x210, 16ГБ, при генерации используется 4,2ГБ.
#7XVB0I/3CR / @l29ah --> #7XVB0I/OT9 / 646 дней назад
@komar бля чет не качаеца ни хуя(((
#7XVB0I/L0W / @komar --> #7XVB0I/SU9 / 646 дней назад
@komar умвр
#7XVB0I/7XH / @l29ah --> #7XVB0I/L0W / 646 дней назад
@l29ah но у меня ipv6 работает, а тебе вроде это нельзя
#7XVB0I/B1R / @l29ah --> #7XVB0I/7XH / 646 дней назад
Если вместо восьми тредов попросить четыре, то работает быстрее // 600мс на токен на 13B 4bit
#7XVB0I/05E / @l29ah / 646 дней назад
@l29ah Походу дело в том что у меня всего один канал оперативы задействован // лох
#7XVB0I/J5Q / @l29ah --> #7XVB0I/05E / 646 дней назад
ipv6 ready BnW для ведрофона BnW на Реформале Викивач Котятки

Цоперайт © 2010-2016 @stiletto.