вставил в ноут (i7-8550U) вместо 1x16ГБ 2x8ГБ (2400MT/s), позапускал llama.cpp, позамерял:
SMT как не давал никакой пользы так и не даёт
скорость двухбитовых нейронок практически не изменилась
четырёхбитные нейронки стали в полтора раза быстрее
восьмибитные стали почти вдвое быстрее
https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard
Где скачать jiviai medX? Официальный NewMes чёт тоже куда-то пропал, и автор вообще хз кто, но нашёлся зато https://huggingface.co/mradermacher/NewMes-v15-GGUF
Ну и не хватает сравнения с более свежими закрытыми моделями :[
https://openai.com/index/introducing-operator/ сможет ли LLM справиться с современным вебом?
Затестировал Qwen2-VL-7B-Instruct-Q5_K_M.gguf. Удивительно неплохо работает на моём старом ноутбуке. За несколько минут генерирует описания картинок неплохие. Буду наверное делать на его основе индексер картинок для домашней коллекции. Примеры описаний мемосов:
# https://0x0.st/8rDY.jpg
The image is a black-and-white sketch of a person walking with a backpack. The person is holding a bouquet of flowers in one hand. The text in the image is in Cyrillic script and reads "ЗНАНИЯ ХУЯНИЯ."
# https://litter.catbox.moe/2vryfy.jpg
The image depicts a group of swans swimming in a body of water that appears to be covered in green algae. The water is murky, and the swans are of varying colors, with some appearing white and others having brownish hues. The text in the image is in Russian and is scattered throughout the image, providing commentary or descriptions related to the scene. The text includes phrases such as "Кто там первый, а?" (Who's first there?), "Вы тоже чувствуете некую вторичность происходящего?" (Do you also feel a certain secondary nature of what is happening?), "ХЗ может симулякр или постмодерн" (I don't know if it's a simulation or postmodernism), and "Оказывается, что это метамем и смешно не будет" (It turns out that it's a meta-meme and it won't be funny). The overall tone of the text seems to be reflective and somewhat philosophical.
# https://0x0.st/8rDh.jpg
The image depicts a group of children balancing various objects on their heads. The text in the image is in Russian and provides a message about the importance of good posture and balance. Here is a translation of the text:
---
**"Хорошая осанка полезна для вашей спины. Доктора знают, насколько важно её правильное формирование. Вы можете начать с классического упражнения сохранения равновесия при помощи банки с кислотой на вашей голове."
Translation: "Good posture is beneficial for your back. Doctors know how important it is to properly form it. You can start with the classic exercise of maintaining balance using a jar of acid on your head."
---
The image is likely an educational or motivational poster, emphasizing the importance of good posture and balance for children.
Мне кажется или CLI llama.cpp разучился вытирать реверс-промпт из ChatML-ответов?
$ llama-cli -m ./models/openhermes-2.5-neural-chat-7b-v3-1-7b/ggml-model-q5_k_m.gguf -n -1 -t 4 --color -f prompts/chat-with-chatml.txt --prompt-cache ./models/openhermes-2.5-neural-chat-7b-v3-1-7b/ggml-model-q5_k_m_chat-with-chatml.txt.prompt --ctx-size 2048 -cnv --in-prefix '<|im_start|>user\n' --in-suffix '<|im_end|>\n<|im_start|>assistant\n' --reverse-prompt '<|im_end|>' --chat-template chatml
...
== Running in interactive mode. ==
- Press Ctrl+C to interject at any time.
- Press Return to return control to the AI.
- To return control without starting a new line, end your input with '/'.
- If you want to submit another line, end your input with '\'.
<|im_start|>system
You are a helpful assistant<|im_end|>
<|im_start|>user
Hello<|im_end|>
<|im_start|>assistant
Hi there<|im_end|>
<|im_start|>user
Who are you<|im_end|>
<|im_start|>assistant
I am an assistant<|im_end|>
> Howdy?
Hello again<|im_end|>
>
Вот чего он этот "<|im_end|>" мне показывает?!
https://bbycroft.net/llm - визуализация о том как работает GPT
Цоперайт © 2010-2016 @stiletto.