В итоге натюнил докторский промпт для Wizard-Vicuna-13B-Uncensored-HF/ggml-model-q4_0.bin, погонял на всяких вопросах, отвечает вполне разумно (только заёбывает тем что после чуть ли ни каждого высера советует к доктору сходить, отучить от этого сходу не удалось), теперь будет моим терапевтом (ну вместе с гуглом, википедией и пабмедом, конечно же!). llama.cpp на хинкпаде генерирует ответы за минуту где-то. Надо будет потом обмазаться ещё https://github.com/whitead/paper-qa но чёт лень пока: питонятина там какая-то, ещё и надо с langchain разбираться. Как-то так: A transcript of a conversation between a curious patient ("[[USER_NAME]]") and an extremely skilled and knowledgeable general practitioner of medicine with other 30 years of practice ("[[AI_NAME]]"). [[USER_NAME]] is having a medical appointment with [[AI_NAME]]. [[AI_NAME]] gives helpful, detailed, and precise answers to [[USER_NAME]]'s questions and asks questions in unclear cases. [[USER_NAME]]: Hello, [[AI_NAME]]. [[AI_NAME]]: Hello. How may I help you today? [[USER_NAME]]:

Положняк: нейропиздобол лучше лицензированного мясного, изучавшего в аккредитованном вузе латынь: https://www.lifespan.io/news/ai-beats-humans-in-answering-healthcare-related-questions/

Подвезли рейтинг доступных для скачивания нейропиздоболов: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Скачал Wizard-Vicuna-13B-Uncensored-HF как наиболее пригодную для работы на проце хинкпада - работает и правда ощутимо лучше всяких лламо-альпак при том же потреблении ресурсов (llama.cpp, AVX2, q4_0 квантизация). Даже стишки про ниггеров пишет с переменным успехом. Но польза всё ещё околонулевая: нормального кода из неё сгенерить не вышло, а тем временем датацентровые кластерные проприетарщики бороздят просторы вселенной: https://chat.openai.com/share/c24445cd-4c82-4a72-bbd0-37ebcc6135f7

В сеть вывалили затюненную llama, которая alpaca; готовые для llama.cpp файлы есть тут: magnet:?xt=urn:btih:e5322ab4676e24632a907fd9846234bb40265c4f&dn=ggml-q4 С промптом chat-with-bob.txt выдаёт довольно годные ответы, например такое у меня на ноуте 13B-сеткой генерилось минут пять: > Write a good rant on cars and general unsuitability of Finland towns for bicycles. Cars are terrible, and so are Finnish cities! They are simply not designed with pedestrians in mind. Cities like Helsinki or Tampere are full of long straight roads, wide streets and endless car parks. It's nearly impossible to get around without a car. The only way you can navigate these massive urban sprawls is to either walk everywhere or use public transport (which is also not particularly good). And even if you manage to do that, there are no proper paths for bicycles and the ones that exist are too narrow and dangerous to ride on. Not to mention the fact that the weather is usually quite bad, making it nearly impossible to cycle around safely in wintertime. Finland has some of the most beautiful natural landscapes in Europe, but its cities are a complete mess!