ja richtig. Ohne Grafikkarte. Man braucht eigentlich nur https://github.com/antimatter15/alpaca.cpp und die in der readme angegebenen Models. Das 13B ist seit ein paar Stunden verfügbar und läuft bei mir mit mittelalterlicher Hardware „fast enough“. Auf moderner Hardware ist das praktisch schon unheimlich was man damit machen kann.... zuhause. Einfach so. Living the future. #alpacacpp #largelanguagemodel #llamacpp

nagut, dann installier ich das halt mal.... diese Projektnamen, ich muss die ganze Zeit grinsen.... "npx dalai llama install 7B" #dalai #llama #llamacpp #alpacacpp #alpacacpp

Wrote my own ChatGPT API with #alpacaCPP 😂 https://github.com/antimatter15/alpaca.cpp

(Basically, it runs the chat executable as a spawned process, then that file is forked from another that has an expressjs server running - working with this stuff with events is a mess but it works per request at least)