Mi ez?
Az olyan mesterséges intelligencia asszisztensekkel, mint a ChatGPT, Gemini, Claude és hasonlók, az a probléma, hogy jól utánoznak helyes információkat, anélkül, hogy a helyességüket azonnal megerősíthetnénk. Az LLM-ek természetüknél fogva nem képesek megkülönböztetni az igazságot a hamisságtól, és nem képesek abszolút helyes információt visszaadni. Amire jók, az az, hogy egyik szót a másik után jósolják meg ésszerű hihetőséggel, és valamilyen szinten utasításokat kövessenek.
**Ez azt jelenti, hogy ha nem képezték ki őket elegendő adattal egy olyan témában, amiről tudni szeretnél, vagy egyszerűen nincs rá helyes válasz, akkor kitalálnak valamilyen majdnem helyesnek hangzó dolgot anélkül, hogy tudnák, hogy helyes vagy helytelen. Jó lenne, ha ilyen helyzetekben azt tanácsolná a felhasználónak, hogy inkább máshol keressen válaszokat. Itt jön képbe a NotGPT! **
Ez az asszisztens nem csak azt tanácsolja, hogy ne használjuk a mesterséges intelligenciát információgyűjtésre, hanem azt is, hogy inkább a Google vagy a Bing keresőmotorokban keressen válaszokat!
Nyilvánvaló, hogy ez inkább egy vicc, mint bármi hasznos, inkább egy „interaktív performansz”, de a feltevés nagyon is valós. Az LLM-ek ezen veszélyeit nagyrészt figyelmen kívül hagyják a felhasználók, akik jobban megelégszenek azzal, hogy gyorsan, valamilyen szinten jól hangzó információkat kapjanak, mint azzal, hogy némi kutatással korrekt információkat gyűjtsenek.
Hogyan működik?
A válaszgeneráló komponens a Microsoft Phi3 nevű, nagyon kicsi, nagy teljesítményű LLM-et használja, ami éppen elég ahhoz, hogy egy rendszer és egy felhasználói kérést kövessen a cél eléréséhez. Egy ingyenes Oracle Always Free VM-en futva 4 ARM maggal éppen elég teljesítményt ad ahhoz, hogy úgy tűnjön, mintha valami intenzív dolgot csinálna, de mégis elég gyors ahhoz, hogy a felhasználó ne hagyja el az oldalt unalmában.
Az LLM API eléréséhez az Ollama programot használom, amely egy nagyon szép és könnyen használható kiindulási pont az LLM-ekhez. Az Open WebUI-val párosítva pillanatok alatt felállíthatsz és futtathatsz egy ChatGPT klónt.
Ehelyett én csak összedobtam néhány alapvető UI-t a Bootstrap segítségével, amely egy kicsit hasonlít a ChatGPT-re, és futtattam a Deno segítségével, egy kicsi TypeScript API-val együtt, amely az Ollama-t hívja.
A projektet megtekintheted az ai.doctor0710.xyz címen!