F12
SNAP – AI-réteg low-code keretrendszerhez
A SNAP az F12 low-code front-end keretrendszere, amelyben a felület Blockly-blokkokból épül. Erre készítettünk AI-réteget: szöveges leírásból blokkot generál, meglévő blokkot módosít, hibaüzenet alapján javít, és képernyőkép alapján elmagyaráz.
Technológiai stack
TypeScript
Cloudflare
JSON / XMLA kihívás
A SNAP-blokkok saját XML-formátumban vannak leírva. Egy általános nyelvi modell ezt nem ismeri, ezért tanító adatra és a formátumhoz igazított promptokra volt szükség.
Amit szállítottunk
- Böngészőbővítmény a blokkok XML-jének kimásolásához, ebből készült a tanító adat
- 598 tanító példa 3 témában: események, host-elemek, HTML-elemek
- Finomhangoló scriptek: feltöltés, tanítás, állapotlekérdezés, megszakítás
- API 5 végponttal: generálás, módosítás, javítás, magyarázat, kérdés-válasz
A megoldás
Generálás és módosítás
Szöveges leírásból SNAP-blokk XML készül, és a meglévő blokk is módosítható leírással.
Javítás és magyarázat
Hibaüzenet és XML alapján a modell javított blokkot ad vissza. Képernyőkép és XML alapján elmagyarázza, mit csinál egy blokk.
Tanító adat és finomhangolás
A példákat böngészőbővítménnyel gyűjtöttük a SNAP-felületről, CSV-ből JSONL-be alakítottuk, és ezekkel finomhangoltunk egy nyelvi modellt.
Mérhető eredmények
tanító példa SNAP-blokkokból
AI-végpont: generálás, módosítás, javítás, magyarázat, kérdés
tudásszint, amelyhez a válasz igazodik
Leírásból blokk, blokkból magyarázat
A SNAP-fejlesztő szövegesen kérhet új blokkot, módosítást vagy javítást, és képernyőkép alapján magyarázatot kap. A modell a SNAP-felületről gyűjtött példákon tanult.