Naar de inhoud
Panoramix

Hulp · Met een AI

Cleo, de lokale AI

Een team van agents met taalmodellen op uw eigen computer of een DGX Spark: de server starten, het paneel Cleo, een opdracht geven, en wat er in uw tekening mag.

Sinds versie 2.19 werkt PANORAMIX ook met een AI die niet in een cloud draait: Cleo, een team van agents op uw eigen computer — een NVIDIA DGX Spark in uw netwerk, of de computer waarop PANORAMIX zelf draait — met lokale taalmodellen in Ollama of vLLM. Wat u Cleo vraagt en wat Cleo van uw tekening ziet, blijft op die computer.

Cleo schrijft scripts voor PANORAMIX. U vraagt bijvoorbeeld: «Maak een model Kogelkraan met het P&ID-symbool van een kogelkraan, als cel te plaatsen.» Cleo — de orchestrator — verdeelt het werk over een team: een analist maakt er een specificatie van, een documentalist zoekt de juiste methodes in de documentatie van PANORAMIX, een codeur schrijft het script en probeert het in een zandbak (een PANORAMIX zonder venster op de server), een tester keurt het onafhankelijk, en een nazichter bekijkt het beeld met de ogen van een tekenaar. U krijgt het script pas als de server zelf het gekeurd heeft: het loopt zonder fout, er ontstond een model met elementen, en dat model is als cel te plaatsen.

Het paneel Cleo naast de tekening, met de tijdlijn van een afgeronde opdracht
Links het model Kogelkraan, uitgevoerd in de open tekening; rechts het paneel Cleo met de tijdlijn van de opdracht: het script, de keuring door de server met het beeld van het model, en het resultaat met zijn knoppen.

De Cleo-server starten

De server zit in het pakket van PANORAMIX: cleo-server.jar, met cleo-server.sh en cleo-server.bat, naast panoramix.jar. Op de computer met de taalmodellen — Java 21 of nieuwer, en Ollama of vLLM met een model dat gereedschappen kan gebruiken — start u hem in de map van PANORAMIX met ./cleo-server.sh start (op Windows cleo-server.bat).

De server zoekt Ollama en vLLM op hun gewone poorten, gebruikt de panoramix.jar ernaast voor zijn zandbakken, en toont een koppelcode: één regel die met cleo:// begint. ./cleo-server.sh koppelcode toont ze later opnieuw; stop en status spreken voor zich. Draait Ollama niet, dan start ./cleo-server.sh start --start-ai het mee.

Het paneel Cleo

Kies in de typekeuze van een gebied Cleo (groep Hulpmiddelen). Draait de server op dezelfde computer als PANORAMIX, dan verbindt het paneel vanzelf. Staat hij op een andere computer, open dan de weergave Servers, geef hem een naam en plak de koppelcode. Meerdere servers mogen naast elkaar staan, en zonder server werkt PANORAMIX gewoon verder.

WeergaveWat u er ziet en doet
Opdrachteen opdracht schrijven en starten, de tijdlijn van wat er gebeurt, de vragen die op u wachten
Historiekelke opdracht, met de volledige antwoorden van Cleo en het team; als zip te bewaren
Geheugenwat de AI onthoudt, als gewone markdownbestanden: lezen, bewerken, toevoegen, bewaren
Documentatiede documenten waarmee de AI werkt, ook uw eigen normen; zoeken zoals de AI zoekt
Modellende modellen op de server, en de rollen van het team met hun model en instellingen
Gereedschappenhet gebruik van elk gereedschap per dag, en een gereedschap uitzetten
Serversde servers die PANORAMIX kent, een server toevoegen, en wat Cleo hier mag

Een opdracht geven

Schrijf in de weergave Opdracht wat Cleo moet doen en kies Start (of ⌘↩). U kiest de werkwijze — het team (het grondigst), snel (alleen de codeur) of alleen (één agent) —, of de agents mogen kijken in uw open tekening, en of Cleo het script daarna mag uitvoeren. Een schets of een foto meegeven kan ook.

De tijdlijn toont alles terwijl het gebeurt: per agent zijn beurten met wat het model dacht en antwoordde, elk gereedschap met zijn uitkomst, de scripts die het bewaarde en de beelden uit de zandbak. Onderaan staan de keuring door de server en het resultaat, met de knoppen Als script in dit document, Uitvoeren in de open tekening (één stap, ⌘Z neemt ze terug), Kopiëren en Resultaat openen….

In uw tekening: altijd met uw goedkeuring

Iets veranderen in uw open tekening — een script uitvoeren, tekenen, een model maken — doet Cleo nooit zonder u. Er verschijnt een kaart met wat de agent wil doen en het script erbij, met Toestaan en Weigeren; staat het paneel niet open, dan zegt de statusbalk het. Na een kwartier vervalt de vraag. In de weergave Servers kiest u wat Cleo in uw PANORAMIX mag: kijken en werken na uw goedkeuring, alleen kijken, of niets.

Een agent wacht op Toestaan of Weigeren om een script in de open tekening uit te voeren
Cleo wil een script in de open tekening uitvoeren: de kaart toont het script, de kopbalk zegt «1 vraag wacht op u».

Als een agent in een lus raakt

Een lokaal taalmodel kan in een lus geraken: het schrijft, meestal in zijn denken, steeds dezelfde alinea's opnieuw tot zijn antwoordbudget op is — in het paneel lijkt de agent dan te blijven hangen in eenzelfde tekst. Sinds versie 2.20 ziet de Cleo-server dat zelf. Staat dezelfde reeks zinnen er drie keer na elkaar, dan breekt hij het antwoord af — het model stopt meteen met schrijven — en vraagt hij het opnieuw zonder «denken», met de zin dat het in een lus liep. Loopt dezelfde agent nog eens vast, dan stopt hij met wat hij had en beslist Cleo verder. U hoeft niets te doen; wilt u niet wachten, dan stopt Stoppen een opdracht meteen, ook midden in een antwoord.

De tijdlijn: de analist liep in zijn denken in een lus, de server brak af en vroeg het opnieuw zonder denken
De eerste beurt van de analist staat als «in een lus, afgebroken», met een melding hoe vaak en hoe groot het stuk was dat terugkwam; de tweede beurt, zonder «denken», levert de specificatie.

Om lussen te voorkomen kiezen de rollen hun woorden sinds 2.20 ook minder star — de temperatuur die de makers van het model aanraden —, krijgt een afgekapt antwoord een herkansing die bij de oorzaak past, en houdt Cleo het gesprek van elke agent binnen het geheugen van het model.

Afspraken die vanzelf meegaan

Wat u Cleo eens uitlegde, zet u als les in het geheugen: een markdownbestand met bovenaan een korte omschrijving. Sinds versie 2.31 gaat zo'n les vanzelf mee met elke vraag waarin een woord uit haar omschrijving of bestandsnaam staat — elke agent van het team krijgt ze in zijn instructies, met de zin dat ze voorgaat op zijn vaste werkwijze, en de tijdlijn zegt welke les meeging en waarom. Woorden die alleen zeggen wat er moet gebeuren of wie het vraagt — «teken», «maak», «model», «script», «kun je» — en getallen tellen niet; een hoofdletter vlak vóór een getal wel, zoals in «T 50». Schrijf dus in de omschrijving de woorden waarmee u erom vraagt: «Staalprofielen van ArcelorMittal tekenen: IPE, HEA/HEB/HEM, UPN, hoekstaal L, T-staal T …» gaat mee bij «Teken een HEA 200» en bij «T 50». Een woord dat ook in gewone vragen staat, zoals «rond», schrijft u er het best met een getal bij: met «Rond 20» in de omschrijving gaat de les mee bij «rond 30», maar niet bij «rond het nulpunt».

De tijdlijn van «Teken een HEA 200.»: onder de vraag de les die meeging
Onder de vraag: «Uit het geheugen, bij deze vraag: lessen/staalprofielen.md («HEA»)». Daarna leest Cleo de sectie «HEA 200» in het document met de profielen.

Een eigen tabel — een norm, een catalogus — leest een agent het betrouwbaarst als elke sectie één ding is en ook zo heet, bijvoorbeeld één profiel per sectie. Een zoekvraag die precies zo heet, zet die sectie bovenaan, en vraagt een agent ze in het verkeerde document, dan zegt de fout waar ze wel staat. Zo tekent Cleo een staalprofiel uit de tabellen van ArcelorMittal: een les zegt hoe, een document per familie geeft de maten, en een bouwsteen in code tekent de doorsnede exact — met de afrondingen en de hellende flenzen — en kijkt zichzelf na tegen de oppervlakte uit de tabel.

Leegmaken

De bezem in de kopbalk van het paneel maakt leeg wat Cleo toont, bijvoorbeeld na een reeks proefopdrachten. Het venster Cleo leegmaken toont per weergave een vinkje, met wat er precies gebeurt en hoeveel: het invoervak en de tijdlijn van de weergave Opdracht (een opdracht die nog loopt, wordt eerst gestopt), de historiek, het geheugen, uw eigen documenten, de rollen (terug op hun standaard) en het gebruik van de gereedschappen. De weergave waarin u stond, staat al aangevinkt; pas Leegmaken doet iets.

Het venster Cleo leegmaken met per weergave een vinkje en wat er gebeurt
Vanuit de Historiek staat «Historiek» al aangevinkt; «Geheugen» kwam erbij. Wat al leeg is, staat grijs.

Niets gaat verloren: wat van de server komt, staat daarna in Q/MEMORY/LONG/CLEO/archief/leeggemaakt/ op de server, met het tijdstip erbij, in dezelfde mapjes als ervoor.

Geheugen, historiek en gereedschappen

Wat Cleo leert, schrijft het in zijn geheugen: gewone markdownbestanden, één onderwerp per bestand, op de server in Q/MEMORY/LONG/CLEO. U leest en bewerkt ze in het paneel, voegt er zelf toe, en bewaart het hele geheugen als zip. De historiek bewaart van elke opdracht alles: de vraag, elk antwoord van elke agent — ook wat het model dacht —, elk gereedschap met zijn resultaat, en de scripts en beelden.

Het geheugen van Cleo als boom van markdownbestanden, met een les open
Het geheugen: lessen, voorkeuren en projecten, elk een eigen bestand. Een vorige versie gaat naar het archief van de server.

In Modellen kiest u per rol het model en zijn instellingen: denken aan of uit, de temperatuur, het contextvenster, het antwoordbudget, of de rol beelden mag zien en op internet mag zoeken. Gereedschappen toont hoe vaak elk gereedschap gebruikt werd, dag per dag, en hoeveel keer het mislukte.

De grafiek van het gebruik per gereedschap per dag, met de lijst van de gereedschappen
Het gebruik van de gereedschappen per dag, gestapeld per gereedschap, en daaronder elk gereedschap met zijn groep, de rollen die het krijgen, het aantal oproepen, de mislukte en de gemiddelde duur.

Veiligheid, en de computer proper achterlaten

PANORAMIX en de server praten over een versleutelde verbinding met het eigen certificaat van de server. PANORAMIX aanvaardt alleen het certificaat dat in de koppelcode staat, en elke vraag draagt de sleutel uit die code: wie de koppelcode heeft, kan Cleo opdrachten geven, dus geef ze alleen aan wie dat mag. De scripts van de agents lopen alleen in de zandbak op de server, en internet staat uit tot de beheerder het toelaat.

./cleo-server.sh opruimen wist de werkmappen, het logboek en de koppelcode; met --modellen ook de taalmodellen die Cleo zelf binnenhaalde — en nooit een model dat u zelf installeerde —, en met --alles ook de sleutel, het certificaat en de instellingen van de server.

Alles staat uitgebreid in de handleiding (§22.10–22.19) en in de gids PANORAMIX en Cleo — de lokale AI, in PANORAMIX onder Help ▸ Documentatie.