Greenscreen og god gammeldags Python: slik lager jeg klistremerker med en bildemodell.
Chroma key, flomfylling, litt prøving og feiling og en tynn hvit kant. Slik klipper jeg ut klær en bildemodell har tegnet, til en klistremerkeapp for jentene mine.
Gir du en bildemodell en tegning og ber den kle på figuren, får du ikke tilbake den samme tegningen med klær på. Du får en ny tegning. Ansiktet er litt annerledes, hendene er tegnet om, og strekene har flyttet seg. Det gjør det overraskende vanskelig å klippe ut bare klærne.
Jeg har nerdet ganske mye med bildemodeller og bildebehandling i år, og det endte med en klistremerkeapp til jentene mine. Jeg ville automatisere mest mulig rundt AI-en, både for å kunne teste den programmatisk og for at det skulle være lett å lage nye sider når jentene ble lei av dem vi hadde og kom med nye ideer.
Det endte med en grønn dukke, chroma key som i film og TV, og noen Python-skript som gjør resten. Det meste er ikke AI, men vanlig bildebehandling. Jeg tar med det som ikke virket også. Demoene kjører rett i nettleseren din, på de samme bildene som klistremerkene i appen er klippet ut av.
Første idé: trekk dukken fra bildet
Den første ideen var den enkleste jeg kunne komme på. Jeg ga bildemodellen dukken og ba den tegne klærne på henne. Etterpå trakk jeg dukken uten klær fra det påkledde bildet, piksel for piksel. Det som var forskjellig, måtte jo være klærne. Det er vanlig bakgrunnssubtraksjon, en teknikk som er mye eldre enn bildemodellene, bare med dukken som bakgrunn.
Men modellen tegner jo et helt nytt bilde, også det du ikke ba den røre. Prøv selv:


– av ansikt og hender med– av bukse og støvler borte
Prøv å finne en verdi der ansiktet er borte og buksa er hel.
Jeg fant i hvert fall ingen terskel som virker. Er den lav, får du med omrisset av ansiktet og hendene, i rosa, fordi modellen har tegnet strekene litt annerledes. Er den høy, får buksa og støvlene hull, i rødt, der fargen tilfeldigvis ligner det som var under. Slå på «Vis det modellen tegnet om», så ser du at til og med øynene er tegnet om.
I praksis betydde det at klærne fikk med seg biter av hals og hender, og skoene fikk hull der foten skinte gjennom. Jeg visket ut hud for hånd. Det jeg ikke så, så jentene.
To andre blindveier
Jeg prøvde også å be modellen tegne plagget alene, på gjennomsiktig bakgrunn. Da ble plaggene fine, men de passet ikke på dukken. Modellen hadde ingen kropp å tegne etter, så formen og størrelsen ble litt annerledes hver gang. Og gjennomsiktigheten fra modellen er ikke helt til å stole på, som du skal se lenger ned.
Så så jeg på segmentering, verktøy som rembg som skiller forgrunn fra bakgrunn, og testet det litt. De virker fint på en ting som står alene, som en paraply eller en frosk. Men her er dukken også forgrunn, og jeg ville skille jakka fra armen den sitter på. Buksa under jakka finnes heller ikke i bildet, så den kan ingen modell klippe ut. Og segmentering er en modell til, med sine egne gjetninger. Jeg ville heller ha noe jeg kunne forutsi.
Greenscreen: gjør dukken grønn
Så jeg tenkte på film. Der står skuespilleren foran en grønn vegg, og alt som er grønt, byttes ut etterpå. Det heter chroma key, og det har vært brukt i film og TV i flere tiår. Ingen grunn til å finne opp noe nytt, så jeg gjorde dukken grønn.
Dukken
Samme dukke, signalgrønn
Modellen kler på
Et lite skript gjør dukken signalgrønn, #00E040. Bare svake, mørkere streker er igjen, der dukken har fingre, ører og ansikt, så modellen ser hvor ting er. Den får mannekengen og et vanlig bilde av dukken, slik at den skjønner hvilken stil den skal tegne i, og så kler den på mannekengen. Jeg har testet en hel del bildemodeller med dette. Favoritten min akkurat nå, i november 2026, er kanskje ChatGPT, og det er den som tegner her. Men teknikken virker fint med mange andre modeller også.
Da trenger jeg ikke sammenligne noe lenger. Det grønne er kropp, bakgrunnen er gjennomsiktig, og det som er igjen, er klær. En piksel er kropp når grønt er mer enn 45 høyere enn både rødt og blått. Demoen under bruker samme regel, med en myk overgang. Legg merke til hendene og vingene: de er grønne, så de forsvinner, samme hvordan modellen har tegnet dem.
Slik tegnet modellen det. Trykk på 2 for å ta bort det grønne.
– piksler regnet som kropp
Grønt i klærne går derimot ikke, for det ser ut som kropp. En robotdrakt fikk en grønn knapp, og knappen ble et hull. Den fikk en gul knapp i stedet. Klær med mye grønt i seg tegnes derfor på en magenta mannekeng. Og på siden der dukken både har en grønn dinosaurdrakt og en lilla dragedrakt, er mannekengen cyan.
Magenta: grønn julepysj
Cyan: dinosaurdrakt
Greenscreen gjorde det ikke raskere å lage en side. Det tar omtrent like lang tid som før. Men merkene ble hele, og jeg slipper å viske ut hender.
Ett antrekk, tegnet tre ganger
Det neste problemet var plagg som ligger oppå hverandre. Jakka dekker toppen av buksa, og støvlene dekker bunnen. Klipper du ut buksa fra det bildet, får du en bukse uten linning, med frynsete kant nederst.
Klippet fra hele antrekket
Tegnet hel
Løsningen er å be om det samme antrekket tre ganger i samme samtale. Først hele antrekket, slik at stilen blir den samme på alle plaggene. Deretter det samme bildet igjen, med bare jakka, hjelmen og støvlene. Til slutt bare buksa, tegnet hel, også det som lå under jakka og nede i støvlene.
Hele antrekket
Bare jakke, hjelm og støvler
Bare buksa, hel
Nå er hvert plagg et helt klistremerke, og barnet kan kle på i den rekkefølgen det vil. Men rekkefølgen betyr noe: det du legger på sist, havner øverst. Tar du på jakka før buksa, ligger buksa oppå jakka. Sånn er det med en ekte klistremerkebok også, og jentene skjønte det fort. Det er litt av moroa. Kle på dukken i feil rekkefølge, så ser du:

Klistremerker
På dukken, nederst først: ingenting ennå
Dra klærne på dukken, dit du vil. Det du legger på sist, havner øverst. Dra et plagg av siden for å legge det tilbake.
Dra klærne på dukken.
Det er heller ingen magnet i appen. Merket blir liggende der barnet slipper det.

Det modellen fortsatt gjør feil
Tre bilder per antrekk er tre sjanser til å bomme. I oktober kunne omtrent 95 av 100 bilder brukes rett ut, anslår jeg. Men modellen er ikke stabil. I november malte den mange flere rutemønstre enn før.
Rutemønsteret er den rareste feilen. Av og til lager modellen ikke en gjennomsiktig bakgrunn, men maler et grått og hvitt rutemønster, slik bildeprogrammer viser gjennomsiktighet. Det er egentlig ganske morsomt. Modellene er trent på millioner av bilder fra nettet, og der ligger det tydeligvis masse bilder som påstår at de er gjennomsiktige, men som egentlig er skjermbilder fra et bildeprogram med rutemønster bak. Så modellen har lært at gjennomsiktig ser sånn ut. You get what you train. Jeg la til et steg som tar bort lyse, grå ruter som henger sammen med kanten av bildet. Så forsvant en hvit bunadsskjorte, fordi den ble tatt for ruter. Nå tas rutene bare bort når de faktisk går helt ut til kanten, og ikke når bildet har ekte gjennomsiktighet. Hvite klær på malte ruter er fortsatt vanskelige.
Malt «gjennomsiktighet»
Hvit bukse på malte ruter
Og klær som ikke dekker hele undertøyet, som en badedrakt, lar dukkens singlet eller shorts synes. Det har jeg ikke løst helt.
Prøving og feiling legger bildet på plass
Modellen tegner også av og til kroppen litt større eller litt forskjøvet, og noen ganger kommer bildet tilbake i en annen størrelse enn det jeg sendte. Så skriptet legger bildet oppå mannekengen og prøver seg fram: litt større, litt mindre, litt til siden, til det grønne passer best. Det er ren prøving og feiling, uten maskinlæring, først grovt og så fint rundt det beste treffet. På siden Brannkonstabelen havnet under en halv prosent av det grønne utenfor mannekengen.
Når bildet ligger på plass, måler skriptet også hvor hvert plagg hører hjemme på dukken. Det brukes til omslaget, forhåndsvisningen og testene, aldri til å trekke merket på plass.
Den hvite kanten
Ingenting blir helt perfekt når du maskerer bilder. Det blir alltid noen piksler i overgangen som er litt av begge deler, litt plagg og litt grønt. Her og der ligger et grønnlig skjær igjen.
Så skriptet skreller først bort de ytterste pikslene med et grønt skjær, der plagget møter kroppen. Små hull finnes med flomfylling fra kanten av bildet, og små tagger glattes bort. Alt dette ligger ferdig i Pillow og SciPy. Det er ingen despill her, ingen farging av grønne kantpiksler tilbake til riktig farge. De tas bare bort, og kanten mykes opp med én piksel. Det går fordi tegningene er flate, med tydelige streker.
Men lager du klistremerker, har du en reddende engel: den tynne, hvite kanten. Den legges under merket og stikker 5,5 sideenheter ut rundt det, på en side som er 700 enheter bred. Og du kunne gått lenger og dratt den litt inn i bildet, så den dekker de ytterste pikslene og tar støyen med seg.
Prøv på tiaraen fra Ballerinaen, som er tegnet oppå det grønne håret. Dra kanten inn i bildet og se det grønne skjæret forsvinne, og sammenlign med visningen i ekte størrelse. Demoen fyller hull med en lukking der skriptet bruker flomfylling, men resultatet blir omtrent det samme.
Jeg gjør ikke alt dette i appen. Skrellingen, glattingen og kanten under er med, men kanten dras ikke inn i bildet. På en iPad-skjerm med rundt fire millioner piksler er en grønnlig piksel her og der for liten til å synes.

Trust but verify
Det siste skriptet kom til fordi jeg stadig snublet over feil. I starten av november fant jeg et merke med to ting i ett, noen merker som var for små til å ta ordentlig tak i, og en hatt som var gjennomsiktig. Det er ikke ting du ser når du ser på ett og ett merke i en mappe.
Så nå måles alle merkene slik appen får dem, med den hvite kanten på, og hvert merke sjekkes for fire ting:
- Deler: flere hvite øyer i samme merke, altså to ting som har blitt ett.
- Hull: gjennomsiktige hull inni merket, der dukken ville synes gjennom.
- Blek: hvor mye av tegningen som er halvgjennomsiktig, så den blir blek og grå på dukken.
- Liten: under 60 sideenheter på den lengste siden, eller under 30 på den korteste.
Alt havner på ark med sju merker i bredden og to sider per ark. Det jeg bør se nærmere på, får rød bakgrunn og en rød merknad under.

Et flagg betyr ikke at noe er feil, bare at jeg bør se på det. Sist jeg kjørte alle, ble rundt 14 prosent av merkene flagget, de fleste for å være små eller ha hull. Jeg går gjennom dem og retter det som faktisk er feil.
Om jakka ser riktig ut på dukken, er femåringens jobb. Jeg hadde tenkt å lage et verktøy for det også, men det ble aldri nødvendig. Sitter ikke et plagg, sier hun fra og ber meg rette det.

Bare ett steg er AI
En bildemodell gjør aldri helt det samme to ganger. Det så du på ansiktet i den første demoen. Det passer til å finne på en brannjakke, men ikke til å klippe ut tusenvis av merker likt.
I rekka under er det derfor bare ett steg som er AI. Dukkene og bakgrunnene er også tegnet av en modell, men det er en annen historie. Alt som skjer etter at bildet er tegnet, gjør vanlige skript her på Macen, uten nettjenester. Det som kjører, er vanlig Python, mest Pillow, NumPy og SciPy. Jeg bruker selvsagt AI til å hjelpe meg med koden også, men det er noe helt annet enn å la AI lage selve bildene. Det er to forskjellige måter å bruke AI på.

Jentene ønsker seg noe. De har mange meninger om hvilke klistremerker som mangler. Mye av det de finner på, blir til sider.
Vi bestemmer antrekket. Vi bestemmer sidene og antrekkene hjemme. Planen deler hvert antrekk i lag.

Grønn mannekeng. Dukken blir signalgrønn, med svake streker igjen. Bakgrunnen blir gjennomsiktig.

Bildemodellen kler på. Hele antrekket først, så lag for lag, i samme samtale med modellen.

Legg på mannekengen. Finner beste skalering og plass, tar bort grønt og malte ruter, tetter hull og nummererer plaggene. Rundt ett sekund per bilde.

Hvit kant. Lik kant på alle merkene, med en svak avfasing. Lagres som WebP i den størrelsen appen bruker.

Oversiktsark. Alle merkene måles og legges på ark, og det jeg bør se nærmere på, blir rødt. Litt over tre minutter.

Jeg sjekker flaggene. Jeg går gjennom det som er flagget, og retter det som faktisk er feil.

Testes på dukken. Femåringen legger merkene på og sier fra når noe ikke sitter.
Trykk på et steg for å se hva som skjer der.
Det er vel cluet med AI, tror jeg. Bildemodellen er ikke deterministisk, men koden er det, uansett hvem som har hjulpet til med å skrive den. Skriptene er kjappe og billige, jeg kan teste dem, og kjører jeg dem på nytt i morgen, blir svaret det samme.
Vil du se hvordan det ble, kan du lese mer om Klistre og prøve den selv. De første 20 sidene er gratis, med nesten 500 merker, så det er nok å leke med, enten du er nysgjerrig på resultatet selv eller har barn hjemme som kan teste den for deg.