Poem for your valentine – Artificial Intelligence speelt cupido

Valentijn, romantiek en liefde staan natuurlijk in het teken van aandacht. Een klein, persoonlijk gebaar, of net dat beetje extra moeite voor die ene speciale persoon in je leven 💛.

Mocht je krap in je tijd zitten dan helpen we je graag een handje. Met onze AI tool ‘Poem for your valentine’ schrijf je in no-time een volledig persoonlijk gedicht voor jouw geheime liefde. Beter gezegd: onze tool schrijft een gedicht. Het enige wat jij hoeft te doen is een foto uploaden en een kop koffie zetten. Probeer ’m zelf uit!

https://poemforyourvalentine.stijlbreuk.nl/

Dit is onze eerste publieke tool waarin AI-modellen de hoofdrol spelen. Drie modellen, om precies te zijn. We lichten ze hier even toe.

Blip 2 van Salesforce.

Salesforce is een toonaangevend bedrijf op het gebied van cloud computing en kunstmatige intelligentie (A.I.). Sinds 2014 ontwikkelt het bedrijf verschillende A.I. diensten die het openbaar beschikbaar stelt. Een voorbeeld hiervan is BLIP.

BLIP staat voor Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation. Een mond vol, maar kort samengevat is het een A.I. model dat tekst en afbeeldingen kan begrijpen en verbinden. Met BLIP kun je bijvoorbeeld een afbeelding laten beschrijven door een zin of een vraag stellen over een afbeelding, BLIP geeft het antwoord. Wij hebben gebruik gemaakt van de tweede versie van BLIP, BLIP-2, om te analyseren wat er op de foto te zien is die door de gebruiker wordt geüpload.

BLIP-2: “An illustration of a woman in green and a man in a hat”

Je kunt ook meer specifieke vragen stellen over de afbeelding, zoals de kleur van de kleding of de emotie van de personen. Het model is nog niet perfect (de man draagt eigenlijk een bruin jasje), maar het laat wel zien wat er allemaal mogelijk is met vision-language A.I. naast het maken van een Valentijngedicht:

GPT-3 van OpenAI

GPT is een van de bekendere modellen. Het is een zogenaamd large language of foundation model, dat een tekst-voorspellend vermogen heeft en is getraind op 45 terabyte aan tekst (!). Het kan gebruikt worden voor allerlei taken, zoals chatten, schrijven of vertalen. Een populaire dienst die gebaseerd is op GPT-3 is ChatGPT, waarmee je kunt praten met een virtuele assistent. GPT-3 is (tegen betaling) toegankelijk via een API. Wij hebben GPT-3 gebruikt om op basis van de zin van BLIP-2 een kort rijmend gedicht te maken in het Engels. Helaas kan GPT-3 nog niet zo goed rijmen in het Nederlands.

A woman in a green dress,
A sight that’s truly a blessing,
A man in a brown suit,
Looks so very dapper and cute!

In dit geval lijkt het er wel op dat BLIP-2 het bruine jasje terug gaf in de caption. De output van BLIP-2 op dezelfde afbeelding is dan ook niet iedere keer exact hetzelfde.

Cartoonization op basis van de paper “Learning to Cartoonize Using White-box Cartoon Representations”

Om het helemaal af te maken hebben we de originele foto omgetoverd tot een echte valentijns-cartoon. Dit hebben we gedaan met behulp van de cartoonization filter die beschreven wordt in deze paper: