Onderzoekers van Adobe hebben een AI-model onthuld dat fotobewerking kan transformeren door de kracht van videodata te benutten.
Het bedrijf noemt de technologie “Magic Fixup”. Het voert automatiseert complexe beeldcorrecties uit terwijl het artistieke intenties behoudt. VentureBeat schrijft er uitgebreid over.
De kerninnovatie van Magic Fixup ligt in het gebruik van trainingsdata. In tegenstelling tot eerdere modellen die alleen op statische beelden vertrouwden, leert het systeem van Adobe van miljoenen videoframe-paren. Deze nieuwe methode stelt de AI in staat om de subtiele veranderingen in objecten en scènes te begrijpen onder verschillende lichtomstandigheden, perspectieven en bewegingen.
Twee bewegingsmodellen
“We construeren een afbeeldingsdataset waarbij elk monster een paar van bron- en doelbeelden is, afkomstig uit dezelfde video op willekeurig gekozen tijdsintervallen,” leggen de onderzoekers uit in een document. “We vervormen het bronbeeld naar het doelbeeld met behulp van twee bewegingsmodellen die de verwachte bewerkingen van de gebruiker nabootsen.”
Deze op video gebaseerde training stelt de oplossing in staat bewerkingen uit te voeren die eerder moeilijk waren voor AI-systemen. Gebruikers kunnen grove aanpassingen maken aan een beeld – zoals het verplaatsen van objecten of het veranderen van hun grootte – met eenvoudige knip-en-plak-stijl manipulaties. De AI verfijnt deze bewerkingen vervolgens.
De AI van Adobe’s Magic Fixup verwijdert en voegt details toe aan afbeeldingen, zoals het verwijderen van een zeilboot uit een tropische strandscène, en demonstreert zo zijn vermogen om afbeeldingen intelligent te bewerken terwijl natuurlijke reflecties en verlichting behouden blijven.
Zo werkt de technologie
Magic Fixup gebruikt twee modellen die parallel werken. Ten eerste een detailextractor en daarnaast een synthesizer. De detailextractor verwerkt het referentiebeeld en een ruisachtige versie daarvan, waarbij kenmerken worden gegenereerd die de synthese sturen en fijne details van het oorspronkelijke beeld behouden. De synthesizer genereert vervolgens de output op basis van de grove bewerking van de gebruiker en de geëxtraheerde details.
Ethische vragen
Zoals met elke krachtige AI-tool zijn er echter ethische zorgen. De eenvoud waarmee realistische beeldmanipulaties kunnen worden gemaakt, zou de problemen met desinformatie en digitale misleiding kunnen verergeren. Adobe zal waarschijnlijk onder druk komen te staan om waarborgen te implementeren en mogelijk een vorm van digitale watermerken in te voeren om mogelijk misbruik te voorkomen.
De ontwikkeling van Magic Fixup benadrukt ook de toenemende convergentie van AI en creatieve tools. Naarmate machine learning-modellen steeds geavanceerder worden in het begrijpen en manipuleren van visuele data, vervaagt de grens tussen menselijke en AI-gegenereerde content steeds meer. Deze trend zal waarschijnlijk voortdurende debatten uitlokken over de aard van creativiteit en auteurschap in het digitale tijdperk.
Stap naar open-source
In een verrassende stap die afwijkt van zijn gebruikelijke praktijken, heeft Adobe besloten de onderzoekscode voor Magic Fixup vrij te geven op GitHub. Deze stap naar open-source van deze geavanceerde technologie markeert een grote verschuiving in Adobe’s benadering van AI-ontwikkeling.