È possibile rendere più efficiente la ricerca di un illustratore?

Come aiutare art director, grafici e redattori a cercare un illustratore sulla base di uno stile.

Gli strumenti che permettono di cercare immagini online ci costringono quasi sempre a una ricerca testuale, per contenuto e per tag (parole chiave). Cerchiamo su Google, su Pinterest e sui più grandi siti di stock quello che queste parole rappresentano: alla ricerca “pizza” verranno visualizzate foto di pizze.

I risultati di queste ricerche sono automatici sui motori di ricerca, mentre sono definiti manualmente sui siti di stock. Allo stesso modo, gli strumenti di riconoscimento delle immagini funzionano tramite algoritmi che riconoscono il soggetto o l’aspetto dell’immagine e mostrano risultati giudicati “simili” (con esiti a volte bizzarri).

Cercare un illustratore

Nel mondo dell’editoria illustrata può accadere che la ricerca sia più spesso orientata a trovare uno stile di illustrazione, piuttosto che una singola illustrazione.

Questa necessità ribalta le logiche dei motori di ricerca, indicando una strada che va verso il riconoscimento delle caratteristiche formali ricorrenti che più comunemente definiscono lo stile, la moodboard, il genere di un illustratore.

Da queste premesse è nata una ricerca volta a stabilire i tratti distintivi del linguaggio di un illustratore e creare un sistema di catalogazione e ricerca automatica, non più manuale, di una grande quantità di illustrazioni.

Molti strumenti di ricerca di caratteri tipografici suggeriscono abbinamenti in base al contrasto dei pesi visivi; applicazioni come Spotify consigliano l’ascolto di canzoni in base alla loro somiglianza, Facebook e Instagram ci suggeriscono post in base ai nostri interessi; tecnologie di Natural Language Processing sono sempre più capaci di analizzare testi complessi.

La capacità delle intelligenze artificiali di divenire sempre più efficaci nell’analisi di informazioni visive e al contempo nel saperle organizzare con grande facilità ci ha fatto riflettere sulle grandi potenzialità di utilizzare questa tecnologia per creare uno strumento di ricerca per designer, illustratori e art director: figure che quotidianamente lavorano con una grande mole di immagini.

Abbiamo iniziato a studiare metodi alternativi per cercare somiglianze tra diversi approcci al disegno, che  ci consentissero di esplorare e definire nuove relazioni tra illustrazioni e illustratori.

Riferimenti Visivi

Abbiamo definito quattro categorie in base alle quali differenziare le illustrazioni a nostra disposizione: il colore, il tratto, la texture e l’equilibrio.

Considerando che le differenze nell’approccio all’illustrazione sono pressoché infinite siamo partiti realizzando macro raggruppamenti del nostro database per trovare somiglianze tra le illustrazioni. Per supportare il lavoro di analisi del computer abbiamo trasformato ogni immagine in un vettore numerico, tramite l’utilizzo di cosiddetti image-embedding generati con TensorFlow (libreria per l’apprendimento automatico sviluppata da Google).

In questo modo il computer è stato in grado di riconoscere una moltitudine di aspetti, tra cui la texture e il colore di ogni immagine.

Una volta ottenuti questi valori, tramite operazioni di algebra lineare abbiamo identificato gli stili di ogni autore.

Il colore

Sul mercato esistono diversi strumenti capaci di filtrare immagini in base ai colori che contengono. Ma spesso questi sistemi tendono a essere troppo precisi nella distinzione delle cromie e risultano poco fruibili.

Il colore è sicuramente una caratteristica fondamentale che definisce lo stile di un’illustrazione. Sarebbe tuttavia più funzionale basarsi sulle cromie, le combinazioni di colori che definiscono l’atmosfera di ciò che viene ritratto: ad esempio l’accostamento di toni marroni e verdi tende ad essere associato a scene naturali.

Per facilitare una possibile ricerca abbiamo quindi riassunto lo spettro visivo in 12 colori ed estratto da ogni immagine le 5 cromie prevalenti, costruendo uno strumento che ci permettesse di navigare nel database delle illustrazioni tramite i colori che le caratterizzano.

Il tratto

La presenza del tratto, inteso come linea di contorno delle forme, gioca un ruolo importante per la  caratterizzazione degli illustratori.

Tramite il tratto si distinguono fortemente le figure dai disegni realistici enfatizzando il contrasto dei colori e semplificando le figure fino ai casi più estremi tipici dei cartoni animati.

Dopo aver raccolto un buon numero di immagini (con e senza tratto) abbiamo iniziato ad insegnare ad un algoritmo di apprendimento automatico (una Support Vector Machine) a filtrare il nostro database distinguendo le immagini con una presenza maggiore e minore, per quantità o spessore, del tratto.

Texture

Lo stesso ragionamento lo abbiamo utilizzato per la distinzione tra 6 tipologie di texture: il collage, le tinte piatte, il tratteggio fine e quello più largo, la pennellata morbida e quella più grezza.

Abbiamo preferito tenere un range di distinzione molto ampio ponendo maggiore attenzione all’impatto visivo rispetto alla tecnica utilizzata.

In questo modo, ad esempio, la voce “tinta piatta” comprenderà illustratori che stendono la tempera senza creare grumi sul foglio e  illustratori che creano campiture di colore in digitale; alla voce “pennellata grezza” potremmo trovare sia illustrazioni ad olio sia quelle in cui il pastello viene usato con un impatto prevalentemente materico.

Equilibrio

Per quanto riguarda la categoria dell’equilibrio, che tiene conto della posizione di forme e colori all'interno di un'immagine e della loro simmetria, abbiamo suddiviso ciascuna illustrazione in 16 parti e confrontato le differenze tra ciascun pixel e quelli che lo circondano. Dopo aver ottenuto i risultati da noi desiderati, ci siamo resi conto che l’equilibrio era l’unico canone da noi definito che tende a limitarsi alla singola immagine. 

Ma il nostro obiettivo era quello di creare un sistema che ci permettesse di identificare uno stile, non una singola illustrazione.

Prendendo in esame la categoria dell’equilibrio, può accadere spesso che in diverse tavole di uno stesso illustratore l’utilizzo di elementi simmetrici cambi notevolmente.  Queste scelte sono dettate dal tipo di narrazione, soprattutto quando vengono prodotte sequenze di tavole che seguono uno storyboard. In questi casi l’utilizzo di elementi simmetrici non caratterizza lo stile di un autore; abbiamo quindi deciso di non prendere in considerazione l’equilibrio come filtro di ricerca.

L’addestramento dell’AI

Le attuali intelligenze artificiali non sono programmate in modo tradizionale, dove ad esempio per distinguere un dipinto di Haring da uno di Hopper, linee di codice esprimono regole specifiche (se c’è una tinta piatta, allora è Haring). I modelli di machine learning sono in grado di "imparare" ad eseguire questa operazione semplicemente analizzando ripetutamente un gran numero di esempi etichettati (dipinti di Haring) e controesempi (dipinti di Hopper).

Con questa logica, definiti i tratti distintivi di un’illustrazione, nel caso specifico del tratto e delle texture, abbiamo iniziato a raccogliere immagini online delle nostre categorie.

Effettuando ricerche di immagini senza copyright su Google e Pinterest, abbiamo selezionato i risultati di ricerche come watercolor e gouache, oppure linoleum e woodcut. Spesso tuttavia le immagini che abbiamo selezionato non considerano l’illustrazione nel suo complesso. Capita frequentemente che questi risultati siano dettagli, fotografie da diverse angolazioni e, nel complesso, illustrazioni realizzate da disegnatori amatoriali.

Di conseguenza abbiamo migliorato il tipo di ricerca, focalizzandoci più su illustratori professionisti o pittori e utilizzando collezioni digitali più curate.

Abbiamo scelto tre  fonti principali: l’enciclopedia d’arte non profit WikiArt,  la digital collection della New York Public Library e il catalogo online del Rijksmuseum di Amsterdam.

Da queste piattaforme abbiamo selezionato i lavori degli autori che rispecchiano di più i tratti distintivi da noi definiti e li abbiamo utilizzati come riferimenti per insegnare ai nostri algoritmi di apprendimento automatico.

La ricerca applicata

Un’occasione utile per applicare e testare la ricerca è stata lavorare sull’archivio immagini della Bologna Children’s Book Fair. La fiera, giunta alla 56esima edizione, fa convergere migliaia di artisti da tutto il mondo e raccoglie i migliori lavori di illustrazione per ragazzi. Un’opportunità unica per tipologie e quantità di materiale.

Abbiamo quindi iniziato ad analizzare tutte le immagini a nostra disposizione, continuando man mano ad aggiornare il nostro dataset fino a raggiungere un 90% di precisione nella classificazione di queste illustrazioni.

L’interfaccia

Abbiamo costruito una webapp con una navigazione che ricorda una tavolozza di colori con la quale è possibile muoversi all’interno del catalogo di immagini.

Possiamo quindi accendere o spegnere i pulsanti da noi creati, vederli separatamente o in contemporanea per arrivare ad una sempre più ristretta cerchia di illustrazioni.

Abbiamo inoltre reso possibile la ricerca tramite upload. Caricata un’immagine qualsiasi, questa seguirà tutta la serie di analisi che hanno ricevuto le illustrazioni nel database e ne verranno visualizzate di simili.

Un art director che cerca un illustratore con uno stile simile a quello di Keith Haring vedrà lavori prevalentemente a tinte piatte con grosse linee di contorno, viceversa  la ricerca di un’immagine di Hopper porterà ad una pennellata morbida, senza tratto.

Lo stesso ragionamento vale anche con le immagini della fiera, a partire da un’immagine si possono visualizzare quelle analoghe e per ogni illustratore tutti i suoi lavori.

Tramite i metadati presenti in questo catalogo risulterà possibile filtrare i lavori sia per aree geografiche che per data di creazione.

Il sistema, completamente autonomo, è pensato per consentire agli illustratori della fiera di caricare le proprie immagini e agli editori di gestire e promuovere le proprie collane.

Pensato per la BCBF questo strumento può divenire un possibile filtro di ricerca aggiuntivo per tutte quelle applicazioni che necessitano di navigare all’interno di una complessa varietà di illustrazioni.

Pensiamo che la diffusione dei metodi del Machine Learning tra designer e illustratori possa arricchire il loro processo creativo. Questi modelli possono aprire nuove strade in molteplici direzioni. Nel nostro caso, oltre ad essere utilizzati in un sistema di navigazione, possono aiutarci a capire i processi creativi di un artista e mostrarci i cambiamenti e l’evoluzione del settore dell’illustrazione nel tempo.

Giacomo Nanni

La ricerca sul campo dell’illustrazione è stata sviluppata in un team di sviluppo e design composto da: Giacomo Nanni, Lorenzo Malferrari, Andrea Alberti, Edoardo Cavazza, Paolo Cuffiani.

Si ringrazia Bologna Children’s Book Fair.

*Le illustrazioni sulle quali si è basata la ricerca fanno parte della “Illustrators Exhibition” di Bologna Children’s Book Fair.

Contatti
Beppe Chia beppe.chia@chialab.it
Andrea Alberti andrea.alberti@chialab.it