Relativamente hace poco tiempo el sector cultural o el de la comunicación han empezando a comprender el potencial que les ofrece el análisis y la visualización de datos.
Además del análisis exploratorio de los metadatos descriptivos (biografía de los artistas, año y estilo de las obras de arte, etc…) existen diversos enfoques de cómo plantear el análisis en términos artísticos de una colección artística.
En este proyecto, que es el resumen del Proyecto Fin de Máster del Master de Análisis y Visualización de Datos (INESEM), analizaré y visualizaré las características de la colección de un museo ficticio mediante diferentes técnicas como el análisis de imagen (de formas, texturas y colores), el análisis de texto (semántico y de sentimiento) y el análisis de redes entre artistas y movimientos artísticos donde podremos visualizar en forma de grafo las relaciones existentes entre ellos.
Como resultado de la aplicación de estas técnicas podremos realizar diversas tareas de clusterización y clasificación de nuestra colección de arte que nos permitirán abordar los objetivos de este proyecto de intervención que son generar algunos productos de datos para que los responsables de nuestro museo ficticio descubran nuevas perspectivas de sus colecciones de arte.
Con la información obtenida en estos procesos se podrán organizar de forma novedosa las exposiciones articulándolas alrededor de los conceptos establecidos en los clusters obtenidos. También se podrán ofrecer nuevas experiencias a los visitantes presenciales y virtuales del museo, gracias a la exploración interactiva a través de apps de nuestra colección de arte.
1 Introducción
Abordar el análisis artístico de una colección de arte se puede plantear desde diversas perspectivas.
Por ejemplo, cuáles son las formas geométricas y líneas dominantes en la composición y cuál es el efecto de éstas, y si se ha organizado la obra de arte utilizando un sistema formal de proporción matemática (es decir, regla de los tercios, proporción áurea, formato de cuadrícula, triángulo dominante o composición circular) o la disposición es menos predecible (es decir, caótica, aleatoria o irregular).
O qué esquemas de color se han utilizado en la obra de arte (es decir, armoniosos, complementarios, primarios, monocromáticos, terrosos, cálidos, fríos) y cuál es el significado de estas opciones de color (es decir, si expresan ideas simbólicas como felicidad, tristeza o pasión).
O qué información se puede extraer del lenguaje utilizado en los textos de las descripciones de las obras y de las reseñas escritas por críticos de arte para comprender el contexto histórico, político y social de la obra.
O que se desprende, en términos analíticos, de las relaciones establecidas entre los artistas que pueden suponer una influencia significativa en el desarrollo de sus obras de arte, o las influencias entre artistas y movimientos artísticos donde se comparten ideas, estilos y enfoques similares para crear arte.
2 Análisis de imagen
Agrupar pinturas por patrones visuales puede ser útil para organizar exposiciones donde resaltar y contextualizar ciertos temas o estilos.
El reconocimiento de imágenes es un tipo de análisis de datos que implica el uso de algoritmos de aprendizaje automático para identificar y clasificar automáticamente objetos o sujetos dentro de las imágenes. Esto puede ser útil para una variedad de aplicaciones, incluida la categorización y agrupamiento de obras de arte por características de color, formas geométricas o texturas, la detección de tendencias o patrones dentro de una colección y la automatización de tareas como el etiquetado de imágenes.
Para estas tareas se pueden utilizar modelos de aprendizaje automático previamente entrenados en un gran conjunto de datos de imágenes para posteriormente aplicarlos, a través de técnicas de transferencia de aprendizaje, a las imágenes de las obras de arte del dataset de nuestra colección de arte Esta es una forma rápida y eficiente de desarrollar sistemas de reconocimiento de imágenes, ya que el modelo ya ha aprendido muchas de las características y patrones generales que son comunes a las imágenes.
Por ejemplo se pueden agrupar obras de arte por presencia de elementos comunes como desnudos, paisajes, retratos, motivos religiosos o formas abstractas de diferentes tipos.
También puede ser interesante analizar el uso del color en las diferentes pinturas y ver cómo los artistas han usado el color para transmitir diferentes emociones, estados de ánimo o ideas. Mediante el análisis y filtrado del color dominante, esquema de color o simbolismo del color podemos articular una exposición en torno a un concepto concreto o visualizar a través de una aplicación interactiva nuestra colección de arte.
Por ejemplo, el uso del color rojo puede significar pasión, amor, ira, peligro o calidez; y el uso del color azul puede significar calma, confianza, lealtad o tristeza. Sin embargo, es importante tener en cuenta que los significados delos colores pueden variar según el contexto en el que se utilicen y los antecedentes culturales del espectador.
3 Análisis de texto
El análisis de texto en el arte se refiere al uso de métodos para analizar e interpretar los textos descriptivos o las reseñas de las obras artísticas. Métodos como el procesamiento del lenguaje natural, la minería de textos y el aprendizaje automático son útiles para extraer y analizar patrones y temas dentro del texto.
Las técnicas más comunes que se pueden utilizar son el análisis semántico y el análisis de sentimiento. El análisis semántico busca identificar los significados de las palabras utilizadas en los textos y puede ayudar a identificar temas, emociones y estilos artísticos. El análisis de sentimiento permite identificar si el texto describe una obra de manera positiva o negativa, o si hay alguna emoción específica que se desprende de la descripción o reseña.
El análisis de texto se puede utilizar para identificar los temas y argumentos estilísticos presentes en las descripciones de las obras artísticas, como la espiritualidad, la pasión, la tristeza o la plasmación de eventos históricos. El análisis de los textos de las reseñas permite estudiar las formas en que las diferentes audiencias han interpretado las obras artísticas a lo largo del tiempo y los contextos sociales y culturales en que los artistas crearon sus obras.
Estos planteamientos pueden ayudar a los investigadores a comprender el contexto y el significado de la obra con mayor profundidad realizando agrupamientos por los temas tratados en las obras de arte.
4 Análisis de redes
Las influencias entre artistas y movimientos artísticos son esenciales en la historia del arte. Muchos artistas han sido influenciados por las técnicas y estilos de sus predecesores y contemporáneos. Una forma en que los pintores se influyen entre sí es a través del intercambio de ideas y teorías. Los artistas a menudo se reúnen en grupos y talleres para discutir sus obras y teorías artísticas, y esto puede tener un gran impacto en sus obras.
Los movimientos artísticos surgen como una respuesta a los cambios sociales, políticos y culturales de una época, y a menudo son el resultado de un grupo de artistas que comparten ideas y estilos similares. Los pintores a menudo se ven influenciados por los movimientos artísticos de su época y, a su vez, contribuyen al desarrollo y evolución de estos movimientos.
Un ejemplo es el movimiento Renacentista, que surgió en Italia en el siglo XV y se extendió por Europa. Los artistas renacentistas se inspiraron en la antigua cultura clásica y en el arte de la Edad Media, y desarrollaron un estilo que combinaba realismo y perspectiva. Los artistas renacentistas, como Leonardo da Vinci y Miguel Ángel, fueron influenciados por los movimientos artísticos de su época y, a su vez, influenciaron a los artistas de las generaciones siguientes.
Otro ejemplo es el movimiento Impresionista, que surgió en Francia en el siglo XIX. Los artistas impresionistas se inspiraron en la naturaleza y en la vida cotidiana, y desarrollaron un estilo que utilizaba el color de manera innovadora aplicando la pintura en capas para crear efectos de luz y sombra. Artistas como Claude Monet, Edgar Degas y Pierre-Auguste Renoir influenciaron a los artistas de las generaciones siguientes y dieron origen a corrientes como el postimpresionismo.
Mediante la teoría de grafos aplicada a técnicas de análisis de redes se pueden estudiar las influencias entre artistas-artistas y artistas-movimientos artísticos. Algunas técnicas comunes son las medidas de centralidad y la detección de comunidades. Las medidas de centralidad ayudan a identificar los nodos, en nuestro caso artistas y movimientos artísticos, más importantes de una red. La detección de comunidades identifica grupos o comunidades de nodos que están más densamente conectados entre sí que con el resto de la red.
En resumen, estas influencias son un aspecto importante de la historia del arte puesto que se ven reflejadas en la carrera pictórica de los artistas y contribuyen al desarrollo y evolución del arte.
5 Proyecto de intervención
5.1 Fuentes de datos
Los datos originales con los que he creado el dataset de nuestro museo ficticio provienen de datasets habilitados para la descarga en Kaggle y de técnicas de web scraping en The Art Story.
El conjunto de datos creado se compone de varias tablas excel con información de los 50 artistas más importantes de la historia y de cinco de sus obras más significativas. Con los datos extraídos de The Art Story he generado una tabla en excel con los datos de las influencias existentes de cada uno de los 50 artistas con otros artistas y movimientos artísticos, tanto en términos de “influyente” como “infuenciado”. El dataset se completa con una carpeta que contiene de las 250 imágenes de las obras de arte (50 artistas x 5 obras).
Finalmente he enriquecido el dataset con información de proprorción de color obtenida con la herramienta Couleurs. Este analizador de composicion de color permite obtener cuantos pixeles de cada color existen en una imagen. Para ello se tiene que configurar una serie de parámetros con los que realiza el análisis entre los que están el espacio de color o los pasos de muestreo de la imagen. También ofrece una visualización circular articulada en 2 ejes, en los que yo he elegido los valores de HUE y Luminosidad y en donde se puede observar la distribución de color de la imagen. Los resultados de la proporción de color son descargables en un archivo csv y la representación circular se puede descargar en un archivo svg o png.
5.2 Exploración de datos descriptivos con Power BI
El primer planteamiento a la hora de analizar todos los datasets anteriores es el de un análisis exploratorio mediante la herramienta Power BI. A través de 3 informes con paneles interactivos podremos identificar relaciones entre diferentes variables o evaluar la distribución de los datos, como la frecuencia y la concentración de valores.
Así comprenderemos los datos visualmente descubriendo patrones, relaciones y tendencias en los datos de manera rápida y eficaz. Con esta información podremos establecer hipótesis sobre los datos y realizar otras técnicas de análisis que nos permitirán generar nuevas ideas de cómo gestionar una colección de arte.
En la visualización “Artist Top 50 -Biography” se puede consultar una breve biografía de los 50 artistas y un timeline vital donde se contextualizan los movimientos artísticos relacionados con el artista y el año de creación de cinco de sus obras de arte más importantes respecto al año de su nacimiento y muerte.
En la visualización “Artworks – Localization” se puede explorar en qué museo/s ciudad/es y país/es están localizadas cinco de las obras de arte más importantes de cada artista. En la parte superior izquierda hay una visualización en forma de globos donde se muestran unas excepciones con respecto a la localización. Concretamente indica si la obra de arte pertenece a una colección privada o si es una obra que ha sido robada y evidentemente se desconoce su localización. Para este conjunto de datos son 13 obras de arte en colecciones privadas y 1 robada.
Y en la visualización “Artworks – Color Proportion” se puede explorar la proporción de cada color presente en cada obra de arte. También muestra una descripción de ella.
Para navegar entre las 3 visualizaciones utiliza las flechas
5.3 Análisis de relaciones con Gephi
El segundo planteamiento a la hora de analizar el conjunto de datos es estudiar las relaciones (influencias) entre los artistas del “Top 50”, entre los artistas del “Top 50” con otros artistas no incluidos en el “Top 50” y entre los artistas del “Top 50” y movimientos artísticos.
El dataset utilizado incluye tablas donde se describe el tipo de cada nodo y la dirección de la relación. La idea es estudiar qué artistas y movimientos han influenciado a los artistas del “Top 50” y a que artistas y movimientos han influido estos. He establecido 3 tipos de nodos: principales (los artistas del “Top 50” ), secundarios (artistas no incluidos del “Top 50”) y movimientos artísticos.
Para esta tarea he elegido la herramienta de análisis de grafos Gephi, que es una herramienta de software libre y de código abierto para el análisis y visualización de redes y grafos complejos.
Después de calcular medidas de centralidad y de aplicar diversos algoritmos de distribución de redes y de detección de comunidades el aspecto de la red general es el siguiente.
REGLAS PARA INTERPRETAR LA RED
COLOR DE LOS NODOS – El color de los nodos se establece según el tipo de nodo (Artistas principales: Verde / Artistas secundarios: Azul / Movimientos artísticos: Naranja)
TAMAÑO DE LOS NODOS – El tamaño de los nodos se establece por el peso de cada uno de ellos. Los nodos con peso más alto son los de mayor tamaño. El peso de un nodo refleja la suma de relaciones que tiene con otros nodos.
COLOR DE LAS ARISTAS – El color de la arista indica el tipo de nodo influyente.
DIRECCIÓN DE LAS ARISTAS – La dirección de las flechas de las aristas indica la dirección de la relación en términos de influencia.
Los nodos con grados altos en una red suelen ser importantes en el análisis de redes, ya que pueden desempeñar un papel crucial en la estructura y el flujo de la información en la red.
A continuación destaco las relaciones de los 4 nodos con un grado más alto: Pablo Picasso (grado 32), Paul Cezanne (grado 30), Paul Gauguin (grado 24) y Impressionism (grado 23).
Los componentes conexos se refieren a los subgrafos en una red en los que todos los nodos están conectados directa o indirectamente entre sí. En otras palabras, en un componente conexo, se puede llegar desde cualquier nodo del componente a cualquier otro nodo del componente a través de caminos de nodos y aristas. En nuestra red existen 5 componentes fuertemente conectados. Cada uno de ellos se componen de varios nodos que tienen una fuerte relación entre ellos con lo que podemos determinar que son áreas temáticas dentro de la red.
En Gephi, el algoritmo de Louvain es un método iterativo que da buenos resultados para detectar comunidades en términos de modularidad y una de sus principales características es que escala muy bien. Las comunidades son conjuntos de nodos que están densamente muy conectados entre sí y poco conectados con el resto de nodos de la red. Estas comunidades pueden representar subgrupos o clusters de nodos con características o propiedades similares dentro de la red.
En nuestra red Gephi ha detectado 10 comunidades, de las cuales destaco a continuación 2 de ellas.
Finalmente en esta visualización creada en Power Bi, se pueden consultar las influencias de entrada y salida de cada uno de los artistas (nodos).
5.4 Análisis de imagen con Orange
El tercer planteamiento de análisis de los datasets es realizar diferentes técnicas de análisis de imágenes que ofrece la herramienta de minería de datos de código abierto Orange con sus algoritmos supervisados y no supervisados. En lo que se refiere al análisis de imágenes Orange nos permite dos enfoques, la clasificación y la clusterización (agrupamiento), que aunque comparten ciertas similitudes también tienen diferencias importantes entre ellas.
Tanto en los modelos de clasificación como clusterización se pueden utilizar algoritmos supervisados y no supervisados. Los algoritmos supervisados requieren un conjunto de datos de entrenamiento etiquetados, es decir, datos en los que las variables objetivo o las clases ya están definidas. Los algoritmos no supervisados trabajan con datos no etiquetados, lo que significa que no hay información sobre las clases o etiquetas objetivo. Estos algoritmos analizan la estructura inherente de los datos y buscan patrones.
En nuestro caso utilizaré algoritmos no supervisados. En la clusterización el objetivo es encontrar grupos de imágenes similares en nuestro dataset mediante la detección de patrones y similitudes existentes en ellas. En la clasificación el objetivo es que dada una nueva imagen, esta se clasifique con otras imágenes del dataset con las que comparte características similares como el color, la textura, la forma y la distribución de píxeles.
Este es el modelo que he creado en Orange para la clusterización de las obras más importantes del “Top 50”. Como embedder he elegido Painters que es una red neuronal preentrenada con 79.433 imágenes de obras de arte de 1.584 pintores ue ganó la competición Painter by Numbers de la plataforma Kaggle. Un embedder es un componente que se utiliza para representar datos de alta dimensionalidad en un espacio de menor dimensión.
Y estos son algunos de los clusters obtenidos.
Este es el modelo que he creado en Orange para clasificar una obra no incluida en nuestro dataset con las 5 obras más similares que están incluidas en él. Además del embedder Painters, también probaré el embedder Inception V3 que es una red neuronal convolucional (CNN) desarrollada por Google y diseñada para reconocer objetos en imágenes mediante la extracción de características visuales de diferentes escalas y niveles de abstracción.
Se puede observar que cada red neuronal (Painters y Inception v3) selecciona obras diferentes. Esta diferencia de resultados es debida al tamaño y profundidad de cada red neuronal, en lo que respecta a la cantidad de capas de la arquitectura, que determina su precisión de clasificación.
5.5 Análisis de texto con Orange
El cuarto planteamiento al abordar la extracción de conocimiento de los datasets es el de aplicar técnicas de data mining en el contenido textual de las descripciones que acompañan a las 250 obras de arte del “Top 50”. Para ello utilizaré las herramientas y técnicas que Orange ofrece para clusterizar textos.
Este es el modelo de Orange. Entre algunos de sus pasos destaco el Word Cloud y el Hierarchical Clustering.
Y este es el detalle de algunos de los clusters obtenidos.
Y por último haré un segundo ejercicio de clusterización mediante el análisis de concordancia que permite comprender cómo se utilizan palabras o frases clave del texto en relación con otros elementos del texto. En Orange, el análisis de concordancia en sí mismo no se utiliza directamente para la clusterización de textos pero en nuestro caso lo utilizaré para consultar una palabra concreta en las descripciones y examinaré en que contexto es utilizada en el conjunto de los textos. El resultado de esta consulta determinará un cluster de obras de arte relacionadas entre sí que puede ser interesante como criterio de agrupamiento.
Este es el modelo con algunos de sus pasos.
Y a modo de ejemplo, estos son los clusters obtenidos con las consultas “horse” y “dance”.
6 Conclusiones
El análisis de una colección de arte tiene mucho margen de mejora en el futuro gracias al desarrollo exponencial de nuevas técnicas de análisis de imágen y texto apoyadas en la explosión actual de la inteligencia artificial. La utilización de softwares “low code” o “no code” como Orange o Gephi acerca el análisis de datos a usuarios no experimentados en métodos más avanzados que requieren conocimientos en diversos lenguajes de programación como Python.
Los trabajadores de un museo como comisarios, conservadores, catalogadores o investigadores pueden formarse en poco tiempo en estas herramientas y así analizar su propia colección de arte para encontrar nuevas perspectivas y enfoques en cómo organizar sus exposiciones y difundir su fondo artístico.
Hoy en día los visitantes de un museo demandan nuevas experiencias como la realidad aumentada o virtual, y también tener la posibilidad de poder explorar interactivamente las colecciones de manera virtual a través de apps. Estos nuevos espacios y contextos expositivos inevitablemente tienen que apoyarse en el análisis y visualización de datos y las organizaciones museísticas deben de ser proactivas en la implementación de las nuevas tecnologías que nos ofrece la revolución actual en términos de transformación digital.
7 Referencias
Eva Patricia Fernández (2016). Big Data. Eje estratégico en la industria audiovisual. Editorial UOC
Cole Nussbaumer Knaflic (2017). Storytelling con datos. Visualización de datos para profesionales. Wiley – Anaya Multimedia
Isabel Meirelles (2014). La información en el diseño. Parramón Arts & Design
Anthony Lilley y Paul Moore (2013). Counting What Counts – What Big Data can do for the Cultural Sector. [Consulta: 7 de junio de 2023]
John Holden (2004). Capturing Cultural value. [Consulta: 7 de junio de 2023]
Salvador Carrasco (2006). Medir la cultura: una tarea inacabada. [Consulta: 7 de junio de 2023]
Amiria Gale (2023). How to analyze an artwork: a step-by-step guide. [Consulta: 7 de junio de 2023]
Giovanna Castellano y Gennaro Vessio (2021). Understanding Art with AI:Our Research Experience. [Consulta: 7 de junio de 2023]
Eva Cetinic, Tomislav Lipic y Sonja Grgic (2019). A Deep Learning Perspective on Beauty, Sentiment, and Remembrance of Art. [Consulta: 7 de junio de 2023]
Varios autores (2019). Democratized image analytics by visual programming through integration of deep models and small-scale machine learning. [Consulta: 7 de junio de 2023]
Primož Godec (2022). Image Analytics for Everyone: Image Embeddings with Orange. [Consulta: 7 de junio de 2023]
Babak Saleh y Ahmed Elgammal (2015). Large-scale Classification of Fine-Art Paintings: Learning The Right Metric on The Right Feature. [Consulta: 7 de junio de 2023]
Varios autores (2021). Semantic Analysis of Cultural Heritage Data: Aligning Paintings and Descriptions in Art-Historic Collections. [Consulta: 7 de junio de 2023]
