Компьютерное зрение и компьютерная графика, анализ картин и рисунков


За последние несколько лет ряд ученых, прошедших обучение по компьютерному зрению, распознаванию образов, обработке изображений, компьютерной графике и истории искусств, разработали строгие компьютерные методы для решения растущего числа проблем в истории искусства. В некоторых случаях эти компьютерные методы более точны, чем даже высококвалифицированные ценители, искусствоведы и художники. Компьютерные графические модели студий и предметов художников позволяют ученым изучать сценарии «что если» и определять практическую деятельность студии художников. Строгое компьютерное программное обеспечение для трассировки лучей проливает свет на утверждения, что некоторые художники использовали оптические инструменты. Компьютерные методы не заменят традиционного искусства историческими методами знатоков, но расширяют и расширяют их. Как таковые, чтобы эти компьютерные методы были полезны для художественного сообщества, они должны и далее совершенствоваться посредством применения к ряду значительных проблем исторического искусства.

Существует долгая история использования сложных изображений и, в последние несколько десятилетий, цифровых изображений для изучения искусства. Вскоре после открытия рентгеновских лучей в 19-м веке такие лучи использовались для выявления заниженных размеров и пентементов. Позже, инфракрасная фотография и рефлектография были использованы для схожих целей; мультиспектра, флюоресценция и ультрафиолетовая визуализация получили широкое распространение и используются для выявления пигментной композиции и т.д.

В таких методах результирующее изображение обычно интерпретируется ученым-искусствоведом. Однако в последние несколько лет мы вступили в новую эру: та, в которой некоторые интерпретации изображений в значительной степени опираются на сложные алгоритмы, разработанные на основе компьютерного зрения, дисциплины, стремящейся заставить компьютеры «видеть». В некоторых обстоятельствах компьютеры могут анализировать определенные аспекты перспективы, освещения, цвета, тонкости форм мазков кисти лучше, чем даже опытный искусствовед, художник или знаток. Эти методы, как и другие научные методы, такие как визуализация и изучение материалов, не заменяют собой понятия "знаток", а лишь усиливают и расширяют его, подобно тому как микроскопы расширяют возможности биологов.

Источник силы этих компьютерных методов вытекает из следующего:

• Компьютерные методы могут опираться на визуальные особенности, которые трудно определить на глаз, например, тонкие взаимосвязи между структурой мазка кисти (подробнее о масляной живописи) в различных масштабах или цветах, как в Perugino’s Holy family, или освещение de la Tour’s в Christ in the carpenter’s studi, или перспективные аномалии в van Eyck’s Arnolfini portrait.

• Компьютерные методы могут абстрагировать информацию от большого количества визуальных доказательств, например, в принципе, каждый мазок кисти, выполненный Ван Гогом и его современниками, - огромное количество информации, которую даже немногие ученые даже получают, и тем более не используют ее в полной мере.

• Компьютерные методы являются объективными, что не обязательно означает, что они «превосходят» субъективные методы, а скорее обещает расширить язык, включив в него термины, которые не очень неоднозначны. Хотя сегодня искусствовед может описать мазок кисти как «жирный», «предварительный» или «изменчивый», однажды этот ученый также может использовать технические термины и математические показатели, полученные из компьютерного анализа изображений, - термины, которые также поймут другие ученые.

• Строгие методы компьютерной графики могут открывать новые трехмерные изображения на основе двумерного изображения и создавать новые представления в виде таблиц, искажая изображения, отраженные в зеркалах, изображенных на картине.

ТОЧЕЧНЫЕ ПРОЦЕДУРЫ

Здесь и далее мы предполагаем, что у нас есть цифровое изображение картины или рисунка, формат, необходимый для компьютерного анализа. Концептуально простейшим классом компьютерных методов изображения в искусстве является точечная или пиксельная обработка, то есть методы изменения цвета и яркости каждого пикселя исключительно на основании цвета этого пикселя. Такие алгоритмы лучше описать как обработку изображений, чем как анализ изображений. Мультиспектральные изображения и обработка использовались для анализа пигмента, омоложения цвета и прогнозирования эффектов кураторского лечения. Пиксельная обработка изображений использовалась для регулировки относительных весов различных спектральных диапазонов для улучшения читабельности, как в «Archimedes palimpsest», и для выявления деталей и структуры в искусстве, которые иначе трудно различить невооруженным глазом.

Диапазон интенсивности света в естественном мире - от затемненной комнаты до яркого солнечного света - простирается в 1014 раз, в то время как динамический диапазон в масляной живописи может составлять всего 102, даже в работах Caravaggio, de la Tour, Joseph Wright of Derby и других, кто использовал Chiaroscuro. Таким образом, все художники должны сжимать диапазон яркости в своих работах.  Graham и Field исследовали нелинейное сжатие динамического диапазона в нескольких классах произведений реалистического искусства, и этот процесс основан на значениях отдельных пикселей.

ЗОНАЛЬНЫЕ ПРОЦЕДУРЫ

Очень большой класс алгоритмов обработки изображений включает в себя фильтрацию исходного изображения, где значение цвета или градаций серого в пикселях является функцией значений пикселей в области или области входного изображения. При линейной фильтрации выходное значение (цвет или уровень серого) представляет собой линейную комбинацию значений входных пикселей, тогда как при нелинейной фильтрации допускаются произвольные функции входных пикселей. Обычно входное изображение представляет собой фотографию картины, а выходное изображение - цифровое изображение, обработанное для выявления некоторых свойств, которые трудно различить невооруженным глазом. Такая фильтрация может устранить постепенные изменения цвета по всему рисунку и оставить или даже улучшить края или контуры, как, например, (нелинейный) детектор краев Canny. Преобразование Фаски (или дистанционное преобразование) полезно для количественного определения сходства или различий между двумя формами, например, при тестировании точности, которой художники могут достичь, используя различные методы копирования.

Другим классом нелинейных фильтров являются морфологические операторы. Такие операторы обычно используются на бинарных (черно-белых) изображениях, а не на цвете или градациях серого, где форма (а не цвет) является предметом интереса. Например, оператор скелетонизации выдает кривую шириной в один пиксель вниз по центру черного мазка, независимо от изменяющейся ширины мазка. Другие популярные морфологические операторы реализуют эрозию, расширение, открытие и закрытие. Например, Stork, Meador и Nobl сравнили формы различных отрывков из кирпича в картине из голландского Золотого века, несмотря на различия и неровности ширины нарисованных линий. С этой целью они предварительно обработали фотографию картины с высоким разрешением, используя морфологический фильтр, чтобы создать изображение, в котором линии раствора были одинаковой толщины. Затем они вычислили взаимную корреляцию этого изображения для поиска повторяющихся паттернов.

ПЕРСПЕКТИВНЫЙ АНАЛИЗ

Анализ перспективы, масштаба и геометрии имеет долгую и важную историю в изучении реалистического искусства, особенно в истории искусства эпохи Возрождения. Большинство из этих аналитических методов включают в себя простое рисование линий перспективы, нахождение линий горизонта, исчезающих точек и и так далее без компьютеров. Однако недавно был разработан ряд сложных компьютерных методов для анализа перспективы и геометрии. Criminisi и его коллеги первыми применили строгие методы восстановления трехмерного пространства из единичных «некалиброванных» изображений, таких как картины. Эти методы позволили создать трехмерные виртуальные пространства произведений искусства, таких как Masaccio’s Trinita`. Smith, Stork и Zhang реконструировали трехмерное пространство таблицы, основываясь на нескольких видах, изображенных в плоских отражениях в одной картине. Этот метод также выявляет пространственные несоответствия между прямым и отраженным взглядами и тем самым проливает свет на методы работы художника.

Хотя можно использовать простое коммерческое программное обеспечение, такое как Adobe Photoshop, для трансформации перспективы между двумя изображениями или пассажами - например, двумя руками на люстре в портрете van Eyck’s Arnolfini portrait - но такая техника страдает рядом недостатков, наиболее серьезным является то, что экспериментатор может произвольно выбирать, какие части одного изображения должны соответствовать его партнерам на другом изображении. Criminisi получил строгие, принципиальные методы для поиска оптимальных преобразований, которые минимизировали бы различия в форме, таким образом устраняя этот недостаток. Такой анализ перспективы, несоответствий перспективы и тонкостей формы пролил свет на ряд тем, включая вопрос о том, использовал ли художник оптические средства.

КОМПЬЮТЕРНАЯ ГРАФИКА

Компьютерная графика позволяет ученым понять методы работы художников-реалистов, исследуя сценарии «что если». Обратите внимание, что создание трехмерной модели на основе двумерного рисунка формально «некорректно», то есть бесконечное количество трехмерных таблиц согласуется с данным двумерным проектированием.  Таким образом, создание виртуальной таблицы - это отчасти искусство, отчасти наука. Тем не менее, использование информации (2D) изображения, такой как окклюзия и физические ограничения, такие как жесткость или поддержка объектов на заданном этаже, и согласованность освещения, сильно ограничивают трехмерные модели. Важно, чтобы предположение, например, о том, что тела имеют нормальные пропорции, что грани примерно симметричны слева-справа и т.д., не смещает или не поддерживает один вывод над другим.

Stork и Furuichi построили полную трехмерную модель Georges de la Tour’s Christ in the carpenter’s studio и корректировали расположение виртуального источника света в виртуальной таблице до тех пор, пока цифровое изображение не соответствовало картине настолько близко, насколько это возможно. Таким образом, эти авторы обнаружили, что источник света, скорее всего, находился в положении свечи, а не на месте рисунков, и тем самым опровергли утверждение о том, что рисование было выполнено с помощью оптических проекций. Savarese и его коллеги создали очень простую модель выпуклого зеркала и плоской модели таблицы в левой панели диптиха Ван Ги Минглинга, чтобы проверить согласованность между таблицей и изображением, изображенным в выпуклом зеркале. Расхождения между зеркалом и простой таблицей позволили предположить, что Мемлинг добавил зеркало позже, в качестве запоздалой мысли. Джонсон и его коллеги создали компьютерную модель девушки Вермеера с жемчужной сережкой для оценки направления освещения. Совсем недавно Аист и Фуруичи. создала модель как таблицы в «Диких веласкесах» Лас-Менинас, так и пространства зрителя, чтобы исследовать взаимосвязь между этими двумя пространствами, например, соответствовала ли позиция зрителя положению короля и королевы, видимых в плоскости зеркало.

Использованные источники

  1. A. Pelagotti, A. D. Mastio, A. D. Rosa, and A. Piva, “Multispectral imaging of paintings,” IEEE Signal Processing magazine 25(4), pp. 27–36, 2008.

  2. K. Martinez, J. Cupitt, D. Saunders, and R. Pillay, “Ten years of art imaging research,” Proceedings of the IEEE 90(1), pp. 28–41, 2002.

  3. M. Barni, A. Pelagotti, and A. Piva, “Image processing for the analysis and conservation of paintings: Opportunities and challenges,” IEEE Signal Processing magazine 22(5), pp. 141–144, 2005.

  4. I. E. Berezhnoy, E. O. Postma, and J. van den Herik, “Computer analysis of van Gogh’s complementary colours,” Pattern Recognition Letters 28(6), pp. 703–709, 2006.

  5. H. Maitre, F. Schmitt, and C. Lahanier, “15 years of image processing and the fine arts,” Proceedings International Conference on Image Processing (ICIP) 1, pp. 557–561, 2001.

  6. D. G. Stork and J. Coddington, eds., Computer image analysis in the study of art, vol. 6810, SPIE/IS&T, Bellingham, WA, 2008.

  7. D. G. Stork, J. Coddington, and A. Bentkowska-Kafel, eds., Computer vision and image analysis of art, SPIE/IS&T, Bellingham, WA, 2010 (forthcoming).

  8. A. Kirsh and R. S. Levenson, Seeing through paintings: Physical examination in art historical studies, Yale U. Press, New Haven, CT, 2000.

  9. D. G. Stork, “Computer vision, image analysis and master art, Part I,” IEEE Multimedia 13(3), pp. 16–20, 2006.

  10. D. G. Stork and M. K. Johnson, “Computer vision, image analysis and master art, Part II,” IEEE Multi- media 14(3), pp. 12–17, 2006.

  11. D. G. Stork and M. Duarte, “Computer vision, image analysis and master art, Part III,” IEEE Multime- dia 14(1), pp. 14–18, 2007.

  12. D. G. Stork, “Imaging technology enhances the study of art,” Vision Systems Design 12(10), pp. 69–71, 2007.

  13. E. van de Wetering, “Thirty years of the Rembrandt Research Project: The tension between science and connoisseurship in authenticating art,” IFAR Journal 4(2), pp. 14, 24, 2001.

  14.  H. Leung, S. T. S. Wong, and H. H.-S. Ip, “In the name of art,” IEEE Signal Processing magazine 25(4), pp. 49–52, 2008.

  15. X. Huang, A. Mohan, and J. Tumblin, “Deep shadows in a shallow box,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 681003–1–9, IS&T/SPIE, (Bellingham, WA), 2008.

  16. I. E. Berezhnoy, E. O. Postma, and H. J. van den Herik, “Computerized visual analysis of paintings,” in Proceedings of the 16th International Conference of the Association for History and Computing, pp. 28–32, Royal Netherlands Academy of Arts and Sciences, (Amsterdam, The Netherlands), 2005.

  17. R. S. Berns, “Rejuvenating Seurat’s palette using color and imaging science: A simulation,” in Seurat and the making of La Grande Jatte, R. L. Herbert, ed., pp. 214–227, Art Institute of Chicago, Chicago, IL, 2004.

  18. Y. Zhao, R. S. Berns, L. A. Taplin, and J. Coddington, “An investigation of multispectral imaging for the mapping of pigments in paintings,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 681007–1–9, IS&T/SPIE, (Bellingham, WA), 2008.

  19. K. Martinez and M. Goodall, “Colour clustering analysis for pigment identification,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 681008–1–8, IS&T/SPIE, (Bellingham, WA), 2008.

  20. M. Pappas and I. Pitas, “Digital color restoration of old paintings,” IEEE Transactions on Image Process- ing 9(2), pp. 291–294, 2000.

  21. H. Chahine, J. Cupitt, D. Saunders, and K. Martinez, “Investigation and modelling of color change in paintings during conservation treatment,” in Imaging the past: Electronic imaging and computer graphics in museums and archaeology, Occasional papers of the British Museum 114, pp. 23–33, 1996.

  22. A. D. Mastio, A. Piva, M. Barni, V. Cappellini, and L. Stefanini, “Color transplant for reverse ageing of faded artworks,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 681006–1–12, IS&T/SPIE, (Bellingham, WA), 2008.

  23. D. G. Verri, D. Comelli, S. Cather, D. Saunders, and F. Piqu´e, “Post-capture data analysis as an aid to the interpretation of ultraviolet-induced fluorescence images,” in Computer image analysis in the study of art, G. Stork and J. Coddington, eds., 6810, pp. 681002–1–12, IS&T/SPIE, (Bellingham, WA), 2008.

  24. R. L. Easton, Jr., K. T. Knox, and W. A. Christens-Barry, “Multispectral imaging of the Archimedes palimpsest,” in Proceedings of the 32nd Applied Imagery Pattern Recognition Workshop, AIPR03, pp. 111– 116, IEEE, (El Segundo, CA), 2003.

  25. R. Netz and W. Noel, The Archimedes Codex: How a Medieval prayer book is revealing the true genius of Antiquity’s greatest scientist, Da Capo Press, Philadelphia, PA, 2007.

  26. K. T. Knox, “Enhancement of overwritten text in the Archimedes Palimpset,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 681004–1–11, IS&T/SPIE, (Bellingham, WA), 2008.

  27. D. D. Walvoord, A. Bright, and R. L. Easton, Jr., “Multispectral processing of combined visible and x-ray fluoroescence imagery in the Archimedes palimpsest,” in Computer image analysis in the study of art, G. Stork and J. Coddington, eds., 6810, pp. 681004–1–11, IS&T/SPIE, (Bellingham, WA), 2008.

  28. D. Walvoord and R. L. Easton, Jr., “Digital transcription of the Archimedes palimpsest,” IEEE Signal Processing magazine 25(4), pp. 100–104, 2008.

  29. K. Minturn, “Digitally-enhanced evidence: MoMA’s reconfiguration of Namuth’s Pollock,” Visual Re- sources 17(1), pp. 127–145, 2001.

  30. D. Falk, D. Brill, and D. Stork, Seeing the Light: Optics in nature, photography, color, vision and hologra- phy, Wiley, New York, NY, 1986.

  31. D. J. Graham and D. Field, “Global nonlinear compression of natural luminances in painted art,” in Computer image analysis in the study of art, D. G. Stork and J. Coddington, eds., 6810, pp. 68100K–1– 11, IS&T/SPIE, (Bellingham, WA), 2008.

  32. D. J. Graham and D. Field, “Variations in intensity statistics for representational and abstract art, and for art from the eastern and western hemispheres,” Perception 37(9), pp. 1341–1352, 2008.

  33. D. G. Stork, S. Meador, and P. Noble, “Painted or printed? Correlation analysis of the brickwork in Jan van den Heyden’s V iew of Oudezijds V oorburgwal and the Oude Kerk in Amsterdam,” in Electronic Imaging: Human vision and electronic imaging XIV, B. E. Rogowitz and T. N. Pappas, eds., 7240, pp. 72401O1–10, SPIE/IS&T, Bellingham, WA, 2009.


Computer Vision and Computer Graphics Analysis of Paintings and Drawings:
An Introduction to the Literature
David G.Stork

Авторизация
Забыли свой пароль?