Фотопейзаж и компьютер
Зачем я написал эту книжку
Если посмотреть, какие книги по цифровой фотографии лежат на прилавках магазинов (включая интернет-магазины), то можно увидеть, что основная масса книг – это мастер-классы фотографов мирового уровня (многие книги идут под лозунгом «Как заурядный снимок, сделанный мыльницей, превратить в обалденную фотографию»). При этом особым достоинством считается отсутствие технических деталей (цитирую по аннотациям):
• «без сложных объяснений и технического жаргона», «Это не книга о теории фотографии, переполненная терминами и заумными рассуждениями» (Келби Скотт. Цифровая фотография. Том 1, издательство Вильямс, 2017).
• «Никаких диаграмм и графиков, никаких сложных терминов» (Кэролл Генри. Сними свой лучший портрет. Советы 50 легендарных фотографов, издательство Бомбора, 2018).
Но как же быть, если в настройках камеры попался пункт «Выберите тип колориметрического отображения»? Ставить или нет галочку в строке «CIECAM02» окна модуля управления цветом операционной системы компьютера?
А первый вопрос, который задает серьезный графический редактор, это – «в каком цветовом пространстве будете работать?». Я уже не говорю о количестве инструментов редактора – их сотни. Какими из них можно попробовать решить конкретную проблему с фотографией, а какие применять бессмысленно?
Можно, конечно, использовать значения параметров, заданные по умолчанию. Но тогда, если что-то получится не так, всегда будет оставаться сомнение, нельзя ли было исправить положение, выбрав другие, более подходящие значения?
Что можно сделать с фотографией с помощью инструментов, появившихся совсем недавно, например, «многомасштабная сшивка фрагментов» (multi-resolution blending) или «вейвлет-анализ»? Или «редактирование изображения по Пуассону» (Poisson Image Editing)?
Все возрастающую необходимость объяснять теорию видят, конечно, и авторы классических книг для фотографов. И вот уже Майкл Фриман излагает основы теории цвета (Работа с цветом в цифровой фотографии, издательство Добрая книга, 2014) и описывает способы создания снимков с широким динамическим диапазоном (HDR, high dynamic range). То же самое делает и Дэвид Найтингейл (HDR-фотография. Полное практическое руководство, издательство Добрая книга, 2012). А Том Энг описывает основы алгоритмов работы с изображениями (Все секреты цифровой фотографии. Новейшее исчерпывающее руководство, издательство АСТ, 2013. В аннотации сказано, что «это единственное руководство, сочетающее полный набор профессиональных методов с обстоятельным изложением основ работы с изображением»).
Вопросов, в которых приходится разбираться фотографам, масса: какие программы ему могут пригодиться еще, кроме Photoshop и Lightroom; зачем нужны разные виды профилей мониторов и фотокамер, какую проекцию выбрать при построении панорамы, и т. д. и т. п.
В этой книжке я и захотел дать ответы на эти и многие другие вопросы, имеющие важное практическое значение для фотографа.
Если несколько лет тому назад можно было безболезненно игнорировать непонятные места в теории пост-обработки, то с каждым годом таких мест становится все больше, и неизбежно наступает время, когда приходится сказать себе: «Все! Пора, наконец, мне в этом разобраться!». Данная книжка поможет это сделать.
Какой должна была получиться эта книжка
Часть информации, содержащейся в этой книжке, сочинил я сам. Это некоторые приемы цифровой обработки фотографий, методики фотосъемки панорам, популярное изложение некоторых теоретических вопросов. И, конечно, это мои фотографии пейзажей и рисунки, нарисованные моими компьютерными программками.
Но, все же, существенная часть информации, изложенной в этой книжке, естественно, встречается в том или ином виде и в других книгах и в интернете. Поэтому необходимо было сформулировать отличия моей книжки от других источников. Отличия, ради которых и стоило трудиться.
Замысел был таков.
Во-первых, отличия в подборе материала. Основной упор в книжке должен быть сделан на те важные для практики вопросы, которые либо отсутствуют, либо затронуты недостаточно подробно или разбросаны по многим книгам о цифровой фотографии. В частности, нужно было описать последние достижения в области цифровой обработки изображений, многие из которых только начинают (в 2019 году) реализовываться в виде инструментов графических редакторов, и продемонстрировать их применение на своих фотографиях.
Во-вторых, объем книжки должен быть небольшой. Это должна была получиться не энциклопедия, а, скорее, краткий справочник приемов, инструментов, алгоритмов, программ и интересных идей, лежащих в основе цифровой обработки изображений. Полноту изложения нужно было принести в жертву. Поэтому я нигде (кроме одного параграфа) не привожу пошаговые инструкции (они есть во многих книгах, например, Майкл Фриман. Творческая обработка фотографий и специальные эффекты, издательство Добрая книга, 2013). Я не показываю читателю скриншоты программ, за исключением важных фрагментов, без которых нельзя обойтись (гистограммы и цветовые кривые). Я нигде не обсуждаю чисто творческие вопросы (этому справедливо посвящена основная масса книг по фотографии), тем более, что я не очень высокого мнения о художественных достоинствах своих снимков. Рассказывая о применении компьютерных программ, я не пересказываю их инструкции (мануалы). Цифровая обработка показана на примерах только фотоснимков пейзажей (не портретов, не макро), тоже с целью ограничить объем книжки.
В-третьих, изложение теоретических вопросов должно быть понятно и не-математикам. Основные идеи всех алгоритмов нужно объяснить «на пальцах», без формул.
Я хотел, чтобы так было и, по-моему, кое-что из этого удалось.
Для кого написана эта книжка
Работая над этой книжкой, я в первую очередь ориентировался на читателей, влюбленных в фотографию и не упускающих случая углубить свое понимание принципов, лежащих в основе обработки изображений. И, как следствие, обогатить свой арсенал технических средств, с помощью которых можно добиваться желаемых результатов.
Вторая группа читателей, которым будет интересна эта книга, – это пользователи графических редакторов, работающие с другими видами изображений, но сталкивающиеся с проблемами, похожими на изложенные выше. Думаю, что даже самые опытные пользователи фотошопа найдут в этой книге что-то новое для себя, просто потому, что хороший графический редактор позволяет осуществлять немыслимое количество различных способов обработки изображений, и все эти способы попробовать одному человеку нереально. Более того, бо́льшая часть из возможных способов обработки, скорее всего, так никем и не будет когда-либо попробована!
И, наконец, среди читателей этой книжки я вижу творческих людей других специальностей, ценящих возможность расширить свой кругозор.
Везде, где было возможно, я пытался копать вглубь и выяснять детали, которые обычно отсутствуют в популярных книгах на эти темы. Я старался не повторять то, что уже написано во многих других книгах, кроме необходимого минимума.
Может быть, кто-то спросит: зачем писать о том, что каждый может запросто найти в интернете? Ответить легко. Если бы эта книжка содержала все потоки информации, выдаваемые интернет-поисковиком на все затронутые в ней вопросы, то ее невозможно было бы читать. Информация из интернета была мною отфильтрована (удалена ошибочная, малосущественная, чересчур упрощенная, заумная и т. д.), сверена, приведена к «общему знаменателю», обдумана, структурирована, согласована с личным опытом и изложена с единых позиций. Эта работа заняла много месяцев, доставила массу удовольствия и, я думаю, окажется полезной.
Предвижу еще один вопрос. Зачем я нашпиговал текст английскими словами, разве это не будет раздражать читателей, не знающих языка?
Во-первых, упоминание соответствующих английских терминов помогает уточнить, что имеется в виду. Во-вторых, эти термины можно использовать при поиске в англоязычном интернете. В-третьих, это облегчает понимание пунктов меню и названий кнопок тех компьютерных программ, которые не имеют интерфейса на русском языке. Да и перевод на русский бывает такой, что приходится лезть в английский интерфейс, чтобы понять, что имеется в виду. В-четвертых, в настоящее время большая часть научно-технической терминологии попадает в русский язык из английского языка. В любом случае полезно знать, откуда взялось то или иное слово.
В этой книжке нет ни одного изображения, скачанного из интернета. Все рисунки и графики нарисовал я сам, вручную или с помощью написанных мною программ. Все фотографии, препарированные на страницах этой книжки, снял тоже я, чем обеспечил себе отсутствие возможных претензий в свой адрес со стороны оскорбленных авторов.
Об авторе
Я – фотограф-любитель и программист-профессионал. Первую цветную фотографию пытался напечатать в 1960 году. Первую программку написал в 1966 году на втором курсе МФТИ на автокоде БЭСМ-06.
А еще не могу жить без путешествий, точнее, турпоходов. В основном, пешком, в группе или в одиночку. Реже – на плотах, на байдарках, на лыжах, на велосипеде. Обошел и объехал всю Кировскую область и Подмосковье, был в Забайкалье, на Урале, на Тянь-Шане, на Алтае, на Балхаше, на Белом море, в Карелии, на Северной Двине, в Крыму, в Молдавии, в Узбекистане, Киргизии.
А началось все с первой вылазки, которую совершил пяти лет, вместе с дружком такого же возраста. Прошли километра два по соснячку, пожарили хлеб на палочке на костре и благополучно вернулись домой.
Первую цифровую камеру купил в 2012 году и начал осваивать пост-обработку. Не только практику, но и теорию. Путешествовал и фотографировал пейзажи. Провел за редактированием снимков на компьютере сотни часов. Накачал много программ из интернета и попробовал их. Накопил опыт, которым стоит поделиться.
Вступление. Воспоминания о пейзаже
Вы когда-нибудь пробовали понять, что приходит в голову, когда пытаешься вспомнить какой-нибудь пейзаж (любой)? Я пытался, но до конца так и не понял, что происходит.
Года два тому назад в солнечный день я поднимался по крутой тропинке, идущей вверх по склону высокого берега Вятки недалеко от Котельнича. Тропинка шла по хвойному лесу и делала неожиданные резкие повороты. Я ничего не фотографировал, был в этом месте впервые в жизни и с тех пор там не бывал. И вот, что сейчас мне удается вспомнить об этом месте. Первый ракурс: тропинка идет справа налево и снизу вверх, вокруг высокие ели, контрастное освещение, ярко-зеленые участки хвои и глубокие тени, трава по краям тропинки. Второй ракурс: резкий поворот направо и вверх по гребню (дальше по прямой идти нельзя, крутой спуск, почти обрыв), после поворота, слева – то ли пень, то ли коряга. И третий ракурс: сверху, как будто с дрона, видна тропинка до и после поворота. Откуда взялся третий ракурс? Даже с дрона нельзя было увидеть под таким углом обе части тропинки одновременно, деревья бы заслоняли. А где остальные части тропинки? Не запомнились или не могу сейчас вспомнить?
То, что вспомнилось, представляется смутно, без деталей (не вижу, что лежит на тропинке). Наклон и направление тропинки как будто бы правильные, в остальных отношениях это вполне могла бы быть тропинка совсем из другого пейзажа или, вообще, какая-то абстрактная тропинка. Вспоминаю запах смолы и утреннюю прохладу. Но, скорее всего, опять, смолистый запах и прохладу вообще. Явно не распределение температурных полей и не градиенты ароматов в тот конкретный момент. Говорят, зрительная память у разных людей развита по-разному. У меня – явно плохо. Но уверен, что нас таких много. Я не помню наизусть даже то, в какую сторону открывается дверца аккумуляторного отсека в моей камере.
Если бы я тогда сделал снимок, например, крутого поворота тропинки, то сейчас мог бы посмотреть, был ли это пень или коряга, и какие веточки и шишки лежали на тропинке. В случае удачной фотографии мне, возможно, вспомнился бы дополнительно шум ветра в вершинах и то ощущение мягкой податливости, которое возникает, когда наступаешь на раскрытую сосновую шишку. А что почувствует человек, которого не было тогда со мной, и который увидит этот снимок? Если мой замысел был в том, чтобы передать мои тогдашние ощущения, и если бы снимок удался, то, возможно, он удивится крутизне тропинки, неожиданности поворота, ощутит прохладу, запах и шум ветра в вершинах елей. Но это уже будут его представления о прохладе, запахе и шуме ветра.
Допускаю, что кто-нибудь из городских жителей может спутать торжественный соборный шум вершин елей и сосен, который возникает при обтекании потоком воздуха иголок и возникающей при этом турбулентности воздушных струек, с шумом ветра в кронах лиственных деревьев, состоящим из множества пришептываний и пришлепываний.
Я видел, давно, правда, какой-то художественный фильм, в котором кадры с движущимся грузовым поездом сопровождались звуками движущегося пассажирского поезда. Это, конечно, был «ляп». Сходные «ляпы» при рассматривании фотографии могут возникнуть в мозгу зрителя, и фотограф, по-видимому, тут бессилен. Но хорошо бы что-то понимать, что происходит в голове у зрителя, который рассматривает мой фотопейзаж.
Эту книжку я начну как раз с этого. В первой главе проследим процесс обработки визуальной информации зрительной системой человека. В последние годы в этой области открыты удивительные вещи! Неправильно, что многие фотографы лучше понимают, как картинку обрабатывают их камеры, чем как это делают их головы!
Во второй главе посмотрим, каким образом обработка зрительной информации может быть описана математически. Затем в общих чертах коснемся аппаратуры, применяемой при обработке изображений (третья глава).
В четвертой главе рассмотрим компьютерные программы для обработки изображений.
В пятой главе опишем современные алгоритмы обработки изображений (без формул, только на уровне идей).
И, наконец, главы с шестой по восьмую посвящены собственно практическому применению современных методов обработки пейзажных фотографий.
Глава 1
Система «глаз-мозг» и фотоаппарат
Фотограф создает цифровую фотографию с помощью камеры и компьютера, а фотография оценивается автором и зрителем с помощью глаз и мозга. Знание деталей каждого из процессов этой цепочки не только интересно, но и полезно. В частности, обрабатывая снимок на компьютере, хочется не только знать, что нужно сделать для улучшения изображения, но и понимать почему.
В этой главе я собрал информацию о том, как человек воспринимает изображение. Точнее, о том, как человек получает и обрабатывает информацию об изображении. Ограничиваясь только сведениями, которые могут быть интересны фотографу. Я не биолог, поэтому почерпнул все эти сведения из литературы, приведенной в конце книжки, и, конечно, из интернета.
Что происходит, когда человек рассматривает реальный 3D-пейзаж? Световые лучи от источников света и отраженный от предметов свет попадают в глаз, преобразуются сетчаткой в нервные импульсы, которые передаются в мозг, обрабатываются там и, наконец, появляется осознание того, что же мы видим в данный момент. Рассмотрим этот процесс подробнее, но только с точки зрения обработки информации, не очень углубляясь в биологические детали.
1.1. Движения глазного яблока
Поле зрения одного глаза приблизительно характеризуется следующими углами (отсчитываются от оси глаза, когда он смотрит прямо перед собой):
• 90° – по горизонтали, в сторону, противоположную носу;
• 60° – по горизонтали, к носу;
• 60° – вверх;
• 65° – вниз.
Эти углы будут меньше, если учитывать не простую индикацию света, а способность различать трехмерность, или, тем более, цвет. Самое большое поле зрения для синего цвета, а самое маленькое – для зеленого. У некоторых птиц поле зрения по горизонтали достигает почти 360°. Для сравнения: угол поля зрения объектива: 9° и менее – сверхдлиннофокусный, от 40° до 60° – нормальный объектив, более 80° – сверхширокоугольный.
Когда то, что видно в поле зрения одного глаза, проецируется на сетчатку, наиболее резко воспринимается только та часть картинки, которая попадает на центральную ямку сетчатки (фовеа). Менее резко – та часть, которая попадает на желтое пятно (макула), в центре которого находится фовеа. И совсем нерезко и почти бесцветно – остальная часть. Если сравнить размеры перечисленных областей сетчатки (соответственно, 0.4 мм, 5 мм, 22 мм) (или в углах: 1° 40', 18° 20', 135° по горизонтали), то становится понятно, что, несмотря на такое широкое поле зрения, в каждый момент времени каждый глаз резко воспринимает только очень небольшой кусочек всей картинки.
Мы этого обычно не замечаем, потому что глаза сканируют пейзаж скачкообразно, совершая быстрые движения (саккады, от двух до нескольких десятков угловых минут) примерно три-четыре раза в секунду, перемещаясь от одной привлекающей внимание детали к другой. В первую очередь привлекают внимание движущиеся или сильноконтрастные детали, а также участки, которые мозг по какой-то причине считает важными (например, исходя из своего предыдущего опыта). Какие-то другие части пейзажа могут остаться непросканированными. Что именно сканируется и в каком порядке – зависит еще и от целевой установки смотрящего (что ему важно увидеть или не пропустить). Благодаря саккадам самая важная часть изображения рассматривается с большим разрешением с помощью проектирования на фовеа по частям.
В начале рассматривания нового пейзажа саккадические прыжки длинные, а периоды фиксации взгляда – короткие. Затем периоды фиксации удлиняются, а прыжки укорачиваются. С возрастом периоды фиксации укорачиваются, а прыжки удлиняются. Полагают, что это происходит благодаря накопленному опыту наблюдения.
Между саккадами в момент фиксации взора происходит дрейф – медленное и плавное смещение взора (от 3 до 30 угловых минут). Периоды дрейфа прерываются быстрыми движениями небольшой амплитуды (менее 1 ÷ 2 угловых минут) и случайного направления (микросаккады). Микросаккады обычно возникают во время длительной фиксации (несколько секунд). И на все это накладывается еще и тремор – дрожание глаза с амплитудой 20–40 угловых секунд и с частотой 30–250 герц (измерение спектра частот тремора используется в диагностике состояния мозга, в частности, при проведении анестезии).
Роль микросаккад до конца невыяснена, но предполагают, что они нужны для компенсации смещения глаза из-за дрейфа и для поддержания изображения на сетчатке в движении (благодаря микросаккадам нейроны поддерживаются в активном состоянии из-за того, что неподвижные детали картинки перемещаются по их рецептивным полям, подробнее см. в следующем параграфе). Как показали эксперименты, если бы не было мелких движений глаз, мы бы видели только движущиеся предметы (как, например, видят лягушки). В этом случае при просмотре неподвижной сцены после начала каждой фиксации взгляда примерно через несколько секунд изображение бы полностью исчезало, а после перевода взгляда на другую точку новая картинка снова бы появлялась на несколько секунд.
Продолжительность фиксации взгляда примерно равна одной четверти секунды, но может быть разной, в зависимости от того, сколько времени нужно мозгу для завершения анализа соответствующей мгновенной картинки («кадра»). Интересно, что эти времена приблизительно кратны одной четверти секунды. Возможно, четверть секунды – это как раз именно то время, которое необходимо для выполнения алгоритма обработки глазом и мозгом одного «кадра». Поскольку во время выполнения саккадического прыжка информация от рецепторов сетчатки в мозг не передается, то нейроны мозга для обработки предыдущего «кадра» имеют дополнительное время. Еще один источник дополнительного времени – мигание.
1.2. Обработка зрительного сигнала рецепторами сетчатки
Свет, попадающий в глаз, проходит сквозь роговицу и хрусталик. Роговица и хрусталик играют роль двухлинзового объектива, причем линза-хрусталик имеет изменяемую кривизну и неравномерный коэффициент преломления, максимальный в центре и минимальный на периферии. Преломление света в роговице больше, чем в хрусталике, потому что коэффициенты преломления воздуха и роговицы различаются сильнее, чем коэффициенты преломления роговицы и хрусталика.
Изображение, сфокусированное роговицей и хрусталиком, попадает на сетчатку. Сетчатка занимает примерно две трети внутренней поверхности глазного яблока, а ее толщина – около 0.3 мм. Изображение на сетчатке глаза воспринимается рецепторами: палочками и тремя видами колбочек: L-колбочки, M-колбочки, S-колбочки (от Long, Middle, Short wavelength). В сетчатке одного глаза находится до 125 миллионов палочек и до 7 миллионов колбочек (распределение по типам L: M:S – 32:16:1). Размер наружной части рецептора, содержащей светочувствительный пигмент, равен 1 ÷ 2 микрон для палочки или 1 ÷ 5 микрон для колбочки.
Плотность рецепторов в центральной части сетчатки: 60000–150000 на мм2. Чувствительность: 5–14 фотонов для палочки и в 100–1000 раз больше для колбочки.
Максимум спектральной чувствительности палочек – 510 нм. Три вида колбочек имеют максимумы спектральной чувствительности 570 нм. (L), 544 нм. (M) и 443 нм. (S), то есть, приблизительно в области красных, зеленых и синих цветов.
Под слоем рецепторов находится слой клеток, содержащий черный пигмент меланин, поглощающий прошедший сквозь слои сетчатки и уже не нужный свет. Кроме того, эти клетки играют важную роль в процессе восстановления обесцвеченного светочувствительного пигмента палочек и колбочек.
Интересно, что у животных, ведущих ночной образ жизни, этот слой клеток, наоборот, имеет высокий коэффициент отражения, что повышает чувствительность сетчатки к свету (отраженный свет снова проходит через слой рецепторов в обратном направлении), но, разумеется, за счет ухудшения качества изображения. Именно поэтому глаза таких животных светятся в темноте (отраженным светом, конечно).
Под действием света в палочках обесцвечивается пигмент родопсин (зрительный пурпур), а в колбочках – пигмент йодопсин (точнее, хлоролаб, эритролаб, цианолаб в зависимости от вида колбочки). Причем количество прореагировавшего пигмента зависит от яркости приблизительно логарифмически (закон Вебера – Фехнера), или, точнее, как степенная функция (закон Стивенса).
Пигмент находится в элементах рецепторов, называемых дисками для палочек и полудисками для колбочек. В каждом рецепторе таких (полу)дисков около тысячи. Диски и полудиски с обесцветившимся пигментом рассасываются, и в рецепторе возникают новые с восстановленным пигментом. Полная замена дисков и полудисков одного рецептора осуществляется примерно за 10 дней. Интересно, что обновление колбочек происходит после захода солнца, а палочек – на восходе.
Когда рецептор не освещен, он активен и постоянно выделяет нейротрансмиттер глутамат (химическое вещество, в других слоях сетчатки используются и другие нейромедиаторы, например, глицин). А соседний нейрон сетчатки, получающий этот нейротрансмиттер, постоянно выдает импульс за импульсом, которые передаются далее по аксону. После поглощения фотона количество выделяемого вещества уменьшается, то есть, свет фактически выключает рецептор. Плавное изменение освещенности рецептора вызывает постепенное изменение количества выделяемого вещества в рецепторе и, соответственно, частоты импульсов соседнего нейрона.
В отличие от сенсоров цифровых камер свойства разных участков сетчатки неодинаковы. Эта неоднородность заключается в следующем.
Во-первых, рецепторы в сетчатке распределены неравномерно. В центре фовеа палочек нет совсем. По мере удаления от центра фовеа плотность палочек возрастает и достигает максимума (около 150000 на мм2) примерно при угле 25°, а затем снова падает до 40000 на мм2 на периферии. Плотность колбочек максимальна (около 150000 на мм2) в центре фовеа (за исключением S-колбочек, которых тут нет), затем резко падает и при углах, больших 25°, становится меньше 5000 на мм2.
Во-вторых, часть сетчатки, а именно, макула, покрыта желтым фильтром (клетки содержат пигменты лютеин и зеаксантин), что изменяет в этом месте спектральную чувствительность колбочек (фильтр поглощает избыток синего и ультрафиолетового света).
В-третьих, фоторецепторы в центре сетчатки и на ее периферии по-разному соединены с нейронами сетчатки, о чем ниже.
Края сетчатки не дают даже черно-белого зрительного ощущения, а только служат датчиком движения, который вызывает рефлекторный поворот глаз к движущемуся объекту.