Попытка Котельникова представить свои идеи более широкой аудитории не увенчалась успехом. В 1936 году его статью, где содержалась теорема отсчетов, отверг журнал «Электричество». Но в том же году произошло куда более интригующее событие: Котельников посетил США! Я получил некоторую информацию о его визите и нашел копию записи из пассажирского журнала корабля, сделанную после прибытия. Из нее следует, что Котельников получил 60-дневную визу, его поездку оплатило советское правительство, а направлялся он в офис торговой компании «Амторг» в Нью-Йорке[7].

Арманд Хаммер основал «Амторг» в 1924 году для облегчения торговли между СССР и США. Он был обаятельным человеком, сыном основателя Коммунистической партии США Джулиуса Хаммера, давшего ему имя в честь символа Социалистической рабочей партии Америки: arm and hammer — рука и молот. Арманд стал известным бизнесменом (главой компании Occidental Petroleum), филантропом и коллекционером произведений искусства.

Компания «Амторг» не только занималась торговлей, но и содействовала промышленному и военному шпионажу в пользу СССР. Согласно рассекреченному отчету Агентства национальной безопасности (АНБ), в 1931 году Соединенные Штаты прилагали огромные усилия, пытаясь взломать шифр, который использовался при коммуникации между «Амторгом» и Москвой. Намерения США потерпели неудачу, потому что «русские использовали систему одноразовых блокнотов для шифрования».

Это особенно интересная деталь, потому что системы шифрования, основанные на одноразовых, заранее подготовленных общих ключах, не имели достоверных доказательств стойкости еще около десяти лет. Шпионы «Амторга» явно слепо доверяли ей в течение долгого времени. Хотя мы точно не знаем, чем занимался Котельников в США в 1936 году, работа над созданием своих шифров и взломом чужих кажется гораздо более вероятной, чем торговая миссия.

Или, возможно, он собирал данные об использовании шифрования по системе одноразовых блокнотов, потому что именно Котельников впоследствии математически доказал ее надежность. Он представил свое доказательство всего за три дня до вторжения Гитлера в Советский Союз. Возможно, не стоит удивляться, что Шеннон тоже занимался доказательством надежности этой системы; его статья была опубликована с грифом «Секретно» в 1945-м и рассекречена в 1949-м.

Котельников, возможно, занимался этим в своей лаборатории. Она уцелела, потому что военные нуждались в продолжении ее работ по шифрованной радиосвязи. Но поскольку в конце 1941 года немцы быстро продвигались к Москве, лабораторию эвакуировали в Уфу, город, расположенный примерно в 300 милях восточнее Казани, что на 800 миль дальше от западной границы, чем Москва.

Во время Сталинградской битвы русские войска критически зависели от проводной телефонной связи. Она с трудом успевала за движением войск, а из-за диверсий или попаданий снарядов неизбежно выходила из строя, что доставляло армии немало проблем. Лаборатория Котельникова разработала приборы для секретной радиотелефонии, которые позволяли использовать радио, а не проводную связь. К началу 1943 года наладилось производство этой аппаратуры, и она поступила в действующую армию. За столь важную разработку Котельников и его лаборатория получили Сталинскую премию. Позже, в мае 1945 года, разработанное в лаборатории оборудование шифрованной радиосвязи использовалось для организации связи Москвы с советской делегацией при подписании капитуляции Германии. В следующем году Котельников получил еще одну Сталинскую премию.

Когда лаборатория вернулась в Москву из Уфы, ее перевели в распоряжение НКВД. В этот опасный момент Котельникова разыскала Голубцова, новый директор МЭИ, и предложила ему работу в институте. Он воспользовался подвернувшимся шансом. Ее вмешательство спасло его, руководителя сверхсекретного проекта, от тюремной системы НКВД.

Успеху в Советском Союзе сопутствовала опасность. Талантливые ученые и инженеры рисковали угодить в шарашки. Так назывались печально известные секретные научно-исследовательские и опытно-конструкторские тюрьмы системы ГУЛАГа, находившиеся в ведении НКВД. О них нам тоже рассказал Солженицын. Это те самые описанные им «райские острова». Многие ученые и инженеры попали туда, чтобы разработанные ими очередные ракета, самолет или ядерная бомба принадлежали только России-матушке. Заключенных, которых отправляли в ужасные трудовые лагеря, морили голодом и холодом, заставляли работать до изнеможения. «Привилегированные» заключенные, попавшие в шарашки, пребывали в тепле и относительной сытости. Но тем не менее это было тюремное заключение, которое часто длилось десятилетиями. Это были самые удивительные тюрьмы, когда-либо придуманные человеком, — тюрьмы для лучших и умнейших, почти без надежды когда-либо выйти на свободу.

Марфинская шарашка, расположенная в бывшем Александро-Мариинском детском приюте Богоявленского монастыря на севере Москвы (рис. 2.20), предназначалась для работы над секретными средствами связи и системами безопасности. Котельников, вероятно, оказался бы там, если бы его не спасла Голубцова. Некоторые сотрудники его уфимской лаборатории попали туда, пополнив контингент ученых и конструкторов. Там же отбывал наказание и Александр Солженицын. Его роман «В круге первом» повествует о жизни в этой шарашке с 1947 по 1950 год.

«В круге первом» — роман-намек, в котором под вымышленными именами выведены реальные лица. Солженицын представлен в нем двумя персонажами. Впрочем, Сталин изображен самим собой. В книге также фигурируют Берия, ответственный за систему шарашек, и Абакумов, глава Министерства госбезопасности (МГБ) — преемника НКВД и предшественника КГБ. Еще в романе присутствует интригующий персонаж — Владимир Челнов, математик, профессор и академик, имеющий особые отношения с МГБ, — вероятно, его прообразом мог стать Владимир Котельников. Вот две цитаты из книги:[8]

Рис. 2.20

На шарашке Марфино профессор Челнов был единственный зэк, которому разрешалось не надевать комбинезона (по этому вопросу обращались лично к Абакумову).

В Марфино Челнов был прислан для разработки математических оснований абсолютного шифратора, то есть прибора, который своим механическим вращением мог бы обеспечить включение и переключение множества реле, так запутывающих порядок посылки прямоугольных импульсов изуродованной речи, чтобы даже сотни людей, поставив аналогичные приборы, не могли бы расшифровать разговора, идущего по проводам.

Владимир Котельников, математик, профессор и (будущий) академик, имевший особые отношения к МГБ, то есть находящийся под защитой Голубцовой, специализировался на устройствах для шифрования голоса. Он признавал, что в качестве основы для разработки аппаратуры для шифрования голосовой радиосвязи использовал идею вокодера, или кодировщика голоса, прочитав статью Гомера Дадли из Bell Labs, опубликованную в 1939 году.

Следующая цитата из романа вносит немного ясности.[9]

— Какого аппарата искусственной речи! — отмахнулся Прянчиков. — Что за чушь! Его никто так у нас не называет. Это переименовали в борьбе с низкопоклонством. Во-ко-дер. Voice coder.

В 1947 году настоящий Абакумов вызвал Котельникова в МГБ и рассказал ему о создании Специальной лаборатории по разработке «абсолютно строго секретной» радиотелефонной техники. В книге Солженицын пишет, что непосредственным заказчиком секретной телефонии был параноик Сталин и что именно над ней в Марфино работал герой романа — заключенный Солженицын. Абакумов предложил Котельникову престижную должность руководителя Специальной лаборатории и попытался подсластить сделку льготами и привилегиями. Поразительно, но Котельников твердо отклонил предложение, хотя и хорошо понимал, с каким опасным человеком имеет дело.

«Ну что ж, а жаль…» — сказал Абакумов, и встреча закончилась.

Абакумов был опасен, его боялся даже Берия. Смертельно испугавшись его заключительного «Ну что ж», Котельников тотчас отправился к Голубцовой и рассказал ей о случившемся.

«Ну а сами-то вы чего хотите?»

«Работать в МЭИ».

«Тогда продолжайте спокойно работать», — предложила она.

Она снова спасла его.

Чем на самом деле занимался Котельников вместо разработки сталинского секретного телефона — а возможно, и параллельно с ним, — становится понятно из воспоминаний Бориса Чертока, известного советского ракетчика, о встрече, состоявшейся в 1947 году в кабинете директора МЭИ Голубцовой, куда она пригласила его, чтобы он рассказал ей о нуждах Центрального научно-исследовательского института машиностроения (НИИ-88).

«За короткое время результаты этой встречи превзошли наши самые оптимистичные ожидания. Разработкой озвученных мною идей руководил 39-летний профессор Владимир Котельников, — вспоминал он. — Буквально дней через десять после моей встречи с учеными из МЭИ в кабинете Голубцовой вышло постановление правительства за подписью Сталина о создании в МЭИ сектора специальных работ… Через год коллектив, сплотившийся вокруг Котельникова, уже разрабатывал систему „Индикатор-Д“, которую мы использовали при летных испытаниях первых отечественных ракет Р-1 в 1948 году. Начиная с этого времени, все последующие ракеты во время испытательных полетов оснащались радиосистемами, разработанными в МЭИ».

Р-1 была русской версией «Фау-2», ракеты Вернера фон Брауна, которую Германия использовала для обстрелов Лондона.

«В начале 1950-х годов коллектив Котельникова создал знаменитую радиотелеметрическую систему „Трал“… Система „Трал“ была основным инструментом при отработке первой межконтинентальной ракеты Р-7, пилотируемых космических кораблей и при летно-конструкторских испытаниях основных ракет нашего ракетно-ядерного щита».

Р-7 была первой советской межконтинентальной баллистической ракетой (МБР).

Коллектив, «сплотившийся вокруг Котельникова», получил название Особое конструкторское бюро (ОКБ) МЭИ. Он, вероятно, руководил работой, пользуясь преимуществами своего защищенного положения, точно так же как Черток возглавлял отдел в НИИ-88. Так началось участие Котельникова в космической гонке.

Сэр Чарльз Галтон Дарвин, директор Национальной физической лаборатории и внук великого биолога-эволюциониста, сразу после войны инициировал работы по развитию британской электронно-вычислительной техники. Все началось довольно неплохо. Он пригласил на работу Тьюринга. Тот уже в конце 1945 года приступил к созданию архитектуры компьютера, впоследствии получившего имя ACE, и вскоре представил свой план. В его отчете ACE за 1946 год упоминается чуть более ранний отчет фон Неймана EDVAC, в котором представлена конкурирующая архитектура американцев. Но Тьюринг продвинулся дальше. Его отчет содержал не только архитектуру, но и конструкцию — вероятно, это был первый реальный проект электронного компьютера. Тьюринг погрузился в работу по строительству Pilot Ace — прототипа компьютера, основанного на архитектуре ACE. Несомненно, компьютер, разработанный Тьюрингом — человеком, который изобрел саму концепцию компьютера, — должен был стать первым компьютером в мире. Увы, но этого не произошло. Проект Pilot Ace пал жертвой многочисленных проблем[18].

Одной из них стал сам Тьюринг. Во-первых, он продолжал менять архитектуру по мере того, как ему приходили в голову новые блестящие идеи. Во-вторых, он не умел играть в команде. Или, говоря иначе, но более позитивно, он обладал необычайно сильной индивидуальностью. Однако другие проблемы у проекта возникли не по его вине, например бюрократическая некомпетентность и досадное физическое разделение теоретической концепции с практическим воплощением — башни из слоновой кости и зловонной лаборатории. Держать разработчиков аппаратного и программного обеспечения отдельно друг от друга — не лучшая идея. В отличие от своего знаменитого дедушки, Чарльз Галтон Дарвин был не столько ученым, сколько бюрократом, и на нем лежит значительная доля ответственности за возникшую неразбериху.

Проект Pilot Ace превратился в настолько запутанный клубок, что разочарованный и обескураженный Тьюринг покинул проект задолго до завершения. Дарвин писал: «Мы согласны, что было бы лучше, если бы Тьюринг на какое-то время отказался от работы с нами». Первый детский крик Pilot Ace, безнадежно запоздалый, наконец прозвучал 10 мая 1950 года — почти на два года позже появления Baby. Pilot Ace едва успел попасть в десятку первых компьютеров. А полноценный ACE, детище Pilot Ace и главная цель Тьюринга, будет создан только через десять лет после его ухода из проекта.

Однако перед тем как покинуть проект в 1947 году, Тьюринг прочитал знаменитую лекцию об ACE — и в ней он использовал новое слово «программирование». В аудитории находился инженер Том Килбурн, который ненадолго заехал в Лондон по пути в Манчестер, где он собирался присоединиться к Фредди Уильямсу. Тьюринг тоже отправится туда примерно через год. Удачным следствием его безуспешного ухода из проекта ACE оказалось то, что он стал открыт для других компьютерных проектов. В Тьюринге нуждался даже Макс Ньюман, тот самый кембриджский профессор, который своей лекцией о е-Проблеме когда-то вдохновил Тьюринга на идею машинных вычислений, а потом убедил поехать получать степень в Принстон. Так что теперь предложение старого учителя и наставника Тьюринга помочь Манчестерскому проекту в разработке программного обеспечения для Baby Уильямса и Килбурна оказалось счастливым билетом.

Baby родился 21 июня 1948 года в Манчестерском университете. Уильямс и Килбурн спроектировали и построили его с нуля в зловонной лаборатории на факультете электротехники. Они сделали его собственноручно. Килбурн сам написал первую программу для него. Они объявили о рождении Baby — с отцовской гордостью, как мне кажется — в сентябрьском номере престижного научного журнала Nature.

Ньюман, намеревавшийся заманить Тьюринга в проект, пребывал в башне из слоновой кости — он работал на факультете математики Манчестерского университета. После положительного опыта работы с почти-компьютером Colossus в Блетчли-Парке он планировал заполучить полноценный компьютер для Манчестерского университета. Он всерьез порывался пригласить американцев в лице фон Неймана и даже начал с ним переписку, когда обнаружил, что домашняя команда Манчестера, состоящая из Уильямса и Килбурна, уже опередила янки. Он быстро переориентировался и через пропасть, разделяющую башню из слоновой кости и зловонную лабораторию, начал консультироваться с ними по поводу Baby.

Первую программу для Baby написал Килбурн, а не Тьюринг. Тьюринг, готовясь к переезду в Манчестер, для начала попросил прислать ему набор машинных инструкций Baby. Он написал свою первую (глючную) программу для Baby в июле 1948 года, спустя примерно месяц после создания этого компьютера и все еще заочно. Он приехал в Манчестер только через три месяца, в октябре.

Манчестерские инженеры справедливо обиделись, потому что слишком много заслуг в истории Baby приписывают Ньюману и Тьюрингу, особенно если учесть, что Тьюринг появился в проекте слишком поздно. Отчасти это просто обычная история трений между учеными и инженерами, между башней из слоновой кости и зловонной лабораторией, но здесь затрагивается сложная проблема признания в правильной пропорции заслуг всех создателей сложного технического изобретения, значение которого изменило мир.

Впрочем, сами Уильямс и Килбурн утверждали, что Тьюринг и Ньюман непосредственно участвовали в создании Baby. В 1975 году Уильямс вспоминал: «Мы с Томом Килбурном ничего не знали о компьютерах, зато хорошо разбирались в [электронных] схемах. Профессор Ньюман и мистер А. М. Тьюринг много знали о компьютерах и почти ничего не знали об электронике. Они взяли нас за руку и объяснили, как числа могут жить в домиках с адресами и как, когда они там живут, за ними можно следить во время вычислений». Возможно, мы имеем дело с саркастическим проявлением чувства юмора Уильямса, а не с точным историческим изложением событий, но он повторил эту историю неоднократно.

Докторская диссертация Килбурна 1947 года еще больше усложнила историю Baby, поскольку в ее библиографии указаны «неопубликованные работы» Тьюринга и фон Неймана. Наверняка Килбурн имел в виду лекцию Тьюринга об ACE 1947 года и отчет фон Неймана EDVAC 1945 года. Хотя позже Уильямс отдавал должное только Тьюрингу и Ньюману (в шутке, что «числа могут жить в домиках с адресами»), они с Килбурном не использовали архитектуру Тьюринга. Килбурн прямо заявил, прослушав лекцию Тьюринга, что никогда не станет проектировать машину подобным образом. Они использовали для Baby архитектуру фон Неймана. На словах они отдали должное хозяевам поля, на котором играла их команда, но явно заимствовали идеи у команды соперников, у янки.

Baby успешно работал, а затем, так сказать, породил машину второго поколения. Mark I — сокращение от Manchester Mark I — выполнил первую программу без ошибок 18 июня 1949 года. Иногда указываются более ранние даты, но они неверны. Даже если исходить из столь позднего срока, Mark I все равно стал четвертым компьютером в мире. Тьюринг разработал первые спецификации его программного обеспечения[19].

Mark I вскоре породил Ferranti Mark I, дебютировавший 12 февраля 1951 года как первый в мире коммерческий компьютер. В Ferranti — несмотря на свое название, это британская фирма — его поначалу назвали Madam («Madam с непредсказуемыми наклонностями», — остроумно пошутили журналисты The Guardian). На рекламном фото Тьюринг стоит, небрежно опираясь на консоль Madam. Он написал для нее руководство по программированию, как и для ACE.

Тем временем в Кембридже Морис Винсент Уилкс создавал EDSAC, который стал третьим компьютером в мире. Почему Тьюринга не пригласили присоединиться к этому проекту? В конце концов, отправиться в Кембридж было бы естественно, ведь Тьюринг окончил его Королевский колледж. Тьюринг, должно быть, обдумывал такую возможность, потому что посетил Уилкса в мае 1948 года, прежде чем в октябре присоединился к Ньюману в Манчестере.

Скорее всего, здесь сыграла роль их взаимная неприязнь. Тьюринг раздраженно прокомментировал свой визит к Уилксу: «Я не мог слушать, что он говорит». Ранее он критиковал предложение Уилкса, полагая, что оно «больше соответствует американской традиции решать проблемы с помощью увеличения количества оборудования, а не изобретательностью мысли». (Влияния этого расхожего стереотипа не избежал даже Тьюринг.)

Уилкс, в свою очередь, писал: «Я воспринимал Тьюринга излишне самоуверенным и считал, что его идеи сильно расходятся с тем, каким будет основное направление развития компьютеров».

Оба оказались по-своему правы. В итоге Уилкс стал черпать вдохновение непосредственно у фон Неймана из команды янки, а Тьюринг, как обычно, предпочел идти своим собственным путем, разрабатывая архитектуру (для ACE), которой заинтересовались лишь немногие.

EDSAC появился на свет 6 мая 1949 года, почти через год после Baby и незадолго до Mark I. Уилкс специально выбрал имя, похожее на EDVAC, концепцию фон Неймана, поэтому EDSAC ворвался на поле битвы, беззастенчиво размахивая звездно-полосатым.

В 1999 году я присутствовал на праздновании 50-летия компьютера в Кембридже. Оно посвящалось именно EDSAC как первому в мире компьютеру. В аудитории присутствовал мой старый знакомый из исследовательского центра Xerox в Пало-Альто Уильям Ньюман, сын Макса Ньюмана. Они с отцом жили в Манчестере, когда создавался Baby. Юный Уильям даже играл в настольные игры с Аланом Тьюрингом, когда тот работал в Манчестере. Уильям повернулся ко мне, когда Уилкс со сцены заявлял о приоритете EDSAC, и сказал в сдержанной британской манере: «У нас сохранились несколько иные воспоминания об этом».

В Америке фон Нейман (и его команда) создали отчет EDVAC и разработали на его основе настоящий компьютер. На самом деле компьютер EDVAC реально заработал намного позже, но это не важно. Архитектура фон Неймана, положенная в его основу, оказалась очень влиятельной идеей. А важный отчет EDVAC 1945 года сделал ее концепцию широко известной. Даже сегодня архитектура фон Неймана используется во многих компьютерах. Как ни удивительно, ее использовали даже британцы в компьютерах Baby и EDSAC. Таким образом, будет справедливо сказать, что сама идея машинных вычислений и компьютера с хранимой программой принадлежит Тьюрингу, но в действительности созданный компьютер — как самая эффективная машина в мире — восходит к идее фон Неймана, но с оговоркой, что Тьюринг и фон Нейман хорошо знали работы друг друга и явно отдавали друг другу должное.

Многочисленное потомство EDVAC, насчитывающее как минимум 16 компьютеров (6 из них показаны на блок-схеме), разрабатывалось во множестве мест одновременно. Напрямую от него произошел MANIAC, разработанный в Принституте командой, в которой фон Нейман руководил созданием программного обеспечения. MANIAC породил IBM 701, первый коммерческий компьютер Голубого Гиганта, положивший начало господству этой гигантской корпорации в сфере компьютеров.

Словно сочтя название MANIAC недостаточно забавным, EDVAC также породил Johnniac, получивший имя, конечно же, в честь Джонни фон Неймана. Такой шутливый подход к выбору названий для компьютеров подарил нам EMERAC из фильма «Кабинетный гарнитур» 1957 года, где компьютер, ласково прозванный Эмми, соперничал с Кэтрин Хепбёрн за внимание Спенсера Трейси и отбирал у нее работу. Им же вдохновлено имя Брейниака — суперзлодея и соперника Супермена из комиксов издательства DC. Хотя AC в ранних аббревиатурах обычно обозначало «автоматический компьютер», у MANIAC оно расшифровывается как «и компьютер» (and computer), а у EDSAC — «автоматический калькулятор» (у выдуманного компьютера EMERAC это сокращение означает «арифметический калькулятор» и полностью упускает смысл).

Шутки в названиях снова отсылают нас к противостоянию между башнями из слоновой кости и зловонными лабораториями в Принституте, который получил свое несколько обидное прозвище, чтобы избежать путаницы между Институтом перспективных исследований в Принстоне и Принстонским университетом. Никто из обитателей башни из слоновой кости — а именно они составляли основной контингент Института перспективных исследований — не осмелился бы произнести смешное имя MANIAC. Эти пуристы называли его «машина Принстонского института перспективных исследований» или «машина IAS» — формальным, но легко вылетающим из памяти названием. Они смирились с присутствием на своей священной территории инженеров, орудующих вонючими паяльниками, но не с ребяческими шутками (несомненно, их перекосило бы даже от слова «Принститут»). Только благодаря фон Нейману в Принституте витали запахи расплавленного припоя, канифоли и ацетона. Точнее, так было до тех пор, пока он продолжал там работать. Сразу же после его смерти в 1957 году — всего через три года после таинственной гибели Тьюринга — инженеров оттуда изгнали, а вместе с ними Принститут лишился и потенциальной возможности стать центром научной информатики.

Фон Нейман заметил, что на основе теоретических разработок EDVAC почти-компьютер ENIAC можно превратить в настоящий, модифицировав его аппаратное обеспечение. Когда все было сделано, Герман Голдстайн, руководивший проектом коллега фон Неймана, записал, что программируемая версия ENIAC (в этой книге я называю ее ENIAC+), начала полноценную работу 16 сентября 1948 года на Абердинском испытательном полигоне в Мэриленде. Адель, жена Голдстайна, помогала его программировать. ENIAC+ в своей крошечной памяти хранил всего несколько десятков инструкций, поэтому был таким же малышом, как Baby, но его уже можно назвать компьютером.

Упомянутая Голдстайном дата делает ENIAC+ вторым компьютером в мире. Однако новые данные убедительно свидетельствуют, что гонка с Baby проходила гораздо более напряженно. ENIAC+ родился где-то между 6 апреля и 12 июля 1948 года — в зависимости от того, сколько инструкций реализовывалось в каждый момент времени. Иначе говоря, он преследовал движущуюся цель, хотя чем ближе к концу интервала, когда дальнейшие улучшения прекратились, тем дата выглядит убедительнее. Исходя из самой осторожной версии, мы получаем альтернативную дату рождения ENIAC+ — 12 июля 1948 года, меньше чем через месяц после рождения Baby.

Но в письме Джону фон Нейману от 12 мая 1948 года Станислав Улам пишет: «Я слышал от Ника [Метрополиса] по телефону, что чудо Eniac действительно случилось и что он произвел 25 000 карт (теперь уже намного больше?). Это и в самом деле замечательное известие, особенно если Ник утверждает, что они (карты) кажутся вполне достоверными». Впечатляющее свидетельство. В нем один из создателей водородной бомбы заявляет другому, что ENIAC+ успешно выдал результат вычислений сложной программы по моделированию водородной бомбы до 12 мая 1948 года, то есть более чем за месяц до 21 июня — даты рождения Baby. Вне зависимости от того, по каким критериям мы судим эту гонку, ENIAC+ — это значительное достижение, ранее не получавшее достаточного признания.

Если посмотреть на соревнование британцев и янки с олимпийской точки зрения, сравнив количество медалей в общем зачете, то к концу 1948 года счет стал 1:1 (Baby — ENIAC+). К середине 1949 года вперед вырвались британцы — 3:1 (EDSAC — Mark I). Но затем янки заработали очки своими важными (но уже не столь не значительными) машинами: Гарри Хаски, инженер, работавший на обе команды, построил Zephyr в Национальном бюро стандартов (NBS) в Лос-Анджелесе. Этот очередной потомок EDVAC (впоследствии переименованный в SWAC) заработал в августе 1950 года. Затем в апреле 1951 года в Массачусетском технологическом институте (MIT) запустили Whirlwind Джея Форрестера, еще одно порождение EDVAC. Возможно, его тестовая версия появилась раньше, в августе 1949 года, и его название Whirlwind— («Вихрь минус») задумывалось в духе ENIAC+. Американцы снова увеличили счет в 1952 году благодаря маниакальной самоотверженности команды фон Неймана в Принституте с их MANIAC, а в 1953 году — с IBM 701. Янки вырвались вперед и теперь могли не оглядываться. Остальной мир тоже включился в соревнование. К 1953 году примерно в дюжине стран было реализовано 150 компьютерных проектов.

Итак, компьютер родился. По большому счету он еще не отличался высокой скоростью. Потребуется экспоненциальный «галоп» закона Мура, чтобы действительно совершить прорыв в Эпоху 2. Но все, что требовалось для полноценного Цифрового Света, наконец-то появилось: волны Фурье, отсчеты Котельникова и компьютерные вычисления Тьюринга.

Британцы соперничали с американцами не только в гонке за первенство в создании компьютера. Они еще конкурировали в разработке самой быстрой памяти. К счастью для Цифрового Света, обе команды искали решения в области видимых единиц памяти на вакуумных приборах. Обе команды будут хранить биты в виде отображаемых точек разного размера на двумерной сетке. Следовательно, каждое местоположение представляло собой как однобитовый отображенный пиксель, так и однобитовую ячейку памяти. Британцы выиграли сет, а затем и матч, адаптировав обычную электронно-лучевую трубку — трубку Уильямса. Янки сразу же внедрили у себя и это решение.

Компьютер-карточка или любая универсальная машина Тьюринга использует в качестве памяти бесконечную ленту. Бесконечная лента может хранить бесконечное количество паттернов — здесь имеется в виду бесконечность счетного или цифрового типа. Это нормально для идеальной машины, но настоящему компьютеру нужна физическая, то есть конечная память. Но пусть слово «конечная» не вводит вас в заблуждение. Даже первый компьютер запоминал огромное количество паттернов.

Фактическое число настолько велико, что просто бессмысленно. Забавное число гугол — единица с сотней нулей — сильно занижает количество состояний, которые были даже у маленького Baby. Компания Google названа в честь этого числа, но основатели написали его с ошибкой. Еще более забавное число гуголплекс — единица с гуголом нулей — существенно преувеличивает количество комбинаций даже в самом мощном современном компьютере. Диапазон между гуголом и гуголплексом дает нам представление о количестве возможных комбинаций паттернов в компьютере. С другой стороны, тщательно поразмыслив, вы осознаете, что безумно большое число находится где-то между двумя другими безумно большими числами. Важнее всего, что компьютер позволяет нам, жалким людишкам, иметь дело с величинами такого огромного размера, не думая и даже не зная о них, и так было с самого начала.

Инженерам обеих команд, стоявшим у истоков, пришлось выбрать практичное запоминающее устройство для сохранения всех этих многочисленных состояний. В обоих случаях они остановились на некоем варианте электронной лампы, в основном из-за скорости. Британцы, одержавшие победу в этой игре, выбрали для работы электронно-лучевую трубку. До Великой цифровой конвергенции такие трубки были очень распространены. Но моя книга посвящена Великой цифровой конвергенции, одним из последствий которой стала смерть аналогового телевидения. Ранее без электронно-лучевой трубки, похожей на гигантскую стеклянную бутылку, не обходился ни один телевизор — непременный атрибут каждого дома. Ее широкое и плоское «дно» — это экран. В те далекие времена ее называли кинескопом или — ласково — просто трубкой.

Затем инженеры придумали способ «перемещения» битов по трубке, цифровое использование аналогового устройства. Общеизвестно, что электрический ток — это поток электронов, а металлическая проволока — хороший проводник для него. В каждом доме протянута сеть медных проводов, направляющих электрический ток к розеткам. Менее известно, что электрический ток способен течь и через вакуум — через ничто.

Нечто подобное и происходит в электронно-лучевой трубке. Электронная «пушка» — нагретая проволока — испускает электроны, как бы «выстреливает» ими из тонкого конца трубки в дальний широкий и плоский конец. При попадании воздуха в трубку электроны столкнутся с его молекулами, изменят направление и потеряют энергию. Чтобы этого не избежать, весь воздух из трубки выкачивается, из-за чего она становится… правильно! Вакуумной! Высокое напряжение разгоняет электроны, летящие с одного конца трубки к другому. Мы называем нагретый кусок проволоки катодом, поток электронов, выпущенных из пушки, — катодным лучом, а все устройство в целом — электронно-лучевой трубкой (ЭЛТ).

Но мы не видим сами электроны. В ЭЛТ должно быть еще что-то, преобразующее электроны в фотоны, в видимый свет. Это покрытие на плоском конце трубки, которое фосфоресцирует — излучает свет — при попадании на него электронов. Покрытие из так называемых люминофоров поглощает энергию электронов и испускает фотоны. Люминофор светится, когда в него попадает луч из электронной пушки. Чем выше энергия катодного луча, тем больше испускается фотонов и тем ярче свечение. Свечение наиболее яркое в центре луча, а по мере удаления от центра плавно затухает. Оно имеет необходимую форму, чтобы представлять собой вполне приличный «разбрасыватель» пикселей.

Причина, по которой ЭЛТ работает как запоминающее устройство, заключается в том, что свечение сохраняется на короткий промежуток времени после того, как катодный луч перестает посылать электроны. В течение этого интервала (допустим, одной пятой секунды) бит, представленный свечением, «запоминается». Его можно использовать до тех пор, пока он не потухнет. Таким образом, методично перерисовывая — освежая — пятно до того, как оно исчезнет (скажем, пять раз в секунду), мы автоматически делаем так, чтобы память хранилась столько, сколько мы пожелаем. Мы, люди, видим только, что точка отображается на экране и остается там. Иногда я говорю, что пятно пишется или рисуется на экране, но и то и другое означает одно и то же: оно отображается на нем.

Но светящееся пятно только в центре экрана — это скучно. Чего нам пока не хватает, так это способа рисования светового пятна в любом месте на экране ЭЛТ. Нам нужно «согнуть» катодный луч так, чтобы электроны попадали на экран в любом месте, где мы хотим получить свечение, а не только в центре. Для Цифрового Света нам нужна возможность рисовать массив отображенных пикселей.

К счастью, важное свойство движущегося электрона — искривление его траектории при прохождении через магнитное поле. Точно так же, как световой луч преломляется, проходя через стеклянную линзу, катодный луч искривляется, проходя между полюсами магнита. Электромагниты, установленные рядом с электронной пушкой в электронно-лучевой трубке, делают свое дело. Один магнит управляет отклонением луча влево-вправо, а другой — вверх-вниз. Комбинации напряжения, поданные на два электромагнита, способны отклонить катодный луч в любом желаемом направлении и сделать это быстро. Вместо магнитных полей часто используются электрические, но их связывает одна и та же идея.

С помощью электрического или магнитного механизма наведения можно водить катодным лучом по светящейся поверхности экрана трубки и нарисовать им красивый правильный узор. Электронно-лучевая трубка, использованная в таком режиме каракулей (пишем где угодно и в любом направлении), — это векторный или каллиграфический (от греческого «красивый почерк»), дисплей. Катодный луч рисует S (рис. 4.8, слева) точно так же, как вы пишете на бумаге. Интенсивность луча сохраняется постоянно высокой. Правую букву S (рис. 4.8, справа) он рисует также каллиграфически, располагая импульсы-точки вдоль кривой, но не в регулярно расположенных узлах сетки. Пятна в этом случае не являются отображенными пикселями. Это просто пятна, и они могут иметь различную форму и располагаться на меняющемся расстоянии. Теорема выборки ничего о них не говорит. Именно поэтому векторные дисплеи, несмотря на все изящество их каллиграфии, не дожили до нового тысячелетия.

Другой вид отображения работает следующим образом: катодный луч методично сканирует прямоугольный участок — ряд за рядом слева направо, сверху вниз, как будто обрабатывая поле. Это называется растровым дисплеем, от латинского raster — «грабли». На рисунке 4.9 луч рисует букву S слева в растровом порядке, но плавно зажигаясь и угасая вдоль каждой строки. Старое аналоговое телевидение использовало именно такой метод. Тут опять же нет никаких пикселей, поэтому он тоже не дожил до нового тысячелетия. Зато более успешной оказалась его модификация, в которой луч рисует только в определенных точках — узлах воображаемой сетки вдоль каждой растровой строки. Луч справа на рисунке 4.9 создает букву S из пятен одинаковой формы и с фиксированными положениями на сетке. На самом деле это разбросанные пиксели, как того требует теорема выборки.

Даже во времена раннего Цифрового Света существовали значительные различия между вектором и растром. По иллюстрациям легко понять почему. Векторная картинка соблазнительно изящна. Но, несмотря на ее красоту, она не очень перспективна и ориентирована на будущее. Великая конвергенция всех типов мультимедиа в единую цифровую среду также привела к конвергенции всех типов отображения в такие, которые основаны на пикселях — растровом массиве или сетке. Из рисунка 4.9 (справа) совсем не очевидно, что это должно было сработать, но текст, который вы читаете, подтверждает, что оно прекрасно сработало. Благодаря теореме отсчетов растровые дисплеи с отображенными пикселями смогли воссоздать такую же красоту, как и векторные дисплеи с непрерывными каллиграфическими штрихами.

Рис. 4.8

Рис. 4.9

Не стоит забывать, что все современные дисплеи по своей сути аналоговые. Мы видим плавное и непрерывное изображение, хотя оно управляется абстрактными цифровыми пикселями. Акт отображения позволяет воспринимать отдельные пиксели как непрерывное поле света и цвета. Как мы уже видели в главе 2, когда речь шла о выборках, «разбрасывание» пикселей в момент отображения восстанавливает исходную визуальную сцену.

Современный цифровой мир принял допущение, что нам всегда будет доступен растровый дисплей, чтобы сделать наши пиксели видимыми. Нам, пользователям, никогда не придется разбираться в запутанных подробностях устройств отображения. Мы обращаем внимание на эти детали только потому, что первые дисплеи были и первыми устройствами машинной памяти.

Британцы выиграли соревнование по разработке быстродействующей памяти за счет трубки Уильямса или Уильямса — Килбурна. Но, строго говоря, Уильямс и Килбурн не изобретали новый тип вакуумной трубки. Они изобрели метод использования стандартной ЭЛТ для хранения данных. Их компьютерная память представляла собой ЭЛТ, в которой для хранения битов использовалась технология Уильямса-Килбурна. Она хранила биты в виде маленьких (0) или больших (1) пятен, нарисованных на широком плоском конце трубки катодным лучом и отображенных на ее лицевой стороне (их делали видимыми при помощи нанесения светящегося люминофора). Луч сканировал экран трубки построчно слева направо и сверху вниз. Биты располагались через равные промежутки вдоль каждой строки растра — как семена на вспаханном поле.

Янки тоже не бездействовали. Сначала, не подозревая о разработках Уильямса и Килбурна, команда фон Неймана подвигла своих спонсоров, Radio Corporation of America (RCA), всерьез взяться за разработки памяти на электронных лампах. Изначально надежды возлагались на Selectron, специализированную радиолампу, которую должно было спроектировать и изготовить новое подразделение Лаборатории электронных исследований. Лабораторию возглавлял Владимир Зворыкин, а главным конструктором он назначил инженера Яна Райхмана. Мы уже встречались со Зворыкиным в третьей главе. Он присутствовал на судьбоносном совещании с фон Нейманом, где впервые прозвучало слово «программирование». Кстати, встреча состоялась в офисе Зворыкина в RCA. Райхман тоже там присутствовал. Зворыкина уже хорошо знали в Америке, поскольку он сыграл важную роль в изобретении телевидения в 1920-х и 1930-х годах.

Группа Зворыкина разрабатывала Selectron для хранения битов в виде точек, которые светятся (1) или не светятся (0). Эти светящиеся (и несветящиеся) точки можно было увидеть — как небольшой прямоугольный растровый массив — через прозрачное стекло лампы. Увы, Selectron оказался намного сложнее, чем обычная электронно-лучевая трубка. Его разработка заняла слишком много времени, фатально много.

Лишь по случайному, но приятному стечению обстоятельств разработчики первых компьютеров по обе стороны Атлантики использовали память с визуально отображаемыми элементами. Все могло бы сложиться иначе. Биту не обязательно быть видимым, чтобы работать как ячейка памяти, — именно таковы большинство современных битов. Примечательно, что Pilot Ace Тьюринга использовал память «на невидимых носителях», ртутную линию задержки, в которой единица представляла собой акустический импульс, как в звуковой волне, — он относительно медленно перемещался по трубке, заполненной ртутью. «Запоминание» происходило лишь на время движения. В линии задержки 0 выражался отсутствием импульса. Последовательность импульсов, прошедшая через линию задержки, рециркулировалась, то есть то, что выходило на приемном конце, автоматически возвращалось в передающий, благодаря чему последовательность битов в линии сохранялась сколько необходимо. Биты в огромных массивах памяти современных компьютеров также невидимы. Они спрятаны глубоко внутри кремниевых микросхем. Тот факт, что в первые дни существования компьютеров биты иногда были видимыми и располагались в виде прямоугольных матриц, дало возможность Цифровому Свету загореться в самом начале компьютерной эры.

Трубка Уильямса оказалась настолько важным и своевременным изобретением, что обе команды сразу же взяли ее на вооружение. Через месяц после запуска Baby американец Джулиан Бигелоу, главный инженер аппаратной части MANIAC, заехал к Максу Ньюману в Манчестер и увидел трубку Уильямса в действии. Команда фон Неймана все еще ждала Selectron Зворыкина, но как только Бигелоу понял, насколько просто на самом деле хранить и считывать информацию с электронно-лучевой трубки, было решено воспользоваться ею. Основная память MANIAC состояла из 40 таких устройств. Так что у янки почти все потомки EDVAC первого поколения использовали память на трубках Уильямса, в том числе и IBM 701, первый компьютер в династии ЭВМ Голубого Гиганта.

Американская компания IBM, уверенный лидер рынка в сфере электромеханических и электронных «табуляторов» — огромных арифмометров на перфокартах, только начинала свой путь в мире компьютеров (фон Нейман сотрудничал с ней в качестве консультанта). Пост президента компании занимал известный бизнесмен Томас Дж. Уотсон (его биография сама по себе может стать увлекательной книгой). Именно он придумал знаменитый слоган «ДУМАЙ». Узнав, что в гонке за памятью победила трубка Уильямса, и беспокоясь о конкуренции со стороны Baby и его потомка Mark I, компания пригласила Уильямса в свою штаб-квартиру в Нью-Йорке в июле 1949 года. Конечно же, его спросили, как так получилось, что команде из «двух мужчин и собаки» удалось построить в Манчестере машину более совершенную, чем все наработки могучей компании IBM. Уильямс ответил в своей непроницаемо серьезной манере (представьте себе саркастический огонек в его глазах): «Ну, у нас была идея, как хранить данные, а потом мы просто начали строить компьютер, пока не построили, не останавливаясь, чтобы слишком много ДУМАТЬ». Собравшиеся сотрудники IBM сначала растерялись, а потом, поскольку Уотсон на встрече не присутствовал, весело рассмеялись.

Рассказывая эту историю, Уильямс не лукавил. Компьютеры действительно довольно просты, особенно маленький компьютер по имени Baby. И довольно простая по конструкции трубка Уильямса, сделанная из того, что было под руками, опередила сложный и более продвинутый Selectron. В этом случае британцы действительно превзошли мозгами то, что янки пытались решить деньгами.

На самом деле дисплей на компьютере, который использовал память на основе трубки Уильямса, — это не трубка Уильямса. На настоящей трубке Уильямса биты не видны или практически не видны. То, что мы видели на экранах первых компьютеров, — это электрические заряды, созданные с помощью электронной пушки. Они видимы только из-за свечения люминофора. Но для работы трубки Уильямса необходимо, чтобы экран закрывала так называемая коллекторная пластина. Коллекторная пластина замыкает электрическую цепь, так что заряд — тот, который заставляет светиться люминофоры, — может быть обнаружен электронной схемой и использован на следующем шаге вычислений. Мы говорим, что при помощи схемы считывается наличие и величина невидимого заряда. Схема считывает заряд, но не видит свечение люминофора. Мы, люди, видим свечение люминофора, но не считываем соответствующий заряд.

Коллекторная пластина на основной трубке памяти Baby была сделана из «металлической марли» — тонкой проволочной сетки. В принципе, сквозь нее действительно получалось увидеть биты — конечно, не очень отчетливо. На самом деле это не имеет значения, потому что драгоценная трубка Уильямса помещалась в металлический кожух для защиты от случайных электрических разрядов (скажем, от проезжающего мимо трамвая), способных повредить ее или исказить биты. Инженеры считали невидимый электрический заряд на коллекторной пластине более важным, чем светящийся люминофор на экране.

Поэтому биты, хранившиеся на трубке Уильямса, демонстрировались на другой электронно-лучевой трубке. Ничего сложного. Каждый раз, когда считывалась строка трубки Уильямса (скажем, пять раз в секунду), она напрямую копировалась в соответствующую строку трубки дисплея. Трубка дисплея представляла собой не память, а точную видимую копию скрытого светящегося экрана памяти. Поскольку этот экран предназначался только для демонстрации содержимого памяти, а не для вычислений, его не требовалось защищать от проезжающих мимо трамваев. Мы тоже используем такой дисплей для наблюдения или мониторинга памяти и называем его монитором.

Строго говоря, первые биты уже были первыми «разбросанными» пикселями, но инженеры спрятали их под защитным кожухом. Отображенные пиксели уже находились на своем месте, но оставались невидимыми — тут как в философской загадке о том, раздается ли звук, если деревья падают в лесу, где никого нет. Человек мог их увидеть, только если они отображались на мониторе для людей.[20]

EDSAC Уилкса в Кембридже был важным исключением из тенденции повсеместно использовать победившую в гонке памяти трубку Уильямса. Уилкс отказался от видимой — пусть даже только потенциально — памяти. Как и в Pilot Ace Тьюринга, в его машине применялись ртутные линии задержки.

Но инженеры, разработавшие EDSAC, тоже хотели видеть, что находится в ртутных линиях задержки, поэтому они тоже снабдили свою машину монитором. Электронная схема преобразовывала последовательность импульсов, проходящих через линию задержки, в набор пятен, отображавшийся на экране электронно-лучевой трубки. Электронная схема получала цепочку импульсов из линии задержки и превращала их в горизонтальные ряды матрицы — делала из одной длинной последовательности (512 бит) аккуратные прямоугольники из более коротких рядов (по 32 бита в каждом). Затем они просто воспроизводились на экране обычной электронно-лучевой трубки растровым массивом. Благодаря такому монитору EDSAC из британского Кембриджа тоже включился в гонку за первенством в Цифровом Свете. Обратите внимание, что с тем же успехом основой для монитора мог стать один длинный ряд лампочек, а не двумерный. Лишь по удачному стечению обстоятельств технология мониторов привела к растровому отображению.

Еще одним заметным исключением стал Whirlwind из Массачусетского технологического института в американском Кембридже. Команда Джея Форрестера решила переработать идею Уильямса, поскольку Whirlwind предъявлял более высокие требования к пропускной способности памяти. Началась разработка конкурирующей конструкции, хотя хранить биты предполагалось также на электронно-лучевой трубке. Однако, очевидно, использовать ее как дисплей для изображений не предполагалось.

Поскольку на совершенствование «электростатической памяти», основанной на идее Уильямса, требовалось много времени, Форрестер и его команда сначала использовали в качестве запоминающего устройства Whirlwind то, что они назвали «тестовым хранилищем». Большая его часть состояла из обычных электрических тумблеров! Люди «записывали» в память машины данные и команды при помощи комбинаций из включенных и выключенных тумблеров. Whirlwind считывал эти комбинации, но, естественно, не записывал — если говорить на компьютерном жаргоне, он обладал памятью только для чтения. Команда Форрестера разработала специальный монитор для отображения содержимого тестового хранилища.

Хотя тестовую конфигурацию Whirlwind не называли полноценным компьютером, а процедура его программирования оказалась крайне трудоемка, его впервые успешно использовали 19 августа 1949 года. Назовем тестовую конфигурацию Whirlwind— (Whirlwind-минус), потому что сам Whirlwind без минуса разрабатывался как компьютер с полной хранимой программой. Обычно промежуточные тестовые запуски вычислительных машин не рассматривают отдельно, но эта тестовая конфигурация очень важна для истории Цифрового Света.

В процессе моих изысканий я обнаружил настоящее сокровище — фотоархив разработчиков Whirlwind. Он хранился не в Массачусетском технологическом институте, где я рассчитывал его обнаружить, а в управляющей самыми секретными научно-технологическими лабораториями американского правительства корпорации MITRE в соседнем Бедфорде. Криста Ферранте, архивариус корпорации, пригласила меня в хранилище 11 октября 2016 года. В процессе работы над этой книгой редко выдавались более захватывающие и полезные дни. Архивариус подготовила для меня целую тележку с коробками, полными тщательно каталогизированных фотографий. Их было очень-очень много. Даже первые пользователи Whirlwind без зазрения совести создавали картинки. Криста и я в течение нескольких часов с удовольствием рассматривали фотографии, и мне удалось найти среди них кое-что впечатляющее.

На рисунке 4.10 вы видите, вероятно, первое цифровое изображение из проекта Whirlwind. Оно создано в июне 1949 года, вероятно, при помощи памяти с ручным набором, так как даже Whirlwind— еще не предполагал возможности полноценного программирования. Инициалы на рисунке означают Whirlwind I, полное официальное название будущего компьютера, работа над которым официально завершилась в апреле 1951 года.

Рис. 4.10

Чтобы определить, какая ячейка памяти соответствует точке на дисплее, инженер Массачусетского технологического института Боб Эверетт изобрел «световой пистолет», который взаимодействовал с дисплеем, выключая определенные точки. Что как раз и происходит на рисунке 4.11 — съемка датирована апрелем 1952 года. Для американцев это были самые ранние опыты взаимодействия с цифровым изображением, но, как мы вскоре увидим, британцы их опередили.

В сентябре 1949 года к Whirlwind— добавили «специальный дисплей». Его тоже сделали на основе электронно-лучевой трубки. Осциллоскоп, как они его называли (позаимствовав название у контрольно-измерительного инструмента инженеров-электронщиков), мог нарисовать точку в любом месте своего двумерного экрана, не соблюдая ограничения растровой сетки. Он отображал световые пятна, но Whirlwind не считывал их, они не были частью его памяти. Не были они и изображением битов его памяти. Осциллоскоп — не монитор, как в случае с Baby или EDSAC. Это устройство стало первым в истории компьютеров, предназначавшимся только для отображения графической информации. Любое изображение на графическом устройстве отображения — это преднамеренно созданная двумерная картинка.

Рис. 4.11

Это очень важное событие в истории Цифрового Света. Устройство позволяло создавать изображение из невидимого описания или модели, которая хранилась в памяти компьютера. Это то, что мы подразумеваем под компьютерной графикой.

Программисты Whirlwind во главе с Чарли Адамсом начали создавать изображения в конце 1949 года, сперва — при помощи программ, хранившихся в тестовой памяти на основе тумблеров. Рисунок 4.12, изображающий параболу и кривую четвертой степени с осями, сделан 18 мая 1950 года и представляет собой типичное раннее изображение, созданное на Whirlwind. Модель для каждого из этих изображений хранилась в памяти в виде математического уравнения.

Большинство изображений, созданных Whirlwind, двумерны. Но на рисунке 4.13 показаны два снимка экрана, сделанные 6 марта 1950 года, — на них, вероятно, впервые изображены трехмерные поверхности. Они дают некоторое представление о будущих реалистичных компьютерных изображениях, хотя стоит отметить, что здесь не учитывается линейная перспектива. До этого фундаментального шага в компьютерной графике оставалось более десяти лет, и он ожидал своего Брунеллески.

Осциллограф — это векторное устройство отображения. Он, перемещая электронный луч в любом направлении, рисовал пятно в произвольной точке экрана и с произвольным интервалом, а не только в регулярно расположенных точках сетки вдоль горизонтальных линий. Такое описание — еще один способ напомнить, что эти пятна не были ни битами, ни отображенными пикселями. Так началось разделение Цифрового Света на вектор и растр. Основное направление компьютерной графики — главное подразделение Цифрового Света — расцвело на этой каллиграфической ветви спустя примерно десятилетие. Оно включится в растровую ветвь к началу нового тысячелетия во время Великой цифровой конвергенции.

Гарри Хаски создавал цифровое изображение, показанное на рисунке 4.14, именно как картинку. Это фотография с монитора еще одного, но уже американского компьютера с памятью, основанной на трубках Уильямса. Хаски нелегко отнести к янки или британцам, потому что сначала он работал в команде ENIAC в Америке, а затем участвовал в проекте Pilot Ace Тьюринга в Англии. Вернувшись в США, он создал для Национального бюро стандартов машину, которую вначале назвал Zephyr — эта фотография как раз ее рекламирует — по образцу EDVAC фон Неймана. Я познакомился с доктором Хаски в 2013 году, когда ему присудили премию Fellow Awards Музея компьютерной истории в Маунтин-Вью, штат Калифорния. Ему было 97 лет. Он рассказал, что работал над этим изображением в конце 1948 года — и вручную заносил биты в память трубки Уильямса, используя ту же технику, что и Килбурн. Это третье цифровое изображение сделано в начале разработки Zephyr. Компьютер позже переименовали в SWAC и запустили в работу в августе 1950 года.

Рис. 4.12

Рис. 4.13

Хотя к 1948 году лампы Selectron еще не были готовы, чтобы служить устройствами памяти в MANIAC фон Неймана, они все равно включились в забег раннего Цифрового Света, потому что кто-то вручную создал изображение (рис. 4.15) на лампе Selectron. На ней горела аббревиатура RCA Laboratories, где Зворыкин и Райхман разрабатывали Selectron. Поскольку Райхман сыграл наиболее важную роль, возможно, именно он создал эту картинку.

Джон Преспер Эккерт, участник команды ENIAC и EDVAC, — еще один американец, попытавшийся создать память на базе электронно-лучевой трубки в 1946 году. У него и его коллег получилось записывать биты на экране ЭЛТ, но не удалось сохранять их достаточно долго, чтобы устройство смогло использоваться как надежная память. Усилия Эккерта стали еще одним сетом в матче янки против британцев за первенство в разработке компьютерной памяти, и американцы снова проиграли.

Хотя команде Эккерта не удалось создать свою конструкцию запоминающего устройства, она изготовила работающий прототип, как только узнала о результатах наработок Уильямса и Килбурна. Герман Лукофф, инженер из группы Эккерта, проводя тесты на надежность хранения, вручную вводил в память свои инициалы H. L. Эту картинку Лукофф сделал где-то между декабрем 1948 и мартом 1949 года, но у нас нет ее фотографии. Эта память, однако, никогда не использовалась в компьютере.

Руководство по программированию Ferranti Mark I от марта 1951 года, написанное Тьюрингом, содержит фотографию, показанную слева на рисунке 4.16. Килбурн представил его на компьютерной конференции в декабре того же года. Справа на рисунке показана, возможно, цифровая картинка, созданная под управлением программы, но она грубая и неубедительная. С левой стороны вы видите случайный набор точек, показывающий состояние битов памяти. Он не имеет двумерной когерентности и определенно не относится к цифровым изображениям.

Участникам конференции также продемонстрировали векторное изображение, созданное на компьютере Whirlwind. Оно показано справа на рис. 4.16. Его определенно сгенерировала программа. Это были единственные цифровые изображения в материалах конференции. По сути, произошло публичное объявление о расколе между векторной каллиграфией и растром. По крайней мере, изображение, сгенерированное на Whirlwind, считается примером компьютерной графики, потому что для управления его отображением на дисплее (не важно, векторном или растровом) компьютер с программой, хранимой в памяти, использовал внутреннюю модель. В данном случае — математическое уравнение многочлена седьмого порядка, лаконичное, абстрактное и невидимое. Фотография свидетельствует, что команда Whirlwind в начале 1950-х годов приступила к созданию компьютерной графики.

Рис. 4.14

Композиция из двух изображений на рисунке 4.17, а также подпись к ней взяты из рекламной брошюры Ferranti Mark I, выпущенной в декабре 1952 года. Из подписи понятно, что уже на этом этапе производители осознавали коммерческий потенциал компьютерных изображений. Картинки наконец признали серьезным делом. Мне известно, что картинку с галочками сгенерировала программа, мне рассказал об этом Дай Эдвардс, член исходной команды манчестерского компьютера. Вероятно, его запрограммировал Дитрих Принц, еврей, бежавший из Берлина в Британию в 1938 году.

Рис. 4.15

Игры сопровождают компьютер с момента его появления. В общих чертах, с момента рождения его сопровождает интерактивность. Поразительно, что уже на заре Цифрового Света инновации в компьютерах стимулировало желание играть. Непреодолимое желание взаимодействовать с самыми сложными из созданных нами машин возникло сразу, как только они появились.

Кристофер Стрейчи, однокурсник Тьюринга по Кембриджу, пытался сделать программу для игры в шашки на Pilot Ace. В письме Тьюрингу от 15 мая 1951 года он утверждал, что она работает. Затем Стрейчи узнал, что у манчестерского Мark I, потомка Baby, гораздо больше памяти. Наверняка возможность визуализировать память тоже произвела на него впечатление. Он переписал свою программу с использованием руководства по программированию Тьюринга и запустил ее на коммерческой версии Ferranti Mark I не позднее 9 июля 1952 года.

«Он сам писал руководство [по программированию Ferranti Mark I], и, когда я заполучил копию, я понял, почему оно славится тем, что его никто не понимает, — рассказывал Стрейчи о Тьюринге. — Люди просто не привыкли читать точные описания, и это усугублялось слегка раздражающим предположением Алана, что все такие же умные, как он».

Рис. 4.16

Последовательные состояния доски для игры в шашки отображались на трубке Уильямса. На рисунке 4.18 показаны шесть оригинальных фото, сделанных Стрейчи. Изображения сгенерировал компьютер под управлением программы в своей памяти.

Шашки Стрейчи — это лучший из задокументированных претендентов на звание первой в мире видеоигры. Но в период с 1950 по 1952 год созданы несколько компьютеров, и любой из них можно было запрограммировать для игры (а еще — для показа неподвижных изображений или анимации). Безусловно, как мы увидим далее, появлялись даже вполне анекдотические претенденты.

Что интересно, шахматы никогда не претендовали на звание первой видеоигры, хотя Тьюринг увлекался ими. Как и Клод Шеннон, который встречался с Тьюрингом в Манчестере в 1950 году, в том числе и для обсуждения этого вопроса. Как и Дитрих Принц, который довольно рано присоединился к разработчикам Ferranti. Как и Стрейчи. Но шахматы были слишком сложны для компьютеров того времени, хотя Принц запрограммировал заключительную часть этой игры, эндшпиль, в пределах двух ходов до мата в 1951 году на Ferranti Mark I. Хотя, вероятно, именно он сгенерировал изображение с галочками (рис. 4.17), нет никаких доказательств, что его шахматная программа использовала визуальный дисплей.

Рис. 4.17 [Иллюстрация возможных изображений, которые демонстрируются на экране монитора, когда Компьютер производит проверку своей оперативной памяти. Другие изображения могут демонстрировать кривые, таблицы и т. п.]

Еще два претендента на звание первой в мире видеоигры написаны для EDSAC. В диссертации, защищенной в Кембридже в ноябре 1952 года, Стэнли Гилл описал простую программу, в которой овца приближается к забору с парой ворот. EDSAC на дисплее рисовал вертикальную линию забора, в которой промежутки сверху и снизу изображали ворота. Напротив ворот, открытие которых предсказывала программа, компьютер проводил горизонтальную линию. Игрок движением руки прерывал луч считывателя перфоленты, чтобы открыть верхние ворота, иначе открывались нижние. Графика и сама игровая механика были примерно такими же простыми, как и у гораздо более поздней видеоигры Pong. Увы, снимков экрана с этой игрой никто не сделал[21].

Рис. 4.18

Рис. 4.19

Александр Шафто «Сэнди» Дуглас сделал фотографии (рис. 4.19) своего игрового творения. Он запрограммировал крестики-нолики для EDSAC примерно в 1952 году, но точно до марта 1953-го. Эти три картинки — оригиналы фото, которые он сделал с монитора компьютера. Если в случаях, когда точная дата неизвестна, ориентироваться на самый ранний срок, то Гилл с ноябрем 1952 года побеждает Дугласа с мартом 1953 года, что делает их создателями второй и третьей видеоигр соответственно. Согласно этому алгоритму овцы проигрывают шашкам, но берут верх над крестиками-ноликами.

Британцы создали первые задокументированные цифровые изображения и первую интерактивную видеоигру. Наверняка они сделали и компьютерную анимацию, потому что Baby был вполне способен показывать движущиеся изображения. Но, как ни странно, тому нет никаких доказательств, даже устных свидетельств. И Baby, и EDSAC рисовали последовательности цифровых изображений, но все это было лишь случайным содержимым их памяти.

Возможно, EDSAC при помощи одной из программ рисовал шотландского танцора, но об этом остались лишь устные свидетельства. Насколько мне известно, первую задокументированную компьютерную анимацию как преднамеренную последовательность двумерных изображений создали янки на компьютере Whirlwind Массачусетского технологического института.

Руководство по программированию Whirlwind, опубликованное 11 июня 1951 года, содержало «экран с прыгающим мячом». Эскиз (рис. 4.20) экрана осциллоскопа сопровождает текст самой программы, написанной Чарли Адамсом. Согласно подписи, точки отображались в виде временной последовательности. Очевидно, это была первая задокументированная компьютерная анимация, хотя, возможно, она задумывалась просто как неподвижная картинка без специального контроля времени между точками. Просто расчет шел медленно, а каждая точка после отображения постепенно гасла, что создавало видимость прыгающего мяча — во всяком случае, прыгающей точки.

Я, как обычно, подойду к материалу очень осторожно и возьму дату публикации руководства в качестве «официальной» датировки этой картинки и, возможно, первой анимации. Она подтверждается официальной фотографией из архива Whirlwind (рис. 4.21), датированной 13 декабря 1951 года.

Я уделяю столько внимания этой картинке из-за ее важного значения для истории. Адамс охарактеризовал ее как «вероятно, самую популярную демонстрацию возможностей Whirlwind до того, как заработало электростатическое хранилище». Другими словами, речь идет об использовании Whirlwind—. Адамс и его коллега Джек Гилмор, присоединившийся к нему в октябре 1950 года, превратили прыгающую точку («мяч») в своеобразную игру (рис. 4.22). Они добавили звук удара при каждом отскоке, так что эту версию уже определенно можно считать настоящей анимацией.

Рис. 4.20

Рис. 4.21

Игроки в интерактивном режиме изменяли частоту отскоков, а побеждал тот, кто первым попадал «мячом» в лунку — промежуток на горизонтальной оси. Попадание компьютер сопровождал другим звуком. Самая ранняя фотография этой «игры» из архива Whirlwind датируется июнем 1953 года.

Из опубликованного кода видно, что это не циклическая программа, ожидающая хода следующего игрока. Другими словами, она не предполагала настоящего интерактива. Похоже, эту программу каждый раз требовалось перезапускать с новым набором из трех начальных условий, вводимых с помощью тумблеров. Здесь, конечно, появляется соблазн заявить, что это в любом случае некая форма интерактивности и претендент на звание первой видеоигры. Некоторые так и делают. Безусловно, некая форма игры тут присутствует. По крайней мере, она побуждала студентов Массачусетского технологического института упорствовать в утомительном процессе программирования Whirlwind—.

Прыгающая точка в итоге стала анимацией если не в июне 1951 года, то уж точно к июню 1953-го. Но две первые достоверные и датированные компьютерные анимации тоже появились на Whirlwind и тоже в 1951 году. Одна была растровой, а другая — векторной.

В телешоу Эдварда Р. Марроу «Смотри сейчас» 16 декабря 1951 года показали два мультфильма, сделанных на Whirlwind—. Все началось с растровой анимации (рис. 4.23). «Разбросанные» пиксели складывались в слова HELLO MR. MURROW (ЗДРАВСТВУЙТЕ, МИСТЕР МАРРОУ). Последовательно каждый столбец становился ярче, а затем гас, по-видимому управляемый специально написанной программой. В другой анимации фигурировала движущаяся точка, которая изображала ракету, летящую по параболической траектории. Эта каллиграфическая картинка создана на растровом осциллоскопе. Световые пятна зажигались вдоль кривой и не оставляли следа. Фактически это первая дуга из «отскоков» движущегося «мяча».

Математик Мартин Дэвис рассказал мне историю, подтверждающую еще одну раннюю попытку создания анимации, на этот раз у американцев и определенно на пиксельном дисплее. Весной 1952 года Дэвис некоторое время занимался отладкой кода в Иллинойсском университете. Он работал с компьютером ORDVAC, еще одним потомком EDVAC, введенным в эксплуатацию весной 1951 года. Как и MANIAC, тот обладал памятью на 40 трубках Уильямса, а его монитор можно было переключать, чтобы отобразить состояние любой из них. Дэвис рассказал, а его жена Вирджиния подтвердила, что кто-то написал программу, выводившую на дисплей сообщение HELLO VISITOR! THIS IS THE ORDVAC (ПРИВЕТ, ПОСЕТИТЕЛЬ! ЭТО ORDVAC). Слишком крупные буквы не помещались на экран. Чтобы прочитать сообщение полностью, приходилось ждать, пока оно «прокрутится» по монитору справа налево. Эта ранняя компьютерная анимация, вероятно, создана где-то между весной 1951 и весной 1952 года. В своих осторожных оценках я буду ориентироваться на весну 1952 года.

Рис. 4.22

Рис. 4.23

К той же категории анекдотичных свидетельств я отношу рассказ Ричарда Мервина, который работал над ENIAC, затем в Лос-Аламосе — над MANIAC (еще одним потомком EDVAC), а потом — над IBM 702. Мы с Диком вошли в состав делегации специалистов по информатике из IEEE, которых на целый месяц пригласили в Китай в 1978 году. Тогда после судьбоносных переговоров Ричарда Никсона и Мао Цзэдуна Китай распахнул свои двери для иностранцев. В тот памятный момент, когда наш автобус проезжал мимо Запретного города, Дик рассказывал мне о первой компьютерной анимации, которую он увидел на трубке Уильямса в начале 1950-х годов. Там демонстрировалась бутылка, из которой вино наливалось в бокал. То, что он описывал, могло быть изображено на мониторе MANIAC, но я больше склоняюсь к IBM 701 где-то в 1952 или 1953 году или к IBM 702 еще позже. Я называю это свидетельство анекдотичным, потому что с расстояния в 40 лет уже не различить мелких деталей, а Мервина, к сожалению, уже нет в живых, чтобы он уточнил их. Возможно, эта история смешалась у меня в памяти с другой версией событий, которую я слышал от пионера графики Джорджа Майкла из Ливерморской национальной лаборатории Лоуренса: в начале 1950-х для проверки памяти на трубке Уильямса в компьютере IBM 701 использовалась анимированная картинка с пивной бутылкой, из которой пиво наливалось в стакан. Другой пионер компьютерной графики Робин Форрест описал еще один вариант: «Говорят, что одному талантливому программисту удалось написать программу, которая отображала анимацию с водой, наполняющей стакан».

Вы можете возразить, что объект, который я назвал Первым Светом (рис. 4.2), — это не картинка, а текст: C. R. T. STORE. Но текст — это тоже изображение, согласно любому разумному определению. Любое изображение — в терминах, с которыми мы познакомимся по ходу дела, — представляет собой рендеринг (преобразование) геометрических описаний букв и цифр в пиксели, точно так же как современный анимационный фильм — это рендеринг геометрических описаний сцен и героев в пиксели.

Ранние угловатые картинки лишены изящества. Килбурн делал их по наитию, не опираясь на теорему отсчетов. Вряд ли он вообще знал о ее существовании. Впервые, в изложении Котельникова, она была опубликована на русском языке в 1933 году, а английская версия Шеннона не печаталась в открытых источниках до 1948 года. Тьюринг познакомился с теоремой отсчетов уже в 1943 году, что согласуется с заявлением Шеннона, считавшего, что в его профессиональной сфере она была общеизвестна. Однако, когда Килбурн создал Первый Свет — первое цифровое изображение, — Тьюринг еще не переехал в Манчестер. И нет причин предполагать, что Тьюринг, несмотря на всю свою гениальность, когда-либо задумывался о применении теоремы отсчетов к области зрения.

С одним битом — или двумя значениями — на пиксель картинка Килбурна получилась хороша, насколько возможно, пускай сейчас она и кажется наивной. В памяти на трубке Уильямса просто не хватало пикселей — и битов на пиксель, — чтобы точно отобразить плавно очерченный объект с резкими краями, например букву. Говоря на языке частот, плотность пикселей далеко не дотягивала до (удвоенной) самой высокой частоты пространственной волны в буквах. Так первые изображения еще и демонстрировали сложную проблему неровностей, которую предстояло решить, чтобы успешно достичь Цифрового Света.

Все первые изображения, видеоигры и анимации (кроме каллиграфических векторных изображений на осциллоскопе в Массачусетском технологическом институте) — это любительское преобразование простых геометрических объектов (букв, цифр, квадратов, прямых и кривых линий) в однобитные пиксели. Такие наивные визуализации не предполагали понимания и применения теоремы Котельникова. Никто еще не знал об исключительной важности частоты отсчетов — идеи, которая в конечном итоге приведет к Великой цифровой конвергенции. Вот почему я не возражаю, чтобы на раннем этапе не делать различий между векторными дисплеями, используемыми на Whirlwind, и растровыми, используемыми на других машинах. Каллиграфические растровые изображения — это часть нашего наивного детства.

Если говорить о наивности, любой образец вышивки 1760 года (рис 4.24, слева) предлагает ответ на ваше возражение о ранней истории Цифрового Света, описанной в этой книге. (Кстати, слово «образец» кажется на удивление похожим на нашу терминологию с «выборкой» и «отсчетом», но имеет здесь совершенно другое значение — просто пример чьей-то работы.) Почему бы не считать вышивку предшественником Цифрового Света? Почему не считать таковым любой гобелен с изображением? Или любую мозаику (рис. 4.24, справа) — изображение, состоящее из равномерно расположенных стеклянных плиток-смальт? Любой из этих примеров представляет собой картинку, сформированную из наивной выборки — без использования теоремы Котельникова — точно так же, как Первый Свет.

Рис. 4.24

Что ж, их можно считать предшественниками цифровых изображений и Цифрового Света. Нет никаких сомнений. Кроме того, они представляли собой аппаратуру памяти, постоянное запоминающее устройство из ниток или кусочков стекла. У Цифрового Света отыщутся тысячи подобных предшественников, существовавших века или даже тысячелетия назад. Но от этих разрозненных образцов нет очевидного технологического пути к сегодняшним цифровым изображениям, таким как слова, которые вы сейчас читаете. Следующий раздел посвящен более серьезным претендентам на звание первых пикселей.

Телетайп, машина для передачи текста, — старая идея, известная также как телепринтер или телекс (строго говоря, «Телетайп» — это торговая марка). Его принцип работы заключается в следующем: на клавишах устройства, похожего на электрическую пишущую машинку, набирается сообщение, которое превращается в электрический сигнал и передается по телеграфной линии на аналогичное устройство, преобразующее сигнал в буквы и выводящее текст на лист бумаги. Для передачи каждого символа используется уникальный сигнал.

Согласно нашему определению, произвольно набранный текст не относится к цифровым изображениям, потому что не предполагает намерения создать связную двумерную картинку. Но как насчет случаев, когда буквы умышленно расположены в виде двумерной матрицы так, чтобы с некоторого расстояния псевдотекст воспринимался как картинка? На рисунке 4.25 показаны два примера такого творчества: Мадонна с младенцем и портрет Дага Хаммаршёльда, ставшего в 1953 году генеральным секретарем ООН и самым молодым человеком, занимавшим эту должность. Чтобы облегчить выполнение задачи, некоторые символы напечатаны поверх других.

Вопрос в следующем: если уникальный сигнал представляет собой цифровые биты, то можем ли мы интерпретировать его как пиксель, а напечатанные буквы — как элемент отображения для этого пикселя? Вопрос отнюдь не праздный, потому что цифровые сигналы появились в 1874 году, когда Эмиль Бодо разработал «пятиэлементную» систему кодирования символов, которую мы сегодня назвали бы пятибитной. Оба изображения, приведенные выше, вероятно, передавались в кодировке Бодо. Здесь глиф выступает в качестве элемента отображения, а его оттенок серого (включая элементы, образованные путем наложения буквенных символов) приблизительно соответствует отношению площади черных чернил и белой бумаги в прямоугольной области, занятой глифом.

С тех пор сотни, а то и тысячи таких изображений (в большинстве своем — картинки с обнаженными женщинами) были созданы и разосланы — сначала по телеграфу в ночные смены, а затем с помощью радиолюбительских передатчиков. Операторы-любители собирали схемы управления телетайпом с помощью принятых сигналов, печатали изображение и одновременно перфорировали бумажную ленту. Бумажная лента — это запоминающее устройство телетайпа, с нее можно было сделать несколько копий, чтоб отправить друзьям, скажем, в качестве поздравления с Рождеством. Таким образом, телетайп как способ создания цифровых изображений получил широкое распространение до появления компьютеров в 1948 году и в течение еще более десяти лет после, пока компьютеры оставались редкими и дорогими. Примеры таких изображений приведены выше. Мадонна с младенцем датируется 1947 годом, а портрет Хаммаршёльда — 1962-м.

Эпоха телетайпного искусства застала рождение компьютеров и легко адаптировалась к изменившемуся миру. Появились новые коды, заменившие систему Бодо. С их помощью компьютеры взаимодействовали с печатающими терминалами, такими как телетайпы. История подобных пересечений заставляет нас задуматься над понятием Цифрового Света. Возникает вопрос: не требуется ли расширить определение и стоит ли считать телетайпные коды первыми пикселями еще до появления компьютеров?

Не совсем. Из-за «наивного» использования теоремы отсчетов и грубого восстановления мы можем считать их лишь ранними предшественниками пикселей Цифрового Света. Но поскольку система их хранения представляла собой бумажную ленту, а не электронную память, они не подходят под наше определение Цифрового Света. Чтобы сделать систему определений в этой книге непротиворечивой, мы будем настаивать только на электронной компьютерной памяти.

Рис. 4.25

Использование как наивной выборки, так и векторных каллиграфических мониторов, которые вообще не основывались на выборке, массово продолжалось в 1950-х, 1960-х, 1970-х и даже 1980-х годах. Только в конце 1960-х — начале 1970-х годов, в эпоху Цифрового Света, мы встречаем первые намеки на применение теоремы выборки к вычислению пикселей. Самые ранние попытки связаны с горизонтальным смягчением краев геометрических фигур или глифов, которые использовались для аннотирования изображений. На компьютерном жаргоне это называлось горизонтальным антиалиасингом или горизонтальным сглаживанием.

Если дискретизация выполняется с меньшей частотой, чем требует теорема отсчетов, то пропавшие высокие частоты отражаются на результате в виде появления визуального шума, который называют алиасингом. Сглаживание — это решение возникшей проблемы, способ избавиться от неприятной «ступенчатости», как иногда называют алиасинг. Правильное применение теоремы отсчетов требует значительной вычислительной мощности, поэтому на заре компьютерной эпохи ее реализация возлагалась на специализированное аппаратное обеспечение. Применение теоремы отсчетов программным способом откладывалось до обретения компьютерами большей силы в соответствии с законом Мура.

Первый явный пример полного антиалиасинга геометрической модели — в обоих измерениях, как мы видим на рисунке 4.26, — вероятно, выполнен Ричардом Шаупом из Исследовательского центра Xerox в Пало-Альто в 1973 году (но обратите внимание на замечание в комментариях по поводу возможного предшественника в 1971-м). Ступенчатые линии — вверху, сглаженные — внизу.

Шауп также создал в 1973 году изображение колеса повозки, показанное на рисунке 4.27 (зубчатое — слева, сглаженное — справа). Он явно не использовал теорему Котельникова ни для той, ни для другой картинки, но результаты свидетельствуют, что он прибегнул к какому-то эквивалентному методу. Оба изображения состоят из 8-битных пикселей в градациях серого и имеют устаревшее видеоразрешение (примерно 500 пикселей в ширину каждое).

Первое явное применение теоремы отсчетов для пространственного сглаживания состоялось в Университете штата Юта. Томас Стокхэм, эксперт по цифровому звуку, в 1970-х преподавал теорему отсчетов целому поколению пионеров компьютерной графики. Его ученик Эд Кэтмалл включил сглаженные изображения в свою докторскую диссертацию 1974 года. Другой его студент Фрэнк Кроу донес полученные от Стокхэма сведения до всех, кто занимается компьютерной графикой, в своей докторской диссертации 1976 года и последующих публикациях.

Сколько ни анализируй историю, все равно Цифровой Свет появился одновременно с рождением компьютеров. Первый Свет был зачат вместе с Baby. Первые пиксели — это в прямом смысле биты первой компьютерной памяти. Решающим периодом стал промежуток с 1947 по 1952 год. Возможно, произошел разрыв в один или два года между первыми тестовыми изображениями на трубке памяти Baby и первыми изображениями, которые были намеренно сгенерированы на компьютерах с хранимой программой при помощи программ, а не через прямую запись в память. Тем не менее очевидно, что к 1951 году на компьютерах уже создавались изображения из пикселей, управляемых хранимой в памяти программой. Эти пиксели получены интуитивным путем из геометрических моделей — обычно букв, цифр или других простых форм. Некоторые модели были интерактивными, а некоторые — анимированными. Использование теоремы отсчетов, вероятно, по-настоящему началось лишь с 1970-х годов.

Рис. 4.26

Рис. 4.27

Пиксель полностью объединяет историю Цифрового Света: компьютерную графику, видеоигры, обработку изображений, цифровую фотографию, интерфейсы приложений или операционных систем, цифровое телевидение, анимационные фильмы, виртуальную реальность и так далее. С этой точки зрения использование векторных дисплеев в компьютерной графике на протяжении нескольких десятилетий рассматривается как обходной путь. Значительное увеличение плотности элементов отображения на дисплеях и колоссальное ускорение вычислений, согласно закону Мура, позволило растровым дисплеям победить и вернуть Цифровой Свет к его растровым корням. Сведение всех устройств отображения к единому растровому виду в конечном счете привело к Великой цифровой конвергенции различных визуальных медиа. А теорема Котельникова — это магия, которая лежит в основе пикселя.

Теперь мы готовы применить три великие идеи — частоты, отсчеты и компьютеры — к двум технологиям — одной старой и одной новой. Старая — это кино. Одна из причин вернуться к истории кинематографа заключается в освоении словаря, полученного от него по наследству Цифровым Светом. Создание цифрового кино неизбежно зависело от существующих технологий киносъемки и анимации, полностью основываясь на них. Но главная причина состоит в демонстрации того, как великая идея отсчетов работает для понимания не только статических изображений, но и движущихся картинок. Оказывается, изобретение технологии кино также исходило из теоремы отсчетов, хотя в те времена о ней никто не знал. Теорема Котельникова дает нам возможность по-другому посмотреть на любой фильм. По дороге мы встретим несколько новых героев и тиранов, выслушаем несколько ошибочных версий. Вторым приложением трех фундаментальных идей будет сам Цифровой Свет, новая технология единого нового носителя информации.

Совсем не очевидно, что кино вообще должно работать. Кинофильм, в отличие от визуального потока в наших глазах, не отличается непрерывностью. Камера фиксирует каждую секунду только 24 неподвижных кадра из визуального потока, отбрасывая все происходящее между ними. Но результат все равно воспринимается нами как исходный поток. Мы видим неподвижное, но воспринимаем его как движущееся. Как же это происходит?

На что было бы похоже кино, если бы мы изобрели его сегодня как одну из составляющих Цифрового Света, начиная с теоремы отсчетов? Ответ, как мне кажется, очевиден: надо разбить визуальный поток на кадры с удвоенной максимальной частотой временнóй волны, а затем использовать хороший «разбрасыватель» при проецировании, чтобы превратить кадры обратно в непрерывный и плавный визуальный поток — так же, как мы превращаем пиксели в единое неподвижное изображение.

Давайте разберем только что сказанное. Во-первых, каковы частоты в визуальном потоке? Какие волны Фурье использовал бы для его представления? Мы должны понять это, прежде чем применим теорему выборки — сделаем выборку с удвоенной частотой. Нам также нужно решить, что означает «самая высокая частота» в визуальном потоке. Затем мы должны выяснить, что такое «хороший разбрасыватель» для проецирования кадров. Что вообще означает «разбрасывание» для отдельного кадра?

В случае со звуком мы имеем дело со звуковыми волнами. Для неподвижной визуальной сцены волны — волнообразные колебания интенсивности света, показанные в главе о Фурье. Вспомните, как мы изучали мой сад с растениями-суккулентами в Беркли. Потребовалась некоторая практика, чтобы «разглядеть» ритмичные пространственные волны, составляющие визуальную сцену. Чтобы «увидеть» волны в визуальном потоке, тоже нужно тренироваться.

Вот несколько упражнений, которые помогут вам обнаружить их. Посмотрите на прогуливающегося по улице мужчину или на совершающую пробежку женщину. Их движения цикличны. Это первое свидетельство существования волн Фурье в визуальном потоке, льющемся в наши глаза. Предположим, что мужчина опускает ногу на землю каждую секунду или делает один полный шаг каждые две секунды. Тогда в волновом варианте потока появится волна с частотой один цикл в две секунды. Предположим, что женщина бежит в два раза быстрее, чем идет мужчина. Тогда в волновой версии возникнет волна с частотой один цикл в секунду.

Можно легко найти и другие примеры: движущийся по улице поток транспорта, вращение автомобильных колес или велосипедных педалей, отбойный молоток, руки дирижера симфонического оркестра, прыгающий мяч.

Нужно совершить гигантский скачок, чтобы перейти от них к волшебной идее Фурье, но давайте сделаем его: все, что вы видите в непрерывном визуальном потоке, поступающем в ваши глаза, — это сумма зрительных волн и только их одних, а суть зрительной волны — это интенсивность света, которая ритмично колеблется в пространстве и во времени.

В главе, посвященной Фурье, мы визуализировали волны, из которых состоит визуальная сцена — неподвижное изображение — в виде гофр, каждая из которых имеет поперечное сечение волны. То есть сечение гофры выглядит как волна, которую очерчивает секундная стрелка часов. К счастью, нам не обязательно «видеть» волны визуального потока — движущейся картинки, чтобы использовать их. И это очень хорошо, потому что волны Фурье визуального потока — четырехмерные, то есть зрительно представить их довольно сложно. Тем не менее давайте попробуем. Рисунок 5.7, показывающий половину одного временнóго цикла и четыре полных пространственных цикла, — это попытка изобразить одну такую волну, но ее интерпретация требует некоторого воображения.

Рассмотрим самую верхнюю гофру на рисунке. Она, как обычно, имеет некоторую частоту и амплитуду. Маленькая стрелка указывает ее амплитуду. Обратите внимание, что ее копия вынесена вправо и повернута на 90 градусов. Мы к ней скоро еще вернемся.

Амплитуда изображенных на рисунке гофр изменяется со временем, которое условно течет вниз по странице. Более того, амплитуда изменяется плавно и непрерывно, как движется секундная стрелка часов. Но нарисовать это у меня не получится, поэтому я обращаюсь к вашему воображению.

Представьте, что, пока вы смотрите, высота волны меняется в соответствии с заданным ритмом. Другими словами, по мере того как вы наблюдаете, все впадины становятся одновременно глубже, затем одновременно мельче, затем одновременно глубже и так далее. Ритм этой пульсации и есть ритм волны. Задача состоит в том, чтобы вы вообразили эту анимацию. Откровенно говоря, для наших целей такой воображаемой анимации вполне достаточно. Это одна из множества волн Фурье, необходимых, чтобы представить визуальный поток.

Рис. 5.7

Тем не менее на рисунке 5.7 я попытался передать эту анимацию. На нем изображена пульсирующая в вашем воображении гофра. Через равные промежутки времени показаны девять гофр — если хотите, девять кадров анимации. Я (снова) призываю ваше воображение поместить еще одну гофру в каждый момент времени между каждой изображенной парой и так далее. Проблема, как вы уже знаете, заключается в том, что для этого требуется аналоговая бесконечность.

Маленькая стрелка показывает амплитуду волны в конкретный момент. Копии этих маленьких стрелок перенесены вправо и повернуты, как описано ранее. Кривая, соединяющая кончики повернутых стрелок, тоже представляет собой волну. Когда вы мысленно добавите еще одну гофру между любой изображенной парой, используйте в качестве ее амплитуды соответствующую точку на получившейся справа волне.

Таким образом, отдельная волна Фурье для визуального потока изменяется как волна (или гофра) в пространстве, а также как волна во времени. Каждая точка на пульсирующей гофре представляет собой интенсивность света. Это колеблющееся желе пространства-времени с волновым ритмом во всех трех измерениях.

Итак, мы разобрались с одной волной. Теперь представьте, что их целое семейство, и каждая из них пульсирует в пространстве (с определенной частотой и амплитудой), а также во времени (с другой частотой и амплитудой). Это, пожалуй, уже выходит за границы воображения. Не трудно догадаться, почему на практике просто используют математику, кратко описывающую то же самое. Согласно великой идее Фурье, полный визуальный поток — это сумма таких совершенных волн множества частот и амплитуд (а также направлений и фаз). Визуальный поток — это музыка пространства-времени.

Согласно теореме выборки — замечательной идее Котельникова, — чтобы точно представить визуальный поток, нам нужно взять в нем выборку, или кадр, с удвоенной максимальной временнóй частотой. Какова может быть эта самая высокая частота? Здесь становится очевидной полная наивность первых создателей кино. Они, не обладая знаниями о самой высокой частоте, просто угадывали. Их больше волновала стоимость кинопленки, а не точность отображения. Более высокая частота кадров увеличивала расход кинопленки. Таким образом, в целях экономии использовали настолько низкую частоту дискретизации во времени, насколько это сходило с рук. Зарождающаяся киноиндустрия довольно быстро (к 1920-м годам) остановилась на 24 кадрах в секунду, что и стало стандартом почти на век.

Но, если говорить об идеальном мире, какая самая высокая частота в визуальном потоке должна волновать нас? Вспомните эмпирическое правило, которое мы обсуждали, говоря о частотах визуальной сцены: у резких краев очень высокие частоты. Мы удаляем любые слишком высокие частоты, слегка размывая сцену перед ее дискретизацией в пиксели. В противном случае выборка будет неудачной, а мы получим раздражающие артефакты, такие как зубчатые диагональные края, называемые ступеньками.

То же самое верно и для визуального потока — визуальной сцены, изменяющейся во времени. С ней работает тот же трюк. Острая «грань» в визуальном потоке — это внезапное изменение направления движения. Снова подумайте о проходящем мимо мужчине. Предположим, он размахивает руками. Момент, когда его рука полностью отводится назад, а затем меняет направление, чтобы начать движение вперед, и есть граница визуального потока. Или рассмотрим прыгающий мяч. Момент отскока — это резкий край в визуальном потоке. Эти края нужно «сгладить», прежде чем делать выборку кадров из визуального потока, тогда теорема отсчетов сработает точно. Другими словами, необходимо удалить слишком высокие временные частоты. В противном случае возникнут раздражающие артефакты, например вращающиеся назад колеса. Позже мы разберем эту проблему более подробно.

Как идеальный кинопроектор реконструирует визуальный поток из отдельных кадров? Как уже говорилось, это делается с помощью теоремы отсчетов по прямой аналогии с тем, как устройство отображения — дисплей — восстанавливает визуальную сцену из дискретных пикселей. Дисплей «разбрасывает» каждый пиксель с помощью разбрасывателя пикселей по пространству и суммирует результаты. Идеальный проектор «растягивает» каждый кадр с помощью растягивателя кадров во времени и суммирует результаты. Итак, что такое растягиватель кадра?

Рисунок 5.8 (вверху) напоминает нам, как выглядит идеальный «разбрасыватель» из теоремы отсчетов. В случае сокселей (звуковых элементов) это расширитель во времени. В случае с пикселями это поперечное сечение — в пространстве — идеального разбрасывателя пикселей. В случае с кинокадрами это поперечное сечение — во времени — идеального растягивателя кадров.

Этот идеальный разбрасыватель не может быть реализован на практике, потому что он имеет бесконечные размеры. Его колебания продолжаются бесконечно в любом направлении. На рисунке 5.8 (в центре) показано приближение, которое мы использовали в главе о Котельникове для практической реконструкции визуальной сцены из пикселей.

Но даже этот приблизительный разбрасыватель не подходит для старомодного мира аналогового кино из-за двух отрицательных лепестков — двух провалов ниже горизонтальной линии. Мы не знаем, как сделать свет проектора отрицательным (менее черным), поэтому мы не сможем реализовать описанный выше расширитель кадров. Однако мы могли бы использовать приближение на рисунке 5.8 (внизу).

Так как большинство не знакомы с идеей «растягивания» кадра, давайте рассмотрим, что она означает. На рисунке 5.9 время движется вправо, и точка в центре горизонтальной линии соответствует текущему времени кадра — момента, когда кадр максимального освещен проектором. Точка слева от центра обозначает время, когда предыдущий кадр достиг максимальной освещенности. Точка справа от центра показывает время следующего кадра — когда он достигнет максимальной освещенности, — и так далее. Если описывать подробно, то свет проектора появляется постепенно, пока идут предшествующие кадры (обозначены точками слева от центра). Он достигает полной интенсивности в момент времени текущего кадра (точка в центре). Затем он постепенно затухает в течение последующих кадров (точки справа от центра). Вот что значит растянуть кадр во времени.

Как вы помните, реконструкция по отсчетам выполняется через применение разбрасывания ко всем отсчетам и суммирование результатов. Здесь возникает некоторая сложность, потому что теперь мы растягиваем отсчет во времени, а не в пространстве. Следовательно, при просмотре текущего кадра мы всё еще видим два предыдущих кадра и начинаем видеть два следующих. Поскольку хорошие «разбрасыватели» перекрывают друг друга, идеальный проектор должен воспроизводить несколько кадров одновременно. Он суммирует их на проекционном объективе и, соответственно, на экране. Выбранный момент (вертикальная линия на рисунке 5.9) происходит непосредственно перед максимальным освещением текущего кадра. Освещенность предыдущего кадра уже упала примерно до одной трети от полной интенсивности, а предыдущего кадра — почти до нуля. Подсветка следующего кадра только начинает проявляться. Кадр после него еще вообще не освещен. Таким образом, четыре кадра вносят свой вклад в проецируемое изображение в выбранный момент. Перед нами, конечно же, текущий кадр, но также он дополняется двумя предыдущими и одним следующим.

Рис. 5.8

Тут нас поджидает сюрприз: такого кинопроектора никогда не было. Хотя теорема выборки утверждает, что такая идеальная киносистема могла бы существовать. Такой проектор реконструировал бы абсолютно плавный непрерывный визуальный поток. Наши глаза эволюционировали, чтобы воспринимать мир, представленный именно таким образом. Столь идеального проектора нет даже сейчас, но наши изыскания показывают, что он вполне реален — кино в эпоху цифровых технологий есть куда стремиться. Нет никаких причин, не позволяющих существовать такой системе.

В реальном мире кино на самом деле лишь отдаленно приблизилось к идеальной системе, но достаточно близко, чтобы работать — и работать весьма неплохо. Посмотрим, как оно работало со всеми своими изъянами.

Из-за каких действий (или бездействия) изобретателей кино система, которую они нам оставили, оказалась столько далека от идеала? Во-первых, они не дали нам мгновенных отсчетов, как того требует теорема выборки. Кинокадры на самом деле не мгновенные. Они имеют определенную продолжительность. Затвор камеры открывается на определенное, хотя и короткое время — его называют временем экспозиции кадра. Движущийся объект перемещается за этот интервал и поэтому слегка размазывается по кадру в течение времени экспозиции. Нечто подобное происходит, когда вы делаете снимок с длинной выдержкой, на котором ваш ребенок бросает мяч, — в результате его рука получается размытой. Для кино это оказывается спасительной благодатью и нередко намеренно практикуется.

Рис. 5.9

Во-вторых, они сделали так, чтобы каждый кадр проецировался дважды (как минимум). Ой! Этого вообще нет в теореме выборки. Почему изобретатели кино так поступили? Они руководствовались простой экономикой: 24 кадра в секунду — это вдвое меньше дорогой пленки, чем 48 кадров в секунду. Но глаз должен получать изображение примерно 50 раз в секунду, иначе картинка на сетчатке будет исчезать между кадрами. На самом деле в темном зале кинотеатра для нужного эффекта вполне хватит и 48. Как из 24 получить 48? Демонстрировать каждый кадр дважды! Если показывать только 24 кадра в секунду, экран мерцает. Это происходило со всеми первыми фильмами — кинематограф до перехода на более высокую частоту кадров при проекции даже получил жаргонное название «мерцающие картинки» (flicks).

Третье, что сделали первые изобретатели, — перекрыли свет между проецируемыми кадрами. 48 раз за секунду в глаз — внутрь зрачка, на сетчатку — не проецировалось ничего или, говоря иначе, проецировалась темнота. Для кинооборудования — как для камеры, так и для проектора — полезно между кадрами закрывать затвор до черноты. Это дает время для механического перемещения следующего кадра на пленке в нужное положение. В кинокамере это не позволяет пленке записывать реальный мир во время физического продвижения пленки. В проекторе это не дает появиться на экране изображению движущейся пленки в момент ее перемещения к следующему кадру.

Когда речь заходит о работе кинопроектора, некоторые описывают ее примерно так: есть две катушки — верхняя, подающая пленку, и нижняя, принимающая. Пленка перемещается с катушки на катушку и проходит между источником света и объективом проектора, который увеличивает изображение до размера экрана. Другими словами, пленка непрерывно движется мимо источника света. Но работает не так. Глаз видит именно то, что находится перед ним на самом деле. Если проектор будет сделан по такой схеме, мы увидим, как один кадр уходит вниз, а следующий кадр появляется сверху. Перед нами предстанет движение пленки, а не кино. Так что принцип работы проектора явно иной.

На самом деле проектор перемещает каждый кадр в фиксированное положение при заблокированном источнике света. Это функция затвора. Затем затвор открывается, и освещенный кадр проецируется на экран. Затем затвор закрывается. Затем снова открывается, и кадр еще раз проецируется на экран. Затем затвор закрывается, происходит перемещение следующего кадра, и так далее.

Мы только что описали дискретное (прерывистое) движение пленки через проектор — непрерывное движение невозможно. Та же идея работает и с камерой. Физическое устройство, реализующее это прерывистое движение, называется скачковым механизмом. Это ключевое понятие в истории кино, сравнимое с изобретением условного ветвления в истории компьютеров. Безумная гонка за первенство в изобретении кино зависела от того, кто первым заставит проектор работать правильно, а значит, кто первым заставит прерывистое движение работать должным образом. Это определяющее понятие.

Напомним: реальный кинопроектор не реконструирует непрерывный визуальный поток из идеальных отсчетов и не воспроизводит его перед нашими глазами. Вместо этого он отправляет «широкие отсчеты» — кадры, имеющие некоторую продолжительность во времени, с размытым движением — прямо на сетчатку. Он отправляет каждый кадр дважды, а между ними — темнота. Мозг сам реконструирует движение на основе входных данных. Как же это работает?

Каким-то образом система «глаз — мозг» «реконструирует» зрительный поток из «широких отсчетов», которые она получает. Конечно, в действительности все происходит иначе. Интенсивность света поступает через зрачок в качестве входных данных. Но информация из глаза в мозг передается через зрительный нерв серией электрохимических импульсов. Последовательности нейронных импульсов — это не визуальный поток. Возможно, сетчатка действительно реконструирует его, а затем преобразует в последовательности импульсов для мозга. Форма электрической реакции некоторых нейронов глаза, безусловно, указывает на наличие у них функции разбрасывателя, представляя собой высокий положительный горб с отрицательными лепестками. Но деятельность мозга выходит за рамки этой книги. Давайте лучше попробуем объяснить, как воспринимается движение из последовательностей неподвижных снимков.

Классическое объяснение ссылается на старое понятие инерции зрения, или персистенции. Это реальная характеристика человеческого зрения: когда воздействие изображения на сетчатку прекращается, нам еще некоторое время кажется, будто оно продолжается. Но инерция зрения объясняет лишь то, почему вы не видите темноту между кадрами во время проекции кинофильма. Если актер или анимационный персонаж перемещается в новую позицию между кадрами, то — благодаря персистенции зрения — вы видите его в обеих позициях: двух Хамфри Богартов, двух Баззов Лайтеров. На самом деле ваша сетчатка видит и того и другого: один исчезает, другой появляется — каждый кадр проецируется достаточно долго, чтобы гарантировать это. Так работает персистенция зрения. Но она не объясняет, почему вы воспринимаете один движущийся объект, а не два объекта в разных положениях. Воспринимаете ли вы двух Богартов в двух разных положениях или одного движущегося Богарта — зависит от того, что ваш мозг делает с информацией, поступающей с сетчатки.

Психофизики проводили эксперименты, чтобы определить характеристики еще одного феномена мозга, который называют кажущимся движением. Исследования не объясняют, как мозг воспринимает движение, но описывают пороги физиологического ощущения. На сетчатку испытуемого проецируется маленькая белая точка на черном фоне. Затем она выключается, а еще одна точка проецируется в другое место. Экспериментаторы варьируют две характеристики: пространственную удаленность между двумя точками и временную задержку между изменением их положения. Мозг воспринимает две точки — одну здесь и другую там, — но только если расстояние и задержка достаточно велики. В противном случае мозг воспринимает перемещение точки из одного положения в другое. Это кажущееся движение, потому что реального движения не происходит. Мозг воспринимает то, чего не видит глаз.

Инерция зрения такова, что мы всё еще воспринимаем первое изображение, когда появляется второе. Это очень похоже на описанное ранее преобразование идеального кадра согласно теореме Котельникова. Кадр небольшой продолжительности растягивается во времени и добавляется к следующему кадру, тоже растянутому во времени. Сетчатка как будто выполняет «разбрасывание» изображения и сложение последовательных «растянутых» кадров. Что-то подобное, по-видимому, должно происходить, потому что мы воспринимаем непрерывный визуальный поток, хотя кинопроектор его не создает. Вы можете думать о форме функции инерции зрения как о разбрасывателе кадров, встроенном в человека видящего. Есть и другое свидетельство, что система «глаз — мозг», предположительно, выполняет реконструкцию, которая неявно использует теорему выборки. Оно заключается в том, что мы воспринимаем именно те ошибки, которые можем увидеть в реальности, — например, колеса телеги, вращающиеся в обратном направлении.

Классическая анимация — старые добрые рисунки тушью на целлулоиде — основана на феномене кажущегося движения. Мультипликаторы старой школы интуитивно знали, как удерживать последовательные фазы движения в границах «не слишком далеко и не слишком медленно». Если им требовалось выйти за эти пределы, в ход шли хитрости и уловки, помогающие нам воспринимать движение. Мультипликаторы рисовали «линии скорости», которые подсказывали мозгу направление движения и, как размытие, намекали на высокую скорость. Или они создавали — POOF — облако пыли, чтобы отметить стремительное падение Хитрого Койота, когда он неожиданно выбегал за край обрыва, преследуя коварного Дорожного Бегуна. Они изобрели визуальный язык, который мозг легко интерпретировал.[26]

Если превысить пределы кажущегося движения без использования хитростей из старых мультфильмов, результаты будут ужасны. Возможно, вы видели подобное в покадровой анимации старой школы, например в сцене из классического фильма Рэя Гаррихаузена «Ясон и аргонавты» 1963 года, где скелеты сражаются на мечах, — движения персонажей там очень дерганые. Изображение двоится или троится. Вы видите несколько положений скелета одновременно и сознательно интерпретируете их как движение, но смотреть на это мучительно. Изображения движутся рывками, «дрожат» или, как еще говорят, «стробируют». Эти слова отражают, насколько дискомфортно смотреть на такое движение.

Фильмы с живыми актерами — это тоже последовательность отдельных кадров, как и мультипликация. Почему же мы не видим рывков или «стробирования» в них? (Представьте, что Уме Турман во время боя на мечах нужно держаться в пределах «не слишком далеко и не слишком медленно».) Этому есть простое и красивое объяснение. Оно называется размытие движения. У кадра, снятого настоящей кинокамерой, есть продолжительность — время экспозиции. Это не идеальный отсчет, не имеющий длительности, не одно бесконечно короткое мгновение, как кадр в мультике с Хитрым Койотом или последовательные рисунки скелетов из фильма Гаррихаузена. Размытие — это то, что вы видите на неподвижной фотографии, когда объект движется, а скорость срабатывания затвора недостаточна, чтобы запечатлеть движение. На фотографиях это часто получается непреднамеренно, но для кино такой технический брак становится спасением. Без размытия движения все фильмы выглядели бы такими же дергаными, как скелеты Гаррихаузена, если бы только Ума каким-то чудом не смогла двигаться в пределах допустимого. Размытие движущихся объектов в кадре за время экспозиции подсказывает мозгу, что движется, а что нет. По направлению размытия можно понять направление движения, а по протяженности — скорость. Каким-то непостижимым образом мозг преобразует пространственную информацию — размытие — во временнýю, а затем воспринимает ее с помощью феномена кажущегося движения.

Те из нас, кто вырос на старых вестернах, наверняка видели колеса, которые крутятся в обратную сторону. Колесам дилижансов или паровозов отводилось на экране немало места и довольно много времени, потому что классический вестерн немыслим без погонь. Бандиты в широкополых шляпах постоянно преследуют почтовый дилижанс (или почтовый вагон), везущий месячную зарплату целого шахтерского городка золотыми монетами. К сожалению, колеса почти всегда вращались с неправильной скоростью, а часто даже назад.

Телевидение тоже передает изображения покадрово, поэтому, когда оно появилось и стало транслировать вестерны в дневном эфире, мы продолжали наблюдать, как колеса крутятся назад. Даже сегодня в рекламе автомобилей нередко показывают колеса, вращающиеся с неправильной скоростью или даже задом наперед, но это остается практически незамеченным. Современные режиссеры умело прячут их за облаками пыли или стратегически расставленными растениями и камнями. Или они переходят в режим замедленного движения, когда колеса въезжают в центр экрана так, что кажется, будто они вращаются правильно. А иногда режиссеры вообще ничего такого не делают. Мы все так часто с детства видели этот артефакт, что просто не замечаем его.

Но почему колеса крутятся назад? Теорема отсчетов не оставляет сомнений: мы должны делать выборку, удвоив самую высокую частоту движения, которое снимаем. Возвращаясь назад, какое самое быстрое движение можно представить при 24 кадрах в секунду, традиционной частоте дискретизации фильмов? Только то, что изменяется не быстрее 12 раз в секунду.

Представьте себе переднее колесо дилижанса — вроде того почтового дилижанса Баттерфилда, из которого когда-то выбросило Мейгриджа в Техасе. Для удобства предположим, что оно 12 футов (3,7 метра) в диаметре и у него 12 спиц. Каждый раз, когда повозка продвигается вперед на 1 фут (треть метра), колесо совершает одну двенадцатую полного оборота, а следующая спица оказывается в том же месте, где находилась предыдущая. Итак, после одной двенадцатой полного оборота колесо выглядит точно так же, как до него.

Если бы лошадь тянула дилижанс со скоростью 12 футов в секунду, волна Фурье визуального потока изменялась бы со скоростью 12 циклов в секунду. Следовательно, фильм с 24 отсчетами (кадрами) в секунду еле-еле способен отобразить дилижанс, движущийся со скоростью 12 футов в секунду. Но это всего лишь около 8 миль (примерно 13 километров) в час. Чуть быстрее — и начинаются странности. Поскольку скачущая лошадь развивает скорость от 25 до 30 миль в час, бандитос наверняка заставят колеса дилижанса вращаться быстрее. Таким образом, даже идеальный фильм, работающий со скоростью 24 кадра в секунду, не может точно отобразить колеса, которые крутятся быстрее, чем при размеренном уличном движении.

Но мы знаем, что фильм возникает внутри системы «глаз — мозг». Феномен кажущегося движения, которое наш мозг использует для воссоздания движения по двум неподвижным изображениям, также определяет, какое направление движения мы воспринимаем. В случае с вращающимися объектами мозг получает информацию о двух положениях спиц колеса и фиксирует движение между ними, особенно если ему помогает размытие. Он определяет направление движения по взаимному положению двух образцов. При этом он выбирает кратчайший путь между ними.

Если спица в положении 2 находится рядом, на небольшом угловом расстоянии от спицы в положении 1 по часовой стрелке, мозг предполагает, что колесо вращается по часовой стрелке. Если рядом, но против часовой стрелки — мозг предполагает, что колесо вращается против часовой стрелки. Следовательно, есть вероятность, что мозг перепутает движение вперед и назад, поскольку он видит только отдельные кадры, а не плавный визуальный поток между ними.

Как в идеальном, так и в реальном кинофильме задействована теорема выборки, так что при достаточно высокой скорости неизбежно появятся артефакты. Если нам не удается сделать кадры с (более чем) вдвое большей частотой, чем максимальная частота временных волн в визуальном потоке, придется поплатиться. Неправильное движение, например вращение назад или слишком медленное — вперед, предстает под маской ложного визуального отображения и на языке частот называется алиасингом (от английского alias — «псевдоним»).

Меня воспитывали на истории американского гения Томаса Эдисона, поэтому я очень удивился, узнав, что легенда, называющая его изобретателем кино, не проходит проверку фактами. Первый удар нанес в 1961 году историк кинематографа Гордон Хендрикс в книге с говорящим названием «Миф о кинематографе Эдисона». Во вступительном абзаце Хендрикс обозначил свою первую цель: начать «расчистку зарослей густо переплетенных легенд, которыми пронизана история зарождения американского кинематографа». Второй целью он провозгласил «до некоторой степени отдать должное работе, проделанной У. К. Л. Диксоном». Последующие историки американского кино, опираясь на исследования Хендрикса, несколько смягчили ярость его нападок на Эдисона, сохраняя почтение к Диксону. Совсем недавно Пол Шпер, эксперт в области кино Библиотеки Конгресса, выпустил первую научную биографию Уильяма Кеннеди Лори Диксона. Хотя Шпер упоминает о «проблеме безжалостного, даже злодейского поведения Эдисона», он оправдывает его деловую практику как соответствующую его времени. Тем не менее получившийся в результате образ Эдисона крайне далек от той героической фигуры, которую я воображал, будучи ребенком.

Эдисон любил, когда его называли Волшебником из Менло-Парка, что американская публика делала с удовольствием. В Менло-Парке, штат Нью-Джерси, располагалась одна из легендарных лабораторий Эдисона. Он создал там прекрасные условия для технологий и бизнеса. Нетерпеливые молодые изобретатели со всей Америки стекались к нему. Эдисон превосходно рекламировал свои лаборатории и самого себя, он с удовольствием выступал олицетворением всех сделанных там открытий и всех изобретателей, выполнявших всю работу. Таким образом он сколотил огромное состояние, а если его сотрудники не справлялись с поставленными задачами, деловые партнеры скупали чужие патенты, заменяли имена изобретателей на Эдисона и громили конкурентов в патентных судах. Некоторые из его сотрудников, наивные изобретатели, в частности Диксон, в конце концов замечали, что не получают признания, и расставались со своим покровителем, иногда совсем не по-дружески.

Несомненные параллели со Стивом Джобсом, соучредителем Apple, весьма поучительны. Его имя тоже оплетено зарослями легенд. После того как его выгнали из Apple, он стал соучредителем компании Next, расположенной в Редвуд-Сити в Калифорнии, рядом с Менло-Парком. Впоследствии Next выкупила Apple, а Джобс, вернувшись туда, как известно, радикально все перестроил, блестяще используя изобретения и проекты энергичных молодых креаторов, которые он объявлял своими. Он не обязательно заявлял об этом напрямую, но, как и Эдисон, никогда не отказывался от похвалы, когда их обожающая публика или отдел маркетинга приписывали ему чужие идеи. Он сокрушал своих конкурентов в патентных войнах и заработал кучу денег. Мы вполне могли бы назвать Джобса «волшебником из Менло-Парк-Уэст», поскольку он создал благоприятную среду для талантливых изобретателей и приписал себе их заслуги.

Например, Джонатан Айв (ныне сэр Джонатан Айв) разработал iMac, iPod и iPhone. Нет, их создал не Стив Джобс. Но Джобс тесно взаимодействовал с Айвом и всячески поддерживал его. Эти устройства появились благодаря усилиям их обоих, а еще многих других. Конечно, Джобс — настоящий гений маркетинга продуктов Apple, эдакий Джонни Яблочное Семечко. Но, как и в случае с Эдисоном, он в первую очередь продавал быль о самом себе. Как вы, наверное, уже поняли, превозносить одного человека за сложное технологическое достижение всегда ошибочно.

Мейбридж — еще один великий маркетолог, тоже своего рода Джонни Яблочное Семечко. Хотя он не создал достаточно продвинутую систему, чтобы коммерчески использовать начавшийся ажиотаж, он с большим мастерством продавал по всему миру идею проецируемых движущихся изображений. Его рекламная кампания особенно сильно воздействовала на Эдисона. Под ее влиянием он задумался, как лучше снимать фильмы.

Они даже встречались пару раз в 1888 году, когда Мейбридж отправился в тур со своими выступлениями. У них родилась идея соединить зоопраксископ, усовершенствованный волшебный фонарь Мейбриджа, с набиравшим популярность фонографом Эдисона и получить говорящие изображения. Как показала последующая работа Диксона, задумка оказалась весьма сомнительной. На самом деле успешные говорящие и движущиеся картинки появятся не раньше чем через несколько десятков лет. Но сама по себе идея была хороша.

Эдисон быстро пришел к выводу, что подход Мейбриджа — даже если отбросить безуспешные попытки добавить аудиокомпонент — нежизнеспособен. У Мейбриджа не было нормального кинооборудования. И, самое главное, Эдисон прекрасно понимал, что фильм продолжительностью всего пару секунд не будет коммерчески успешным, когда пройдет первоначальная эйфория. Поэтому он немедленно сделал набросок более удачной идеи. В буквальном смысле. Он подготовил грубый эскиз — официальную часть того, что тогда называли латинским словом caveat (предупреждение), — в Патентное ведомство США как своего рода перестраховку, предупреждение о намерении подать заявку на патент позже. Хотя сама по себе эта идея была ошибочной — например, она обходилась даже без затвора, — но все-таки она стала искрой, которая зажгла бикфордов шнур изобретения[28].

На эскизе демонстрировался другой способ сделать движущиеся изображения говорящими. Фонограф Эдисона записывал звук на спиральной дорожке, расположенной на поверхности покрытого воском цилиндра, — примерно так же нить наматывается на катушку. Для кинофильмов Эдисон предложил записывать вдоль дорожки последовательность крошечных изображений. Когда цилиндр вращается, через увеличительное стекло, направленное на его поверхность, можно наблюдать последовательность изменяющихся картинок. Из этой заявки произрастает идея кинетоскопа. Проблемы звука оказались отложены в долгий ящик — по крайней мере на пару десятилетий.

Реализацию своего эскиза Эдисон (в своей знаменитой позе «Наполеона изобретений» на рисунке 5.11, слева) поручил Диксону (в позе «гордого аристократа», рисунке 5.11, справа) а сам отправился в грандиозное турне по Европе. Таким образом, Диксон, работавший в лаборатории Эдисона, приступил к созданию своеобразной киносистемы, не имевшей практически ничего общего с первоначальным наброском. В ней использовались кинокамера, кинетограф, а еще пленка в виде длинных полос (а не крошечные изображения), расположенная вдоль спирали на цилиндре. Но системе не хватало проектора. Вместо него применялся прибор, который по-английски называют «пип-шоу» или «никелодеон», а в русском языке устоялось наименование «кинетоскоп», — устройство, позволяющее просматривать изображения одному зрителю. Система Эдисона с кинетографом и кинетоскопом все еще относилась к почти-кино, но уже гораздо сильнее приблизилась к современному кинематографу, чем устройство Мейбриджа. И, конечно, она оказала огромное влияние на мир.

Рис. 5.11

Диксону пришлось покинуть Эдисона, чтобы создать полноценную киносистему с проектором. Расставание прошло не на дружеской ноте. Отношения Диксона и Эдисона стали, мягко говоря, натянутыми. Но так дело обстояло не всегда — даже на пороге 1895 года, когда кино действительно появилось.

Я верю, что в ближайшие годы, благодаря моей собственной работе и работам Диксона, Мейбриджа, Марея и других, которые, несомненно, будут работать в этой области, гранд-опера сможет даваться в Метрополитен-опера в Нью-Йорке без каких-либо существенных изменений по сравнению с оригиналом, когда ее художники и музыканты давно умрут.

— Томас Эдисон (ок. 1894)

Биография Томаса Альвы Эдисона отвечает на спрос, который глубоко укоренившийся общественный интерес, вызванный блестящими изобретениями Эдисона, создал для познания личности и жизни этого величайшего из ныне живущих изобретателей.

— Уильям и [сестра] Антония Диксон. «Жизнь и изобретения Томаса Альвы Эдисона» (1894)

Он часто использовал только свои инициалы У. К. Л., но в семье его звали Лори. Он определенно не называл себя Уильямом, Уиллом, Биллом или Билли. Он придерживался строгой формальности, раздражавшей настоящих американцев. Четыре имени! Зачем ему столько, если не из-за британского высокомерия? Это, безусловно, раздражало и Эдисона, который ради шутки намеренно ошибочно писал его фамилию Dixon вместо Dickson. Один из его коллег постоянно назвал его — и, ясное дело, вовсе не из пиетета — «достопочтенным» Уильямом Кеннеди Лори Диксоном.

Историки — даже те, кто восхвалял достижения Диксона, — считали его спесивым гордецом, превозносившим свой гений и преувеличивавшим свои заслуги. Даже его первый биограф Хендрикс не удержался и перечислил 50 самых известных лживых высказываний Диксона. Сам Диксон умудрялся разжигать неприязнь и подпитывать недоверие автобиографическими пассажами вроде того, что приведен ниже. Американцам или его коллегам из Менло-Парка все это казалось хвастливыми выдумками:

Но на самом деле, как ни удивительно, большая часть из этого — правда, даже родство с венценосными Стюартами. Старинные родословные многих его предков вписаны в классические аристократические реестры Соединенного Королевства, такие как Каталог поместного дворянства и Книга пэров Берка. В четырех именах отражалась его родословная. Двух его прямых предков по отцовской линии звали Уильям Диксон, а двух предков по материнской линии — Уильям Бэйли Кеннеди Лори и Уильям Кеннеди Лори. Так что для него были важны все четверо.

Однако не менее показательно, что некоторые факты в автобиографиях он неизменно опускал. Как и его дальняя родственница Элизабет Барретт Браунинг, Диксон происходил из семьи карибских плантаторов, сколотивших состояние на сахарном тростнике, который собирали и обрабатывали тысячи рабов. Поэтому неудивительно, что, когда в 1879 году восемнадцатилетний Диксон вместе со своей матерью иммигрировал в Америку, они сначала поселились недалеко от Ричмонда, штат Вирджиния, на юге Америки. Диксон вскоре женился на девушке из старинной семьи конфедератов. Всю оставшуюся жизнь он предпочитал умалчивать о рабовладельческом прошлом своих предков.

Аристократичный и, вероятно, высокомерный англичанин французского происхождения с замашками южанина и с рабовладельческим прошлым не слишком подходил на роль настоящей американской легенды. Эдисон, в свою очередь, казалось, сошел со страниц романа Горацио Элджера: мальчишкой он продавал на улицах газеты, чтобы заработать на жизнь, затем изобрел электрическую лампочку и фонограф, в итоге став американским гением и отцом кинематографа. Вокруг Эдисона сложился миф, который он старался всячески поддерживать. Но факты, увы, не подтверждают легенду.[29]

Диксон, а не Эдисон, спроектировал и построил первую работавшую кинокамеру — кинетограф, который обычно называют (разумеется) «кинетограф Эдисона». В работе над изобретением ему помогали другие сотрудники лаборатории Эдисона, особенно Джон Отт. Блок-схема полностью не передает, насколько значимым оказался вклад Диксона в кинематограф. Например, он также спроектировал и построил первую киностудию. Она называлась «Черная Мария» (по аналогии с фургоном для перевозки заключенных) и располагалась на территории лаборатории Эдисона в Оранже, штат Нью-Джерси, недалеко от Менло-Парка. Диксон был сценаристом, режиссером и оператором множества самых первых кинофильмов — в период с 1890о по 1903 год он снял их более 300. Они, конечно, из-за ограниченных технических возможностей были короткими (не более минуты), немыми и черно-белыми. Диксон снимал документальные фильмы о спортсменах, боксерах, входящих в гавань кораблях, кузнецах, папе римском Льве XIII, коронации Эдуарда VII, парикмахерской. Он специализировался не только на аппаратном, но и на программном обеспечении, хотя и не явил миру потрясающих художественных достижений в кинематографии. Великое повествовательное искусство кино было еще впереди.

Еще один набросок Эдисона, воплощенный Диксоном и Оттом, — это кинетоскоп Эдисона. Несмотря на корень «скоп», это еще не кинопроектор. Через созданное ими устройство можно было показывать кино одному зрителю — как бы для подглядывания, пип-шоу. Деловые партнеры Эдисона вполне успешно взяли на вооружение его разработку. Дополнив конструкцию монетоприемником, они устанавливали десятки таких аппаратов с разными фильмами на выставках и в специализированных залах (рис. 5.12).

Фактически разработка кинетоскопа задержала вхождение Эдисона в мир кино. Он даже отверг идею Диксона создать проектор для публичных показов. Он не хотел сводить на нет коммерческий успех кинетоскопов. Его отказ имел два глобальных последствия. Во-первых, его компания опоздала с созданием полноценной киносистемы. Другие команды к 1895-му — году появления проектора — уже разработали устройства для публичной демонстрации кино, и в дальнейшем братья Люмьер из Франции составят особенно серьезную конкуренцию в гонке за титул изобретателей кинематографа. Во-вторых, Эдисон лишился Диксона именно из-за этого своего решения, поскольку существовали компании-конкуренты и проекторами интересовались. Еще работая у Эдисона, Диксон помог двум другим командам разработать проекторы и начать бизнес. Он ушел от Эдисона, чтобы присоединиться к одной из них, впоследствии ставшей компанией Biograph, самым серьезным американским конкурентом Эдисона в кинобизнесе.

Деловые партнеры Эдисона быстро поняли, что кинетограф нужно дополнить кинопроектором. Поскольку Диксон покинул Эдисона, им пришлось искать проектор в другом месте. В 1895 году Чарльз Фрэнсис Дженкинс и Томас Армат разработали проектор «фантаскоп», поэтому концессионеры Эдисона (Норман Рафф и Фрэнк Гаммон) выкупили права на него, изменили название на «витаскоп» и навязали условия контракта, заставившие изобретателей скрыть свои имена. Теперь наконец появилась полноценная киносистема Эдисона, состоящая из камеры (кинетограф), разработанной Диксоном и Оттом, и проектора (витаскоп), разработанного Дженкинсом и Арматом. Система носила имя Волшебника из Менло-Парка, но не он ее создал, если не считать изначальных неосуществимых эскизов камеры и незначительных модификаций устройства Дженкинса — Армата. Вот вам и изобретатель кино! Из четырех фактических создателей системы Эдисона только Диксон еще успеет добиться некоторой известности, но не всемирной славы при жизни.

Важно отметить, что не указанный в блок-схеме Диксон почти единолично отвечал за часть «киносистемы Эдисона», ставшей настоящим брендом. Именно он разработал носитель, очень похожий на кинопленку, использовавшуюся до недавнего прошлого, — с двусторонней перфорацией (четыре отверстия на кадр) и шириной около 35 миллиметров. Он проделал чрезвычайно сложную работу, а его изобретение стало фундаментальным событием в истории кино, хотя теперь постепенно поблекло в беспленочном Цифровом Свете. Диксону принадлежала одна из ключевых ролей в битве за разработку рулонной целлулоидной пленки и проектора.

Рис. 5.12

Возникающий на блок-схеме гордиев узел будет гарантированно разрублен, если осознать, что Диксон приложил руку ко всем разработкам американцев, кроме витаскопа Дженкинса — Армата. Менее очевидно, что он также косвенно участвовал во многих французских разработках: братья Люмьер создавали свою систему как прямой ответ на кинетоскоп Эдисона. Формат 35-миллиметровой перфорированной пленки, усовершенствованный Диксоном, приняли за основу Gaumont и Pathé. А британец Роберт Пол построил и продал Pathé копию кинетоскопа. Впрочем, на них мы подробнее остановимся в разделе, посвященном французам.

Диксон разрабатывал проекторы с двумя другими группами, не относящимися к лаборатории Эдисона. Этим он занимался еще в то время, когда официально работал на Эдисона. Историки так и не определились, противоречит ли его поступок коммерческой этике. Диксон, видимо, не считал, что нарушает какие-либо нормы, хотя Эдисон расценивал его деятельность как предательство. В 1926 году, в возрасте 65 лет, Диксон писал Эдисону: «Правда выйдет наружу. Это напоминает мне о том, что старый слух о моей неверности вам всплывает время от времени и всегда будет препятствовать прогрессу, если вы не опровергнете его».

Эдисон сделал на письме пометку: «Он был изменником. Думаю, нам лучше не отвечать» — и приказал секретарю убрать его в архив.

Вне рамок работы у Эдисона Диксон сначала сотрудничал с отцом и сыновьями Латамами, а также с бывшим сотрудником Эдисона Эженом Лаустом, который участвовал в создании кинетоскопа. Отношения Диксона и Латамов, вероятно, ограничивались консультациями. В любом случае, он никогда не заявлял о них публично. Лауст помогал в создании проектора «эйдолоскоп» — по крайней мере, так считают некоторые историки. Это один из спорных моментов в истории кинематографа. Тем не менее его первый публичный показ состоялся в апреле 1895 года (под исходным названием «паноптикон»). Первые коммерческие показы начались в мае, что делает его вторым проектором в мире, который осуществлял публичные показы (лишь слегка уступив синематографу братьев Люмьер с первой демонстрацией в марте), и первым проектором, при помощи которого проводили коммерческие сеансы.

1895-й действительно был годом чудес в истории кино. В мае Латамы провели коммерческую демонстрацию эйдолоскопа, в октябре Дженкинс и Армат презентовали фантаскоп, что стало вторым коммерческим сеансом в истории кинематографа. Рафф и Гэммон, основные концессионеры Эдисона, переименовали фантаскоп в витаскоп Эдисона. В декабре французы Люмьеры со своим синематографом стали четвертыми, кто провел коммерческий киносеанс (третьим был Макс Складановски из Германии с аппаратом под названием «биоскоп» — показ состоялся в ноябре). Таким образом, в 1895 году действительно произошел прорыв и появилось полноценное кино в том виде, в каком мы его знаем. Гонка началась.

В этот год Диксон ушел от Эдисона. До самой смерти Диксон так и не простил Эдисону, что тот отказал в общественном признании его заслуг. Лишь в возрасте 71 года Диксон констатировал: «Я вижу во многих газетах и журналах, что мне наконец, после смерти Эдисона и Истмана, стали отдавать должное за мои новаторские труды во время работы у Эдисона по созданию первого фильма и современного кинематографа».

Диксон официально покинул лаборатории Эдисона в 1895 году, чтобы присоединиться к KMCD Syndicate, другой независимой команде. Название складывалось из инициалов участников: К — Элиас Купман, М — главный бизнесмен группы Гарри Марвин, C — Герман Каслер, который стал главным конструктором и инженером вместе с Диксоном, естественно, обозначенным буквой «D». Они познакомились друг с другом во время ежегодных визитов на один и тот же курорт на севере штата Нью-Йорк, а затем вместе разработали и начали продавать один из модных в те времена технических гаджетов — детективную фотокамеру, которая выглядела как карманные часы на цепочке. Компания, которую организовали друзья, оказала огромное влияние на киноиндустрию, но не оставила заметного следа в истории шпионского оборудования.

В составе команды и, несомненно, при активном участии Диксона Каслер разработал кинокамеру, получившую название «мутограф». Затем они приспособили ее механизм к кинопроектору, который нарекли «биографом». Компанию тоже назвали Biograph. Диксон знал, как обойти патенты Эдисона, и стал для него самым серьезным конкурентом в Америке.

Правая часть блок-схемы истории кино посвящена другой команде — французам. Даже беглый взгляд позволяет увидеть плотную сеть взаимосвязей между основными игроками. История их изобретений не менее сложна, запутанна и опасна, чем у американцев. Начнем сверху, с Этьена-Жюля Маре. Для французов он занимает то же место вдохновителя и изобретателя докинематографа, что и Эдвард Мейбридж для американцев. На самом деле Марей и Мейбридж оказывали сильное взаимное влияние друг на друга в годы, предшествовавшие чудесному 1895-му, году появления кинопроектора.

Марей знал, что все четыре копыта лошади могут одновременно находиться в воздухе. Он знал это еще до того, как увидел знаменитые фотографии Мейбриджа и сам научился останавливать мгновение — быть хронофотографом. Хронофотография в том виде, в каком ее практиковали Марей и Мейбридж, существовала до появления настоящих киносистем, а значит, относилась к докинематографу.

Об отрывающихся от земли копытах Марей узнал вовсе не по фотографиям. Примерно в 1873 году он провел реальные физиологические эксперименты с помощью приборов, закрепленных на копытах живых лошадей. Результаты он изложил в статье, опубликованной в Popular Science. Марей всегда считал себя ученым, а не фотографом. Это важно для нашей истории, особенно в отношении к молодому ассистенту (а фактически его ученику) Жоржу Демени, которого он взял на работу в свою физиологическую лабораторию в Париже.

Мейбридж, Марей и Стэнфорд знали друг о друге. Мейбридж сделал первую фотографию скачущей лошади с четырьмя копытами над землей в Калифорнии, примерно в 1872 или 1873 году, но она не сохранилась. Вероятно, снимок вышел не особо удачным, раз Стэнфорд снова нанял его, чтобы сделать такую же фотографию (вероятно, на этот раз более успешно), после прочтения статьи Марея в Popular Science. В 1878 году Марей прямо призывал Мейбриджа «оживить» неподвижные изображения, а во время его грандиозного визита в Париж в 1881 году устроил прием в его честь. Однако их подходы существенно различались. Мейбридж делал отдельные кадры, Марей снимал на фотоленту. Рисунок 5.13 — прекрасный образец творчества Марея, которое он считал наукой. Его аппаратура позволяла производить многократную экспозицию фактически одного, очень широкого фотокадра.

Один из распространенных мифов о кино гласит, что Эдисон, увидев, как Марей использует фотоленту, отказался от записи кадров на цилиндры и решил последовать его примеру. Однако Эдисон знал о фотоленте еще до визита во Францию в 1889 году. Возможно, Диксон даже продемонстрировал ему экспериментальный кинетограф с лентой до поездки в Европу. Тем не менее именно после возвращения из триумфального тура Эдисон сделал еще один грубый эскиз для очередной предварительной заявки в патентное ведомство. Он изобразил пленку с отверстиями по обоим краям. Опять же именно Диксон кропотливо воплотил эту простую идею в самый распространенный формат кино XX века.

Рис. 5.13

В 1890 году Марей запатентовал хронофотографическую пленочную камеру. Она могла через короткие промежутки делать снимки на неперфорированную целлулоидную пленку. Позже в том же году он продемонстрировал в Академии наук пленку с фотографиями скачущей лошади! Возможно, в разработке участвовал его преданный помощник Демени. Теперь мы познакомимся с командой французских изобретателей и узнаем в том числе и о Демени.

Мы видим имя Жоржа Демени на нескольких важных узлах блок-схемы истории кино. Тем не менее о нем, как и о У. К. Л. Диксоне, мало кто знает. Однако он тем или иным образом связан почти со всеми игроками французской команды — Маре, Люмьерами, Гомоном, Жоржем де Бедтсом и Анри Жоли. Французский историк, куратор отдела кинематографии Французской синематеки Лоран Маннони вернул Демени из темноты исторического забвения. То же самое американский историк кино Пол Шпер сделал с Диксоном. История Демени полна разочарований, поражений и бесчестного обмана.

Этьен-Жюль Марей был работодателем, учителем и фактически фигурой отца для Демени на протяжении их десятилетнего сотрудничества. Их отношения начались примерно в 1880 году, а к 1882-му стали настолько доверительными, что Марей поручил своему ученику управлять физиологической лабораторией, когда сам уехал на отдых в Италию.

Но со временем стремление Демени сделать из хронофотографии коммерческое предприятие стало противоречить научным интересам Марея, связанным с исследованиями в области физиологии, — очередное эхо битвы башни из слоновой кости и зловонной лаборатории, аналогичное расколу среди изобретателей компьютеров. Марей начиная с 1889 года предупреждал Демени, что не желает подобного развития событий, но Демени настаивал на своем, и к 1893-му отношения между ними окончательно разладились. В одном из писем Демени упоминает о «старческом и хаотическом характере управления» Марея. Вскоре Марей потребовал его отставки. Демени уволили — «поразили молнией Юпитера», как он сам выразился. За этим первым ударом последовало дальнейшее ухудшение отношений с Мареем.

Как упоминалось ранее, Демени, предположительно, помогал Марею с разработкой хронофотографического пленочного фотоаппарата, который Марей запатентовал в 1890 году. Устройство получилось довольно несовершенным. По-другому и не могло выйти — без перфорации, обеспечивающей постоянную частоту кадров. Демени использовал полученный опыт для создания собственной хронофотографии. Он не просто скопировал изобретение Марея. В частности, новая разработка использовала «пальцевый» механизм, авторство которого принадлежало Демени. Он запатентовал пальцевый механизм прерывистого движения в 1893 году в Англии, в 1894-м во Франции и в 1895 году в Соединенных Штатах. Суть изобретения заключалась в кулачковом механизме, решившем сложную проблему согласования непрерывного движения кинопленки и ее прерывистого экспонирования. Пленка плавно покидает подающую катушку проектора, направляясь к проекционному объективу и лампе подсветки. Приемная катушка так же плавно наматывает пленку после проецирования. Но в момент проецирования пленка удерживается неподвижно механизмом прерывистого движения. В противном случае она бы постоянно дергалась при выходе с исходной катушки или накручивании на приемную. Пальцевый механизм помогал избежать таких рывков, устраняя провисания в контролируемом ритмическом режиме.

Впоследствии Марей обвинял Демени в краже изобретения. Претензии кажутся несколько натянутыми. Сам Марей признавал, что, как принято в науке, публично обнародовал конструкцию своей камеры — пальцевого механизма в ней не было. Ошибка Демени заключалась в нарушении общепринятой практики научного приоритета. Безусловно, даже с точки зрения человеческих отношений Демени поступил неправильно, не пригласив Марея в бизнес, частично основанный на совместных разработках, хотя Марей и позиционировал себя как исключительно ученого. Демени лишь усугубил свою ошибку, оскорбляя и обвиняя бывшего наставника и покровителя. Марей, по его словам, вел себя как «ничего не соображающий и озлобленный больной старикашка».

В 1895 году Демени подписал контракт с Леоном Гомоном, разрешив использовать свою доработанную хронофотографическую камеру (без проектора). Первым делом Гомон изменил название устройства на «биограф». В 1896 году в контракт внесли дополнение, чтобы учесть запланированное Демени усовершенствование хронофотографа/биографа — возможность работать и как камера, и как проектор, то есть устройство становилось полноценной киносистемой. Демени наконец добился нужного результата в 1896 году. Затем в 1897-м он модифицировал биограф для использования 35-миллиметровой пленки «формата Эдисона», чтобы сделать устройство максимально конкурентоспособным. Но к тому времени Демени настиг второй удар, на этот раз исходивший от его коммерческого партнера Гомона.

Все началось с «дела Жоли». Шарль Пате купил копию кинетоскопа Эдисона, изготовленную англичанином Робертом Полом, и ему требовались фильмы для организации показов. Формально Пол ничего не нарушал, поскольку Эдисону не удалось запатентовать кинетоскоп в Европе. Однако Пате не мог обратиться в компанию Эдисона, чтобы купить пленки для, по сути, пиратской копии их устройства. Поэтому в 1895 году Пате заключил с французским изобретателем Анри Жоли договор на создание кинокамеры, чтобы снимать кино для пиратского кинетоскопа. Жоли был подходящей кандидатурой, потому что хорошо знал Марея и Демени, а также располагал сведениями об их приборе. Для решения поставленной задачи Жоли разработал свой синематограф — и превратил его в реверсивный проектор. В получившемся аппарате использовался пальцевый механизм, напрямую скопированный у Демени, из-за чего дальнейшие события выглядят особенно отвратительными.

Жоли имел наглость подать в суд на Гомона, партнера Демени. Адвокат истца успешно доказал, что Жоли усовершенствовал механизм Демени. Более того, Жоли удалось запретить Гомону производить машины Демени. Нелепый аргумент, убедивший судью, по-видимому, основывался на том, что механизм Демени был частью запатентованного Жоли усовершенствования, патент Жоли распространялся и на все устройство. Звучит абсурдно, но Гомон, не желая увязнуть в судебных дрязгах, попросту выгнал Демени! Неудивительно, что Демени до конца жизни страдал из-за отсутствия должного признания и даже умер оболганным. Его едва ли утешило, что Жоли на службе у братьев Пате постигла та же участь.

Жоли заметил, что Шарль Пате использует его синематограф только как кинокамеру. Пате, как и Эдисон, увяз в менталитете кинетоскопа и не использовал проекционные возможности устройства. Поэтому Жоли начал искать партнера, который оценил бы коммерческий потенциал кинопроекции. Например, он обсуждал возможности сотрудничества с Жоржем де Бедтсом, одним из множества партнеров Демени. Пате, по понятным причинам, насторожился, однако его реакция оказалась слишком резкой и необоснованной. Он просто выгнал Жоли вместе с женой из предоставленных им помещений, не позволив даже забрать камеру. В 1896 году как раз начался бум кинопроекции. Пате, как и Эдисон, с опозданием понял, что попытки зарабатывать на приборах для индивидуального просмотра ведут в тупик. Он быстро раздобыл реверсивный проектор и занялся кинобизнесом, став в итоге основателем одной из самых успешных киностудий. Мы не знаем, какому проектору на самом деле Пате обязан своим успехом. Возможно, это был синематограф Жоли. В любом случае Пате выкинул Жоли из бизнеса, не выплатив компенсации и не позволив забрать собственные разработки, как только сбылись его прогнозы о прибыльности проекторов. Жоли пытался начать бизнес заново с другим партнером, но снова потерпел неудачу.

Третий удар Демени получил от Люмьеров, которые яростно отрицали, что он повлиял на конструкцию их синематографа. Вот тут сказочная история братьев Люмьер начинает разрушаться. Чертежи Демени, обнаруженные в последние десятилетия, изображают механизм прерывистого движения, в котором используется пара когтей, приводимых в движение эксцентриковым кулачком, — описание синематографа 1895 года. Луи Люмьер видел их, когда встречался с Демени в декабре 1894-го, хотя, по общепринятому мнению, он ознакомился с эскизами предыдущей версии, изображавшими гораздо более грубый механизм.

На блок-схеме Демени также упомянут на стороне американцев, и некоторые историки считают, что здесь ему следует уделить гораздо больше внимания. Дженкинс и Армат в 1895 году использовали механизм прерывистого движения в устройстве, которое впоследствии превратилось в витаскоп Эдисона. Патентное ведомство США считает, что оно заимствовано у Демени. Команда Диксона, возможно, также воспользовалась им для «биографа», но историческое жюри до сих пор не рассудило, так ли это на самом деле. Механизм Демени не составлял коммерческой тайны и неоднократно описывался в популярной фотолитературе того времени.

В истории Демени достаточно разночтений и неясности, поэтому назвать его столь же гениальным, как Диксон, не получится. Тем не менее о его вкладе нельзя забывать. Он слишком активно участовал в забеге обеих команд, знал слишком многих игроков и несет ответственность за некоторые фундаментальные усовершенствования первых киномашин — причем, возможно, большую, чем нам известно.

Анимационные фильмы существуют столько же, сколько и сам кинематограф, ну или по крайней мере с того самого волшебного 1895 года. Но что же такое анимационный фильм?

Дать точное определение довольно сложно. Классическое кино заимствует кадры из реального мира. Декорации могут быть построены в студии, костюмы — полностью придуманы, освещение — сделано искусственно, персонажи — сыграны актерами, но все это — части реального мира. Менее очевидным кажется, что рисованные мультфильмы тоже заимствуют кадры из реального мира. В мультфильме «Белоснежка и семь гномов» Диснея (1937) каждый кадр — это фотография рисунка, изображающего нереальный или вымышленный мир. Однако сами рисунки являются физическими объектами в реальном мире. Так что отличие анимационных фильмов заключается вовсе не в противопоставлении реального и вымышленного.

Также их не отличает противопоставление создания и фиксации пикселей. Только небольшая категория кинофильмов предназначена для фиксации самого реального мира — мы их называем документальным кино. Большинство фильмов снимаются о вымышленных событиях. Для них (не важно, имеем ли мы дело с анимацией или нет) каждый кадр искусственно создается перед его фиксацией кинокамерой.

Отличие также не сводится к противопоставлению трех измерений и плоских картинок, как можно предположить, исходя из термина «рисованные мультфильмы». Некоторые так называемые покадровые (stop-motion) мультфильмы, снятые в технике кукольной анимации, берут каждый кадр из реального трехмерного мира. Возьмем, к примеру, танцующих скелетов из классического фильма Рэя Гаррихаузена «Ясон и аргонавты» (1963). Или любую из серий «Барашка Шона», современного (выходящего с 2007 года по настоящее время) мультсериала, который я люблю смотреть со своими внуками. Некоторые из самых ранних фильмов, совмещавших мультипликацию и живых актеров, снимались в технике покадровой анимации или по крайней мере прерывистого движения — например, «Замок с привидениями» Жоржа Мельеса (1896) или «Отель с привидениями» Джеймса Стюарта Блэктона (1907). А одними из первых неанимационных фильмов были фильмы, в которых художник рисовал двухмерный мультфильм, например «Фантасмагория» Эмиля Коля (1908) и «Маленький Немо» Уинзора Маккея (1911). Эти так называемые молниеносные зарисовки не были анимационными фильмами — до тех пор пока была видна рука художника, — несмотря на их двумерное содержание.

Эти фильмы показывают, что анимационные фрагменты или эпизоды часто различными способами смешивались с неанимационными. Анимационные фильмы и их создатели входили в расширенную программу наших олимпийских состязаний «янки против французов».

Так что анимационные фильмы отличает не мультипликация, противостоящая фотографическому реализму, что стало особенно очевидным в новом мире Цифрового Света. Кадры компьютерной анимации иногда не уступают в плане реалистичности фотографиям, сделанным в реальном мире.

Но если ничего из вышеперечисленного не отличает анимационные фильмы, то в чем тогда их особенность? В использовании времени. Анимационные фильмы определяются нереальным временем, а не нереальным пространством. Анимационные фильмы не привязаны к реальному времени. Все остальные фильмы мы называем «живым кино», по-английски live action (живое действие), потому что они в своей основе так же порабощены течением времени, как и живые существа. Звенящий шпорами Джон Уэйн, идущий своей знаменитой ковбойской походкой по съемочной площадке вестерна, занимает вымышленное, искусственно созданное пространство, но все его движения фиксируются камерой в реальном времени.[30]

Критерий может показаться ошибочным. Известно, что готовый фильм — это последовательность отрывков, которые режиссер или монтажер свободно меняет местами, сокращает, склеивает или переупорядочивает во времени. Конечно, свободная игра со временем противоречит утверждению, что кино ему подчинено. Но помните, что каждый кадр — это подобный движению секундной стрелки отсчет, выборка из непрерывного визуального потока. Это живое действие или действие в реальном времени.

Раннее кино было просто зрелищем — эй, посмотри на это, а теперь посмотри на это: чихающий человек, боксерский поединок, соблазнительная танцовщица, Папа Римский. Именно такие фильмы снимал Диксон в начале 1900-х годов. Однако все изменилось с открытием возможностей монтажа. Монтаж разрывает течение времени. Мы можем в произвольном порядке комбинировать фрагменты фильма, каждый со своим собственным, неумолимо продвигающимся внутренним временем. Каждый фрагмент или кадр подчиняется реальному времени, но общий порядок кадров больше ему не подвластен. Благодаря этой свободе режиссер и монтажер заставляют воспринимаемое время ускоряться или замедляться. Века могут пролетать за одно мгновение.

То же самое происходит и с тысячелетиями, как в фильме «2001: Космическая одиссея» (1968), со знаменитым превращением костяной дубины в межзвездный корабль (рис. 5.14). Обезьяна подбрасывает кость вверх. Она медленно кувыркается, пока камера следует за ней все выше и выше, и наконец становится спутником Земли примерно такой же формы вблизи Космической станции V, величественно вращающейся промежуточной остановки для людей по пути на Луну. Режиссерский монтаж Стэнли Кубрика укладывает всю историю человечества в одно мгновение.

Сила монтажа создает магию повествования и эмоции. И получающееся в результате программное обеспечение — это и есть та форма искусства, которую мы называем «кино». Образно говоря, бесконечное количество возможных программ «запускается» на «компьютере» нашего мозга.

Анимационные фильмы доводят возможность монтажа до физического предела — до работы с каждым кадром. Время перестает быть ограничением. В анимации нет визуального потока, из которого нужно делать выборку. Как правило, следующий кадр — это примерно то же самое, что и текущий кадр, но как бы перенесенный на одну двадцать четвертую секунды в будущее, как если бы он был отсчетом из визуального потока в реальном времени. Но это не обязательно. Все происходит в фиктивном времени, которое создано мультипликатором и может иметь мало отношения к реальному времени, или вообще не иметь к нему никакого отношения, или, наоборот, точно моделировать течение реального времени.

Рис. 5.14

Так что мир анимационного кино — мир смелых. Он бывает абстрактным до той степени, куда готов продвинуться художник. Допустима любая форма и в любом порядке. Доведенная до высшего предела, абстрактная анимация — чистый механизм создания эмоций из произвольных визуальных образов, так же как музыка — создание искусства из произвольных звуков. Поэтому анимация — это потенциально одна из великих форм искусства, ожидающая своего Моцарта, Шопена и Стравинского, хотя за недолгое время ее существования некоторые художники уже пытались сделать это на практике. Яркие примеры такой анимации, чистой визуальной музыки, — «Игра света: Опус I» Вальтера Руттмана (1927) и «Движущаяся живопись № 1» Оскара Фишингера (1947).

В 1950-х годах, будучи ребенком, я восхищался тем, как Уолт Дисней объяснял технологию мультипликации в своем еженедельном телевизионном шоу «Диснейленд». Он излагал технологию покадровой рисованной мультипликации, которую мы подробно рассмотрим в следующем разделе. Ее называли cel animation, «анимация на целлулоиде» (cel — это сокращение от «целлулоид»). Когда в начале 1970-х я самостоятельно осваивал анимацию, я изучал анимацию на целлулоиде. Когда в середине 1970-х я учился анимации у профессионалов, они обучали меня именно анимации на целлулоиде. Когда в конце 1970-х годов я и мои коллеги внедряли цифровую анимацию, мы использовали подход, представлявший собой цифровой эквивалент анимации на целлулоиде. И когда мы впервые реализовали двухмерную анимацию для компании Disney в конце 1980-х, это снова была анимация на целлулоиде. Поэтому неудивительно, что я считал анимацию на целлулоиде единственной существующей технологией. Но я ошибался.

В первые дни кинематографа, на заре XX века, Эмиль Коль размещал непрозрачные фигурки мультипликационных персонажей, собранные из бумажных фрагментов, поверх рисованного фона — в технике, называемой декупаж. Далее Коль мог, например, поднять ногу своего персонажа, чтобы тот начал делать шаг. Полученный кадр фотографировался, затем положение фигурки снова изменялось — скажем, так, чтобы колено немного опускалось, а стопа приближалась к полу. Это была, по сути, двумерная покадровая кукольная анимация.

В еще одном методе из ранних дней, который называют slash and tear (резать и рвать), мультипликатор аккуратно вырезал отверстие на рисунке, изображавшем фон или задний план сцены, чтобы стал виден самый верхний из расположенной под ним стопки рисунков с движениями персонажа. Полученная композиция фотографировалась, превращаясь в кинокадр, самый верхний рисунок из стопки отрывался, и под ним оказывался рисунок со следующим положением персонажа, видимый через отверстие в изображении заднего плана. Эту технику использовал франко-канадский аниматор Рауль Барре, и она считалась единственным серьезным конкурентом анимации на целлулоиде.

Серьезной причиной для разработки конкурирующих технологий стала патентная защита анимации на целлулоиде. Джон Рэндолф Брэй поставил анимацию на прочную деловую основу и превратил в коммерческое предприятие, способное удовлетворять ненасытный спрос на продукцию киноиндустрии. Он понимал силу патентной защиты и запатентовал большую часть того, что мы сейчас называем анимацией на целлулоиде, в 1913 году. Но ему не удалось запатентовать ключевую идею прозрачного целлулоида. Его основным материалом оставалась бумага.

Патентными лакунами воспользовался сотрудник его студии Эрл Херд, подавший заявку на патент в 1914 году, чем окончательно зафиксировал весь технологический процесс покадровой мультипликации, каким мы его сейчас знаем. Вместо бесконечных препирательств в судах Брэй и Херд достигли соглашения о совместном использовании этих идей в рамках технологии Брэя — Херда. Брэй всегда считал эти технологии своей заслугой, хотя решающим фактором стал патент Херда. Затем они начали преследовать тех, кто занимался мультипликацией, не купив у них лицензию. Таким образом, Брэй и Херд сыграли для мультипликации ту же роль, что трест Эдисона — для игрового кино с живыми актерами.

Мультипликаторы должны нарисовать и собрать 24 кадра для каждой секунды кинопроекции, но во времена рисованной мультипликации на самом деле часто «снимали по 2», то есть создавали всего 12 кадров для каждой секунды, но фотографировали их дважды, чтобы получить нужные 24. От этой практики отходили только для сцен с быстрым движением. «Съемка по 2» слегка упрощала логистику и вдвое сокращала производственные затраты, но делала анимацию более прерывистой.

Ранние мультипликаторы разработали набор приемов, помогающих компенсировать возникающую в результате низкую частоту выборок во времени и фактическую статичность каждого второго кадра. Поучительно — и забавно — наблюдать за столь замечательными трюками. Главные из них — сжатие и растяжение, а также упреждение и преувеличение. Их создали мультипликаторы, даже не подозревавшие о существовании теоремы Котельникова, но интуитивно хорошо понимавшие закономерности человеческого восприятия и принципы визуального повествования.

Рассмотрим прыгающий мяч — чаще всего именно с такой анимации начинают новички. Когда реальный мяч отскакивает от поверхности, высота параболических кривых, по которым он движется, постепенно уменьшается. В момент удара реальный мяч немного деформируется. Чем он мягче, тем сильнее деформация. На рисунке 5.15 кружок показывает, как выглядит выборка в каждый момент времени для последовательности кадров. Обратите внимание, что отскок происходит в момент отсчета, именно во время съемки очередного кадра. Поскольку мультипликаторы могут выбирать время выборки — они не привязаны ко времени, — они всегда выбирают именно этот момент.

Как вы уже знаете, каждый кадр проецируется дважды, чтобы избежать мерцания. Соответственно, даже в идеальном случае — при «съемке по 1», а не «по 2» — каждое положение прыгающего мяча проецируется на сетчатку дважды. Но когда мультипликаторы «снимают по 2», каждый кадр повторяется дважды. В результате при такой анимации каждый кадр проецируется на сетчатку четыре раза! Посмотрите на кадр, в который попал мяч в момент удара. Сетчатка видит его четыре раза. И все же мозг воспринимает его как единичный момент удара и отскока. Как это работает? Теорема выборки совсем не помогает справиться с подобной ситуацией.

Более того, момент отскока — это резкий край визуального потока. Если говорить о частоте, то у этого края очень высокие частоты, что требует выборки с гораздо более высокой скоростью, чем 24 раза в секунду, и, конечно же, намного выше, чем 12 кадров в секунду при «съемке по 2». В соответствии с теоремой отсчетов, правильное решение сводится к избавлению от высоких частот и сглаживанию резкой смены направления. Но мультипликаторы занимаются вовсе не этим. Им нужны резкие края, поэтому вместо сглаживания они преувеличивают этот момент — момент с самыми высокими частотами временных волн. И снова возникает вопрос: как это работает? Теперь становится ясно, что аниматоры не привязаны не только ко времени, но и к физике реального мира, однако они все же каким-то образом руководствуются своим жизненным опытом.

На рисунке 5.16 показана одна страница (воссозданная мной по памяти) из мастер-класса по рисованию прыгающего мяча от мастеров мультипликации Фрэнка Томаса и Олли Джонстона, двух из чрезвычайно талантливой «девятки диснеевских стариков» — выдающихся аниматоров, составлявших ядро студии Уолта Диснея и ставших залогом успеха компании. Мои рисунки плохо передают их очаровательные карандашные наброски, а особенно наиболее эффектные из них.

Фрэнк и Олли — как они просили их называть — указывают в подписи к рисунку, что более близкое расстояние вверху — это результат эксперимента. Собственно, именно этого требует физика, если выборка производится через равные промежутки времени, как показано на предыдущей иллюстрации (рис. 5.15), выполненной в строгом соответствии с теоремой отсчетов.

Они искажали реальность, чтобы «создать видимость отскока». Обратите внимание на нижнюю половину рисунка 5.16. Мяч удлиняется (растягивается) к точке соприкосновения, сплющивается (сжимается) в момент контакта с ней и постепенно ослабляет растяжение после отскока. Это иллюстрирует сжатие и растяжение, а также ожидание (упреждение) события (растягивание в сторону отскока до того, как он произойдет) и преувеличение отскока и последующего движения. По словам Фрэнка и Олли, эти приемы «придавали действию больший динамизм». Подобные трюки позволяли улучшать субъективную, воспринимаемую зрителем «реальность».

На самом деле Фрэнк и Олли улучшали ее на каждом этапе. Сравните верхний эскиз на рисунке 5.16 — отскок без сжатия и растяжения — с рисунком 5.15. Обе картинки предназначены для демонстрации прыгающего мяча в реальном мире. Но Фрэнк и Олли, отринувшие физические узы реального мира, не скованные гравитацией и ее параболами, а также свободные от теоремы отсчетов, нарисовали такой отскок, который выглядит эффектнее и убедительнее, чем физически правильный. Затем они усовершенствовали улучшенный эскиз при помощи сжатия и растяжения. Обратите внимание, что их отсчеты расположены не совсем в правильных местах, а мяч отклоняется от истинных парабол. Деформация в момент удара (еще более диковинная на их фактическом рисунке) имеет мало общего с реальной. Это больше похоже на эластичный пакет, наполненный водой, чем на резиновый мяч.

Рисунок 5.15

Рис. 5.16

Фрэнк и Олли утверждали, что с помощью чистой интуиции обнаружили, как преодолеть недостатки в раскадровке фаз движения прыгающего мяча. Почему эти замечательные трюки так хорошо работают? Есть подозрение, что все дело в процессе выборки. Поскольку мы на самом деле не знаем, как мозг реконструирует анимацию из отдельных изображений (особенно учетверенных копий одного и того же кадра), остается лишь догадываться, почему это работает. Похоже, опытные мультипликаторы наполняют отсчеты и кадры подсказками для человеческого мозга. Удлиненные мячи до и после отскока вытягиваются в направлении движения. Это такой же намек мозгу, как и размытие движения в стандартном кадре игрового фильма.

Преувеличенная деформация мяча в момент удара отправляет в мозг поток драматизированной информации. Мультипликаторы поддерживают воспринимаемый объем мяча и сохраняют некоторое представление о физической реальности. Но они чрезмерно расплющивают мяч по вертикали и растягивают по горизонтали, иногда почти до состояния блина. Когда такая последовательность быстро воспроизводится на экране, движение прыгающего мяча выглядит плавным, а сам он кажется забавным и упругим, «более динамичным». У мяча есть вес, под воздействием которого он деформируется. Мультипликаторы контролируют наши ощущения, преувеличивая сжатие и растяжение. Феномен видимого движения не совсем отражает то, что происходит в реальности. Кажущаяся деформация больше похожа на события реального мира.

Моя самая запоминающаяся встреча с упреждением, преувеличением, сжатием и растяжением произошла, когда я осваивал трехмерную анимацию на компьютерах. Дело было на Лонг-Айленде в середине 1970-х, когда компьютеры еще оставались довольно примитивными. Я смоделировал свою левую руку как упрощенный скелет, состоящий из маленьких цилиндров вместо костей и маленьких сфер вместо суставов. Я даже сделал 8 маленьких запястных косточек — 8 маленьких сфер. Модель работала на удивление хорошо, если не присматриваться слишком внимательно.

Я сделал копию левой руки и зеркально отразил ее, получив правую руку. Копирование и зеркальное отображение — очень простые операции для компьютера. Итак, у меня есть две руки, но что мне теперь с ними сделать? Какую анимацию? Я внимательно наблюдал за своими руками, хлопая в ладоши. Сделайте это сами, и вы заметите, что расстояние между ладонями составляет всего пару дюймов или около того. Пальцы одной руки слегка сгибаются вокруг указательного пальца или мизинца другой руки, когда ладони сближаются. Большой палец одной руки слегка огибает большой палец или всю ладонь другой. Движения ритмичны: ладони врозь, ладони вместе. Такую анимацию легко реализовать даже с помощью простых инструментов того времени.

Но это движение выглядело скучно! Оно слишком стерильно. Мне пришло в голову что-то изменить за счет сжатия и растяжения вместе с упреждением и преувеличением. Я рассчитывал с их помощью улучшить воспринимаемую «реальность». И они должны были работать с новой трехмерной анимацией так же, как работали со старой двумерной покадровой анимацией на целлулоиде. Ведь в обоих случаях в результате получаются двумерные кадры.

Поэтому я согнул руки назад в запястьях — согнул слишком сильно (рис. 5.17). Я преувеличил движение. Я предвосхитил сближение рук, сначала разведя их, — я отвел их назад, чтобы подчеркнуть движение вперед. Так работает упреждение. Затем я преувеличил скорость движения ладоней. Когда они столкнулись и внезапно остановились, пальцы продолжают двигаться. Пальцы заходят за ладонь — невероятно далеко, слишком далеко, — а потом возвращаются в привычное положение. Они даже набухали на концах при растяжении, а затем сжимались до исходного размера. Я сделал анимацию для двух наборов из четырех пальцев и отдельно для обоих больших пальцев. Много растяжения, гораздо меньше сжатия.

Воспроизведение получившейся анимации восхитило меня! Пара больших, толстых, мягких ладоней хлопали, отчего казались живыми и приятными взгляду. Результат наполнил меня уважением к мастерам мультипликации.

Рисовать вручную каждый кадр анимационного фильма — кропотливая работа. Не проще ли снять живых актеров, а затем обвести их, чтобы получился мультфильм? Этот трюк называется ротоскопированием. Его несколько раз переизобретали заново. Эдвард Мейбридж поручил художнику воспроизвести каждый кадр знаменитой скачущей лошади, обведя силуэт тушью. Поэтому мы предлагаем считать его отцом ротоскопирования, а не настоящего (живого) кинематографа.

Лоран Маннони из Французской синематеки показал мне два взаимосвязанных короткометражных фильма времен зарождения кинематографа. Один состоял из фотокадров, на которых Жорж Мельес, по-видимому, показывал фокус. Второй, снятый в Германии в 1897 году, использовал раскрашенные вручную кадры из первого — каждый из них представлял собой цветной рисунок по соответствующей фотографии.

Американский патент на ротоскоп, принадлежащий Максу Флейшеру, датируется 1917 годом. Он начал использовать этот процесс, чтобы анимировать своего знаменитого клоуна Ко-Ко в сериале «Из чернильницы» (Out of the Inkwel) 1915 года. Его брат Дэйв исполнял танец, снятый на кинокамеру. Затем Макс использовал ротоскопическую установку своей конструкции, чтобы сделать мультипликацию из полученных кадров. Проектор, установленный сзади за прозрачным мольбертом, увеличивал их. Макс устанавливал на мольберт целлулоидные листы и обводил контур Дэйва. Каждый из братьев называл себя автором идеи — их утверждения противоречили друг другу. Впрочем, как мы убедились, это, вероятно, не имеет никакого значения, потому что они в любом случае не первыми придумали ротоскопирование. Но они эффективно использовали его. Дэйв работал в Pathé, но «Из чернильницы» в прокат выпустила в 1919 году студия Брэя, несомненно, довольная тем, что процесс ротоскопирования находится под ее патентным контролем — как и анимация на целлулоиде.

Рис. 5.17

Дэйв Флейшер сыграл определенную роль в возникновении Цифрового Света, хотя и не узнал об этом. Дэйв и Макс основали Fleischer Studios, известную многими знаменитыми мультфильмами, в том числе серией о моряке Попае. Спустя долгое время после смерти Макса молодой аниматор Джон Джентилелла работал над эпизодом «Попай, пакующий шпинат» (1944), который продюсировал Дэйв. Затем под псевдонимом Джонни Гент он руководил мультипликаторами, которые работали над полнометражным мультфильмом «Табби Туба» (1975), сделанным в технике старомодной целлулоидной анимации в кампусе Нью-Йоркского технологического института (NYIT), принадлежащего Александру Шуре.

Шуре нанял Эда Катмулла и меня (и еще несколько человек), чтобы мы разработали для Джонни технологию использования компьютеров для создания анимации. Эд занимался контурами переднего плана, а я — их цветовой заливкой и рисованием фона. Мы продвигались недостаточно быстро, чтобы помочь с работой над «Табби Тубой», но мы и другие сотрудники Лаборатории компьютерной графики NYIT предложили несколько оригинальных идей, которые значительно позже — через много лет и после существенных усовершенствований — превратились в систему компьютерной покадровой анимации CAPS (Computer Animation Production System) в студии Disney.

Мы с Эдом (и еще несколько человек) начали работать со студией Lucasfilm примерно в 1980 году. Тогда компания Disney обратилась к нам с просьбой оцифровать их процесс анимации. Я вел переговоры с Disney о заключении контракта на разработку CAPS больше года. Когда мы с Эдом некоторое время спустя, в 1986 году, основали Pixar, мы забрали CAPS с собой и завершили работу над ней, к обоюдному удовлетворению обеих компаний. CAPS использовалась, пока компания Disney не купила Pixar в 2006 году. Именно Джонни Гент и его команда из NYIT в 1970-х годах научили нас тонкостям анимации на целлулоиде при съемках полнометражных мультфильмов, что легло в основу наших отношений с Disney и достигло кульминации примерно 30 лет спустя, когда компания Disney купила Pixar.

Сплайн из демонстрации, которую я устроил для Рави Шанкара, представлял собой элемент геометрии, полученный с применением лекала — одного из инструментов чертежника.

В детстве, задолго до появления персональных компьютеров, отец учил меня рисованию и черчению с помощью инструментов. Мы использовали точный немецкий циркуль для рисования окружностей, Т-образный угольник для прямых углов и линий, чертежные перья и тушь, которую в Америке называют индийскими чернилами. У отца был еще один довольно загадочный инструмент — французское лекало (рис. 6.1), напоминавшее перевернутые сани Санты. Оно предназначалось для того, чтобы сгладить последствия дрожи в руках при рисовании плавных кривых необычной формы. Чертежник сдвигает лекало в разные положения, рисуя кривую по частям. Хорошо, если удается найти все нужные шаблоны, но иногда это сделать не получается.

Серьезным чертежникам нужны более надежные инструменты. Дизайнеры роскошных яхт не довольствуются лекалами, на которых иногда отсутствуют необходимые им изгибы. Например, чтобы изобразить корпус гоночной яхты, они используют тонкую гибкую металлическую полосу, удерживаемую на месте тяжелыми грузами, как показано на рисунке 6.2. Полоса проходит через точки, зафиксированные грузами, и образует плавную кривую, по которой легко провести нужную линию. Чертежный инструмент, состоящий из полосы и грузов, называется сплайном.

Идея программного сплайна, который я демонстрировал Рави Шанкару, непосредственно вдохновлена физическим инструментом дизайнеров яхт. Грузы из-за специфической формы часто называют утками (или китами). Вы даже можете купить целую стаю таких грузов, раскрашенных как кряква, крохаль, арлекин и так далее. На них расположены крючки, через которые проходит физический сплайн. Геометрический сплайн состоит из стаи виртуальных уток и не имеет физического воплощения. Утки в данном случае — это просто точки, через которые проходит линия. В демонстрации для Рави Шанкара утки были отдельными точками, появившимися на планшете, когда я делал росчерк.

Рис. 6.1

Рис. 6.2

На рисунке 6.3 изображены точки, полученные на планшете во время моей демонстрации технологии Рави Шанкару. Маленькая стрелка показывает направление движения стилуса. Планшет записал мой жест в виде значений координат через равные временные интервалы, так что, как вы можете заметить, я сначала рисовал быстро, затем замедлялся на поворотах и заканчивал снова быстро. Изображение справа — это то, что нам не нужно, соединение точек прямыми линиями. Это интерполяция тех же данных, но не очень приятная на вид — жесткая зигзагообразная «кривая». В старые недобрые времена люди думали, что компьютер на большее не способен. Они считали компьютеры грубыми и угловатыми — одним словом, механическими, — пока закон Мура не доказал обратное. В компьютерной графике линейная интерполяция — прямые линии между точками — не приветствуется.

Рис. 6.3

Мы научились делать намного лучше. Расположение каждой точки можно сопоставить с расстоянием до нее по вертикали от нижнего края планшета. Рисунок 6.4 демонстрирует график вертикального положения каждой точки. Это просто точки слева, расположенные по горизонтали через равные промежутки времени.

Мы сделали вертикальные позиции точек похожими на отсчеты вроде тех, что показаны в предыдущей главе. Это не выборка из окружающей действительности, но ничто не мешает нам вести себя, как будто так оно и есть. Давайте создадим фиктивную «реальность» с помощью теоремы выборки. Обратите внимание, мы говорим создадим, а не реконструируем. Вновь проявляется различие в точках зрения. Мы знаем, как создавать реальность: разбросать каждый образец хорошим разбрасывателем и сложить результаты. Рисунок 6.5 — это то, что у нас получается. Гладкая кривая проходит через (интерполирует) «выбранные» вертикальные позиции, расположенные на пиках разбрасывателя. Точки на кривой соответствуют желаемым положениям по вертикали, поскольку они изменяются во времени.

Затем мы повторяем тот же трюк для горизонтальных позиций. В результате получается гладкая кривая, которая проходит через «выбранные» горизонтальные позиции. Точки на кривой соответствуют желаемым горизонтальным положениям, поскольку они плавно меняются во времени.

Рис. 6.4

С помощью этих двух кривых мы можем построить нужную нам двумерную пространственную кривую — сплайн — в любой конкретный момент: мы берем ее вертикальное положение на первой кривой и ее горизонтальное положение в тот же момент на второй кривой. Если действовать методично по мере течения времени, то мы прочерчиваем нужную нам кривую в том же направлении и порядке, что и исходное движение стилуса. То есть мы построили пару гладких кривых для вертикального и горизонтального положений стилуса, которые проходят через, или интерполируют, точки на планшете, которые я демонстрировал Рави Шанкару. Это сложный способ сказать, что мы создали плавную кривую через точки.

Давайте повторим наши рассуждения снова. Мы предполагаем, что через заданные точки планшета проходит гладкая кривая — траектория исходного движения. Если вы задумаетесь над реализацией этой версии, вы поймете, что вертикальные изменения вдоль траектории должны происходить плавно, как и горизонтальные. Итак, мы используем технику реконструкции — согласно теореме отсчетов, — чтобы построить плавно изменяющуюся кривую вертикальных положений и другую кривую плавно изменяющихся горизонтальных положений. Обе должны пройти через вертикальное и горизонтальное положение точек нашей выборки в двумерном пространстве. В любой другой момент мы можем просто брать положение по вертикали и по горизонтали на двух построенных кривых, чтобы получить координаты точки, которая должна лежать на этом месте в определенный момент. На рисунке 6.6 показано, как выглядит итоговый сплайн по сравнению с определившими его точками-«утками». То, что вводит человек, показано слева, а то, что выводит компьютер, — справа. Получившаяся кривая гладкая, а не зигзагообразная. Это сплайн, одна из самых красивых идей Цифрового Света. И вообще, сплайн — очень красивое слово.

Рис. 6.5

Рис. 6.6

Посмотрите еще раз на изображение (рис. 6.7) разбрасывателя, применявшегося как Котельниковым, так и Уиттекером. Это теоретически правильный разбрасыватель.

Но мы не сможем использовать его для наших сплайновых конструкций, потому что он бесконечен. Его волны уменьшаются, но не прекращаются. Ранее мы использовали в качестве альтернативы практичный конечный разбрасыватель, изображенный на рисунке 6.7 внизу, рассматривая его как «хорошее приближение» к идеальному. Однако все это мы проделывали в контексте реконструкции — в вотчине Котельникова. Здесь, где контекст подразумевает создание, нам не нужно использовать идеальный и бесконечный расширитель. Мы можем довольствоваться более простой и конечной версией. И замечание о приближении значения не имеет. Мы точно строим новую кривую, а не приблизительно реконструируем прежнюю.

Сплайн, получающийся при помощи простого разбрасывателя, открывали заново несколько раз. В компьютерной графике его называют сплайном Катмулла — Рома — в честь двух студентов, изучавших компьютерную графику и открывших его заново: Эда Катмулла, который вместе со мной основал Pixar, и Рафаэля Рома.

Поскольку и Катмулл, и Ром пришли к своему сплайну, отталкиваясь от построения гладких кривых через интерполяцию Уиттекера, им бы не пришло в голову искать в нем реконструкцию по отсчетам Котельникова, а их разбрасыватель лишь приближался к идеальному. И они даже не подумали бы о частотах Фурье в сгенерированных сплайнах.

Рис. 6.7

Два разных подхода — к созиданию и к отображению — основаны на разных точках зрения, поэтому я отдаю должное Уиттекеру за создание, а Котельникову — за реконструкцию. Важное практическое следствие заключается в том, что один разбрасыватель может использоваться в обоих контекстах. И в том и в другом случае достаточно одной компьютерной программы. Возможность применения одной и той же идеи как в пространстве Созидания, так и в пространстве Отображения — удивительно красивая взаимосвязь.

Что такое треугольник? Я сверился с учебником элементарной геометрии, который бережно храню со времен окончания средней школы в Кловисе, штат Нью-Мексико, — книгой, определившей мое будущее. Она начинается на странице 7 с точек и прямых линий. Эти две идеи действительно нельзя определить через другие — мы просто «знаем», что они собой представляют, — но мы начинаем «понимать» их, лишь подумав, чего им не хватает или чем они не являются: у точки нет ни ширины, ни высоты, ни толщины. Это просто местоположение. Прямая линия не имеет ни ширины, ни толщины и продолжается бесконечно в обоих направлениях одного измерения. Она задается двумя точками. Отрезок прямой — это конечный участок линии, заданный двумя точками, расположенными на ней (для самого отрезка они будут конечными точками). Ломаная линия состоит из отрезков, конец каждого из которых, кроме последнего, соединен с началом другого. Таким образом, у ломаной линии есть две конечные точки.

Удивительно, но в учебнике до 57-й страницы нет ни одного упоминания скромного треугольника. Многоугольник — это замкнутая ломаная линия, говорится там. Конечная точка последнего отрезка соединяется с началом первого отрезка — таким образом, никаких конечных точек. Ну и, наконец, треугольник — это многоугольник, у которого всего три стороны. Все эти геометрические фигуры невидимы — в силу нулевой толщины линий, — но в учебнике сказано, что точка представлена точкой на картинке. Весь этот урок геометрии показан на рисунке 6.8. Здесь вы видите визуализации пяти невидимых геометрических объектов, о которых я только что упомянул. Перед вами конкретные изображения простых абстрактных геометрических моделей.

Преимущество столь длинного пути учебника к треугольнику в том, что так вводится важный термин. Многоугольник, или полигон, — одно из самых любимых слов в компьютерной графике. Общий ее подход заключается в описании вымышленного мира с помощью полигонов. Но мы сразу избавим себя от необходимости использовать слово «многоугольник» с помощью фундаментального факта: любой многоугольник можно разделить на треугольники. Выберите любой угол или вершину многоугольника и проведите от него линии ко всем остальным углам или вершинам. Так что мы можем всегда говорить только о треугольниках. На рисунке 6.9 показаны два различных способа преобразования четырехстороннего многоугольника в два треугольника одной пунктирной линией. Для пятистороннего многоугольника потребуются две таких линии и так далее. (См. комментарии на сайте по поводу подробностей и исключений.)

Благодаря этому трюку мы можем сосредоточиться только на моделях, состоящих из треугольников. Однако не каждую модель получится изготовить из треугольников. Геометрическая модель кривой, которую я показывал Рави Шанкару, — это просто сплайн, а не многоугольник. Текст на первой цифровой картинке «Первый Свет» и игровые поля ранних видеоигр в главе «Восход Цифрового Света» также основывались на простых моделях, несводимых к треугольникам. Они, за немногими исключениями, представляли собой просто отрезки прямой линии.

Но вспомните анимационные фильмы Pixar (от «Истории игрушек» до «Суперсемейки 2»), «Гадкий я» студии Illumination и все другие анимационные фильмы с трехмерными персонажами, похожие на те, что делает Pixar. Все персонажи состоят из поверхностей, а поверхности можно моделировать только из треугольников.

Если мы научимся работать с одним треугольником, то Усиление — великая суперспособность компьютеров — позаботится обо всех остальных (обычно речь идет о миллионах треугольников). Центральная идея этой и следующей глав заключается в том, что если вы разберетесь, как один треугольник попадает из памяти компьютера на экран дисплея, то с помощью концепции Усиления легко поймете, как на экране оказывается все изображение. Именно компьютер, неустанно вычисляющий одно и то же снова и снова, миллионы и даже миллиарды раз, с высокой скоростью, делает возможной компьютерную графику. Это трудно сделать — а для человека без посторонней помощи и вовсе невозможно, — но легко понять.

Рис. 6.8

Рис. 6.9

На протяжении десятилетий компьютерные художники демонстрировали свои достижения, создавая изображения одного объекта… Чайника. На самом деле именно этот чайник даже стоит на почетном месте в Музее компьютерной истории (рис. 6.10). Он принадлежал англичанину Мартину Ньюэллу, который был профессором компьютерной графики в Университете штата Юта в 1970-х годах. Менее известно, что Ньюэлл смоделировал не только чайник, но и целый сервиз с чашками и блюдцами, ложками и сливочником.

На рисунке 6.11 показано, как смоделировать сложный объект — чайник — на компьютере при помощи геометрии. Та же идея используется для моделирования формы каждого персонажа в фильмах, созданных по тому же принципу, что и фильмы студии Pixar. Перед вами две разные модели чайника Ньюэлла, которые — по понятным причинам — называются каркасными (wireframe) представлениями. Модель слева — это сетка из треугольников. Чайник справа состоит из четырехсторонних полигонов. Диагонали, проведенные в каждом из четырехсторонних полигонов, преобразуют его в модель из треугольников. Треугольники плоские, но мы составляем криволинейные поверхности из такого количества маленьких треугольников, что на соответствующем расстоянии совокупная поверхность кажется гладкой и искривленной. Вскоре мы опишем, как создавать такие сетки, но пока предположим, что они существуют.

На самом деле такие картинки — не то, что находится внутри компьютера. Внутри компьютера нет картинок, даже похожих на геометрию. Изображения — это визуализации геометрических моделей внутри компьютера при помощи пикселей, которые отображаются на дисплее, а в данном случае — на печатной странице, которую вы сейчас читаете.

Что такое «геометрическая модель внутри компьютера»? Вспомним, что внутри компьютера есть только узоры из информации. Хотя биты не обязательны, как мы обсуждали, в наши дни узоры информации всегда хранятся именно в них. Таким образом, модель — определенный узор из высоких и низких напряжений в элементах интегральной микросхемы, расположенной где-то в недрах компьютера.

В предыдущих главах я также отмечал, что биты не обязательно представляют числа, но в геометрических моделях для компьютерной графики они именно так и делают. Каждый отрезок линии, образующий треугольник, то есть каждая из его сторон, представлен числами, обозначающими положение двух его концов. Другими словами, в памяти компьютера хранятся координаты каждой вершины (точки, где сходятся стороны), ее расположение по горизонтали, вертикали и глубине. Таким образом, модель, состоящая из треугольников, внутри компьютера — это просто набор битов, которые представляют числа, обозначающие положение вершин треугольников в трехмерном пространстве. Модель — это, по сути, список чисел, обычно очень длинный. В списке для чайника их будет около 26 000; для Базза Лайтера потребуются миллионы. Усиление — единственный способ, благодаря которому мы справляемся с такими объемами.

Рис. 6.10

Для геометрической модели обычно хранится еще один вид информации. Его можно считать структурой модели: эта точка соединена с той, этот треугольник имеет общее ребро с тем, эта ручка чайника соединена с корпусом или бедренная кость персонажа соединена с берцовой. Такие фрагменты информации — тоже числа, это адреса в памяти компьютера. Например, за тремя координатами точки следует еще одно число. Оно сообщает программе, куда обратиться в массиве памяти, чтобы найти другую точку, связанную с этой.

Компьютер, конечно же, не понимает, что означают эти данные. Он даже не подозревает, что паттерны из высокого и низкого напряжения на самом деле — геометрическая модель. Чтобы разобраться в них, нужна программа. Именно программа «знает», что биты представляют собой числа, а хранящиеся в памяти числа представляют собой треугольники. Или что число — это адрес, по которому находится примыкающий элемент. Длинный список бессмысленных шагов — программа, хранящаяся внутри компьютера, — придает смысл длинному списку чисел — модели, хранящейся внутри компьютера, — и в результате появляется картинка на дисплее. На самом деле именно человек, написавший программу, знает смысл ее самой и данных, которыми она оперирует.

Вам не обязательно видеть модель в процессе ее создания. В первые дни компьютерной графики программисты делали модели, не видя их. Мартин Ньюэлл не видел модель своего чайника, когда программировал ее на компьютере. Но современные программы компьютерной графики позволяют нам видеть модель, по мере того как мы ее проектируем. Как мы скоро узнаем, день, когда стало возможно увидеть модель во время ее создания, считается очень почитаемой датой в календаре истории компьютерной графики.

Как список чисел превращается в чайник или в Базза Лайтера? Если вы знаете, как один треугольник проходит путь от битов до отображенных пикселей, то компьютерная суперспособность Усиление справится со всем остальным — с той частью тяжелой работы, которую ни один человек, независимо от того, насколько он опытен, умен или сведущ в компьютерах, не сделает. Компьютеры очень хорошо справляются с монотонным выполнением множества бессмысленных инструкций. Итак, наша цель — вывести на экран один треугольник. Если мы поймем, как это делается, мы поймем всё.

Модель, состоящая из треугольников, трехмерна, но ее изображение, то есть геометрическая модель, представленная в пикселях пространства Отображения, имеет только два измерения. Два каркасных чайника, изображенные на рисунке 6.11, кажутся трехмерными, потому что они визуализированы в перспективе, в результате чего треугольники несколько сплющились. Но они всё еще остаются треугольниками. Именно эти двумерные треугольники мы сейчас будем учиться рисовать.

Это легко сделать на старомодном векторном дисплее. Программа просто дает указание дисплею провести отрезок — сторону треугольника — от одной из его конечных точек до другой. А затем программа повторяет инструкцию для двух других сторон. Вот и всё. Перед нами на дисплее изображение треугольника. Из короткого списка чисел, хранящихся в памяти в виде битов, мы получили изображение треугольника на дисплее. Используя чудо Усиления, мы заставляем компьютер очень быстро повторять этот простой процесс десятки тысяч раз, чтобы получить геометрическую модель целого чайника в виде каркасного изображения на векторном дисплее.

Хотя в отображении треугольников таким образом концептуально нет ничего сложного, компьютерная графика потратила годы, чтобы сделать этот процесс эффективным. Например, пустая трата драгоценного времени — рисовать сторону треугольника более одного раза, если она общая с другим треугольником. Мы упустили из виду несколько других вопросов, важных для компьютерной графики, но это технические подробности (см. комментарии на сайте). Вам не нужно знать о них, чтобы интуитивно понять, насколько просто преобразовать треугольник из числовых значений, хранящихся в ячейках памяти компьютера, в изображение на экране дисплея. Или в сетку из треугольников, изображающую чайник.

Рис. 6.11

На векторном дисплее легко нарисовать отрезок линии, а значит, и треугольник. Но современные дисплеи не векторные. Они растровые — с изображениями, которые формируются из отображенных пикселей. Как же провести отрезок прямой линии под произвольным углом на устройстве, элементы отображения на котором расположены строго в рядах и столбцах? Этот же вопрос можно задать иначе: как вы визуализируете линейный сегмент на растровом дисплее?

Первым алгоритмом рендеринга в компьютерной графике, получившим имя человека, был алгоритм Брезенхэма. Это одна из первых известных процедур приближения отрезка с помощью пикселей. Джеку Брезенхэму в 1962 году пришлось использовать пиксели, которые могли быть либо включены, либо выключены, чтобы (грубо) отобразить линейные сегменты. Это все, чем он мог воспользоваться.

Вот отрезок линии (рис. 6.12, диагональ), визуализированный с помощью алгоритма Брезенхэма в виде черных отображенных пикселей на белом фоне. Маленькие точки — это местоположения пикселей. Отображенные пиксели (большие точки) размещаются поблизости или на самом отрезке. Алгоритм Брезенхэма наиболее эффективен на простых растровых дисплеях, отображающих только черный или белый цвет.

Конечно, диагональный отрезок, который вы здесь видите, — на самом деле рендеринг в отображенные пиксели на современном дисплее (или печатной странице) невидимого в противном случае отрезка. А отображенные, или «разбросанные», пиксели (большие точки) брезенхэмовского приближения отрезка на самом деле не являются увеличенными изображениями пикселей. Пиксели — это не идеальные маленькие квадратики и не замечательные черные кружки.

Алгоритм Брезенхэма и ему подобные сделали раннюю компьютерную графику. Вы увидите эти предательские ступеньки, если, прищурив глаза, посмотрите на рисунок 6.12, не обращая внимания на диагональный отрезок. Столь непрезентабельный вид, который многие люди в то время считали нормой для компьютерных изображений, — опять-таки следствие ошибочного мнения, будто компьютеры должны быть грубыми и «механическими». Как мы видели в главе «Восход Цифрового Света», прошло еще 10 лет, прежде чем Дик Шауп показал, что ступенчатость не свойственна компьютерам. В 1973 году он продемонстрировал прямые линии, которые прекрасно воспроизводились с помощью разбросанных пикселей (рис. 4.26). Но эти пиксели имели гораздо больше двух значений — на два порядка.

В алгоритме Брезенхэма меня в первую очередь привлекла не его эффективность, а фамилия Брезенхэм. Она пишется точно так же, как писал свою фамилию Дик Брезенхэм, мой одноклассник из Кловиса, штат Нью-Мексико. Конечно же, Джек Брезенхэм, изобретатель алгоритма, вряд ли жил в Кловисе. Я проверил и обнаружил, что на самом деле он работал на IBM в Англии, что устранило любые сомнения. Точнее, я так думал. Но когда вышло первое издание важного учебника по компьютерной графике, миссис Брезенхэм из Кловиса позвонила миссис Смит из Кловиса и сказала: «Там есть глава, которую написал мой сын, и есть глава, которую написал ваш». Она преувеличивала нашу значимость, как это свойственно мамам, но суть дела заключалась в следующем: Джек — это брат Дика из моего родного города. Когда я наконец встретился с Джеком, то узнал, что он закончил школу в Кловисе незадолго до того, как я стал достаточно взрослым, чтобы познакомиться с ним.

Рис. 6.12

Компьютерная графика возникла в особой среде. Она разделяет ее с двумя другими изобретениями — персональным компьютером и интернетом. Это потрясающая история — история национального технологического расцвета.

Правительство США отреагировало на угрозу, исходившую от нацистской Германии, вложением огромных сумм государственных денег в несколько центров исследований и разработок — в капиталистическом обществе так обычно не поступают. Ощущалась неизбежность войны. На кону стояло слишком много, а шансы выигрывать повышались у того, кто быстрее. Эти средства не вызывали рыночной конкуренции — ни запросов коммерческих предложений, ни технических заданий с изложением деталей, ни конкурентных торгов. Деньги просто раздали. Массачусетский технологический институт выступил одним из главных бенефициаров аттракциона невиданной щедрости, ставшей тем подарком, который укрепил его положение как ведущего технологического университета в мире.

Рис. 6.13

Благодаря государственному финансированию, полученному в 1940 году, Массачусетский технологический институт создал две лаборатории. Радиационная лаборатория сосредоточилась на радарных технологиях, которые обещали переломить ход войны против немцев. Эти исследования имели первостепенное значение. Лаборатория сервомеханизмов сосредоточилась на управлении сложными системами (сервомеханизмом, или сервоприводом, обычно называют двигатель, который использует обратную связь для точного управления). Обе лаборатории несколько раз меняли названия, что затрудняет отслеживание их истории. Это можно в какой-то мере упростить, составив таблицу из двух колонок (в шапке таблицы обозначены подгруппы, а не переименования):

Компьютер Whirlwind сначала разрабатывался в Лаборатории сервоприводов, затем перешел в Лабораторию цифровых компьютеров в 1951-м и в том же году был включен в проект «Линкольн» (из колонки Радиационной лаборатории). Таким образом, компьютерная графика происходит в основном из Радиационной лаборатории, но не полностью. Работы над системой автоматизированного проектирования (САПР) начались в Массачусетском технологическом институте в 1959 году как часть исследований Лаборатории электронных систем. Заманчиво заявить, что компьютерное проектирование вышло из Лаборатории сервомеханизмов. Но, как вскоре мы узнаем, истории компьютерной графики и автоматизированного проектирования в Массачусетском технологическом институте переплетены гораздо более тесно.

Сразу после войны Ванневар Буш, профессор и администратор Массачусетского технологического института, опубликовал в журнале The Atlantic Monthly важную и влиятельную статью «Как мы можем мыслить». Вскоре ее перепечатал журнал Life. Буш оказался удивительно прозорлив, учитывая, что он писал свою статью еще до появления первых компьютеров и задолго до интернета:

В своем знаменитом прогнозе о «мемекс-памяти» он во многом ошибся. В абзаце, который предшествует только что процитированному, он говорит, что мемекс будет размером с письменный стол. Да и само название не прижилось. Но некоторые другие предсказания попали точно в яблочко — прозорливым видением будущего через 75 лет, то есть сейчас: «Появятся совершенно новые формы энциклопедий, пронизанные готовой сетью ассоциативных троп». И еще: «Возникнет новая профессия первопроходцев, тех, кто находит удовольствие в работе по прокладыванию этих полезных троп через огромные массивы общедоступной информации». В некотором роде именно это я и делаю своей книгой.

Буш (он не имеет никакого отношения к семье будущих президентов США) сыграл важную роль в реализации Манхэттенского проекта и создании Национального научного фонда. Он стал первым научным советником президента США Франклина Д. Рузвельта. Возможно, самым известным его студентом в Массачусетском технологическом институте был Клод Шеннон. Еще у него учился Фредерик Терман, который позже, в Стэнфорде, сдавал университетские земли в аренду высокотехнологичным фирмам для создания того, что сейчас известно как Кремниевая долина.

«Тринити» — испытание атомной бомбы на полигоне в Нью-Мексико в 1945 году, за которым вскоре прошли бомбардировки Хиросимы и Нагасаки, — ознаменовало конец Второй мировой войны. За ней последовала холодная война с Россией. Масла в огонь подлил американский физик Клаус Фукс, участник Манхэттенского проекта, присутствовавший на испытании и передавший ядерные секреты Советам. По иронии судьбы, работая с суперпатриотом Джоном фон Нейманом над американской водородной бомбой, Фукс также снабжал Советы секретной информацией о ней. Советы взорвали свою первую атомную бомбу «Джо-1» в 1949 году и свою первую водородную бомбу «Джо-4» в 1953-м (это, конечно, американские прозвища советских бомб, отсылающие к имени Иосифа Сталина).

Затем последовал еще один шок. В 1957 году самодовольных американцев ошеломил запуск советского космического аппарата «Спутник». Потрясение было очень сильным, хотя, как мы видели в предыдущей главе, автор теоремы отсчетов Владимир Котельников ясно и недвусмысленно предупредил нас об этом. США в ответ создали Управление перспективных исследовательских проектов (Advanced Research Projects Agency, ARPA) при Министерстве обороны в 1957 году и Национальное управление по аэронавтике и исследованию космического пространства (National Aeronautics and Space Administration, NASA) в 1958-м. ARPA финансировало большую часть того, что стало основным направлением компьютерной графики. Люди, повлиявшие на ее будущее, работали администраторами как в ARPA, так и в NASA. Первым из них был Джозеф Карл Робнетт «Лик» Ликлайдер.

В 1960 году Лик Ликлайдер опубликовал статью «Симбиоз человека и машины» в научном журнале IEEE Transactions on Human Factors in Electronics. Она оказалась не менее значимой и влиятельной, чем мемекc Буша 1945 года. Лик утверждал, что наши новые создания, компьютеры, не должны оставаться нашими рабами и вскоре начнут работать вместе с нами в симбиозе:

До появления закона Мура и интернета прогнозы часто оказывались неверными. Некоторые, например, считали, что будущее — за компьютерами с разделением времени. Вместо того чтобы к большому компьютеру получал доступ один пользователь за раз, по-видимому, предполагалось, что на нем будут работать несколько пользователей одновременно. Однако одновременность была только кажущейся, потому что компьютеры уже стали достаточно быстрыми. На самом деле каждый из десяти пользователей получал бы доступ к вычислительным ресурсам компьютера, скажем, на десятую долю секунды. Они как бы «делили время» большой машины.

Ни Ликлайдер, ни какой-либо другой провидец даже не представляли, что закон Мура сделает обратное и позволит любому компьютеру исполнять сразу несколько программ, запущенных одним пользователем. То есть самому пользователю будет казаться, будто все его приложения и программы работают одновременно (а с несколькими центральными процессорами на одной микросхеме в современных компьютерах это действительно так). Провидцы также не предугадали и уменьшения компьютеров в размерах, из-за чего отпадет необходимость совместно использовать один мощный компьютер. Не удалось предвидеть и то, что связаны между собой по всему миру будут все пользователи, а не только вычислительные центры. Но тогда, до 1965 года, закона Мура еще не существовало.

Дуглас Энгельбарт опубликовал третью статью, которая вместе с меморандумом Буша о мемексе и работой Ликлайдера о симбиозе сформировала интеллектуальную основу переплетения историй, которые мы рассматриваем. Статья «Усиление человеческого интеллекта: концептуальные рамки» опубликована Стэнфордским исследовательским институтом в 1962 году. Энгельбарт тоже пытался, до формулирования закона Мура и начала Эпохи 2, понять, как нам, людям, лучше обращаться с новыми динозаврами среди нас:

Энгельбарт довольно педантично описал, как человеку разумно взаимодействовать с машиной. Однако гораздо важнее, чем написанное, оказалось показанное им. В 1968 году при финансовой поддержке ARPA он устроил знаменитую «мать всех демонстраций» на компьютерной конференции в Сан-Франциско, где взаимодействовал в реальном времени с удаленным компьютером через графический пользовательский интерфейс при помощи своего изобретения — указывающего устройства, получившего название «компьютерная мышь». Так появились интерфейс персонального компьютера, хорошо знакомый всем нам сегодня, и прототип устройства, которое мы до сих пор используем для управления им.

Дальше мы вернемся к самому началу и сосредоточимся на тех регионах этой «окружающей среды», которые особенно повлияли на компьютерную графику.

Цифровой Свет забрезжил между американской атомной бомбой 1945 года и советской водородной бомбой 1949-го, между концом Второй мировой и началом холодной войны. Вспомните, в главе «Восход Цифрового Света» я описывал, что в 1940-х годах создавать изображения, растрачивая драгоценные вычислительные мощности компьютеров, считалось легкомысленным и предосудительным занятием. Им предписывалось делать серьезные расчеты для атомной или водородной бомбы. Тем не менее первая цифровая картинка «Первый Свет» появилась в 1947 году на экране манчестерского Baby. Две первые задокументированные интерактивные видеоигры созданы в 1951 и 1952 годах в Манчестерском и Кембриджском университетах. А первые задокументированные компьютерные анимации появились в Массачусетском технологическом институте в 1951 году на Whirlwind, который финансировали Военно-воздушные силы. В ранней графике геометрические модели появлялись на экране в виде отображенных пикселей, а некоторые компьютеры могли интерактивно изменять изображения. Whirlwind находится в верхней части блок-схемы, потому что он связывает раннюю историю с описанным здесь следующим этапом, который подпитывался противостоянием с Советским Союзом и финансировался военными. Однако даже при таких условиях не обошлось без повсеместного создания легкомысленных картинок.

Холодная война породила самых ужасающих электронных динозавров 1950-х — или, скорее, динозавров, созданных для самой ужасной миссии — участия в ядерной войне. Самым большим и страшным среди них оказался Sage, непосредственный преемник Whirlwind. Военно-воздушные силы работали с MIT и IBM над реализацией проекта SAGE (Semi Automatic Ground Environment — система полуавтоматической координации действий самолетов-перехватчиков путем программирования их автопилотов по радио находящимися на земле компьютерами). По размеру и стоимости он сравним разве что с Манхэттенским проектом или с запуском «Аполлона». Начиная с 1958 года построено более 20 вычислительных центров высотой в четыре этажа, без окон и с двумя компьютерами Sage в каждом. Каждый компьютер стоил 238 миллионов долларов (около 2 миллиардов по сегодняшнему курсу), занимал площадь в полгектара и весил более 100 тонн. Каждый из них оснащен желтым графическим дисплеем со «световой пушкой» для интерактивного взаимодействия.

Некоторые артефакты SAGE используются до сих пор — например, графические станции. Военный на рисунке 6.14 (справа), глядя в зияющую пасть зверя, кажется, готов выстрелить в него — или что-то cпаять. Чтобы представить, как они выглядят, вообразите зал, заполненный десятками военнослужащих: все они сидят перед мерцающими дисплеями станций отображения оперативной обстановки, расставленных рядами.

Рис. 6.14

Обычно рабочая станция Sage показывает расположение самолетов и ракет на фоне условных контуров границ США (рис. 6.15). Различные «неопознанные летающие объекты», приближающиеся к ним, обозначаются пунктирной линией. Но в Atlantic Monthly опубликовали альтернативную историю в статье под названием «Самая секретная история первого в мире компьютерного изображения (конечно, это эротическая картинка)». Кто-то — разумеется, анонимно — использовал машину стоимостью 238 миллионов долларов, чтобы вывести на экран «запретный плод»: пин-ап из мужского журнала Esquire. В статье утверждается, что это первое изображение человека на дисплее компьютера и датируется оно концом 1950-х годов. Возможно, так все и было на самом деле, но не забывайте про анекдотический рассказ о шотландской танцовщице на EDSAC в начале 1950-х годов, упомянутый в главе 4. В любом случае здесь речь идет о каллиграфической или векторной разновидности графики, которая вымерла и исчезла, проиграв в конечном итоге растровому отображению пикселей, современной форме. Несмотря на внушительные размеры Sage (настоящий динозавр!), его графика была простой, но интерактивной.

Рис. 6.15

Компьютерная графика — моя профессия, но я смутно представлял себе ее историю. Версия, которую я знал, сводилась примерно к следующему: Айвен Сазерленд написал Sketchpad, первую программу интерактивной компьютерной графики, как утверждается, в Массачусетском технологическом институте в 1962 году. Затем, в 1968-м, он начал работать в Университете штата Юта в Солт-Лейк-Сити и стал отцом-основателем династии пионеров компьютерной графики. На самом деле в столь кратком изложении почти всё — правда. Например, Эд Катмулл учился у Сазерленда, и многие из наших коллег, работавших на протяжении нескольких лет в Нью-Йоркском технологическом институте, Lucasfilm и Pixar, получили образование в штате Юта. И первое графическое оборудование, которое мы использовали, произвела компания Evans & Sutherland, основанная Дэвидом Эвансом и Айвеном Сазерлендом в Солт-Лейк-Сити также в 1968-м.

Но вышеизложенная история расходится с фактами, которые мы обнаружили в главе «Восход Цифрового Света»: простые цифровые изображения, интерактивные игры и анимация появились еще на первых компьютерах в конце 1940-х — начале 1950-х годов. Уже на компьютере Whirlwind был световой пистолет, позволявший взаимодействовать с его дисплеем. Я уже рассказывал в этой главе, как офицеры интерактивно взаимодействовали с графикой на дисплее серийно выпускаемого компьютера Sage в конце 1950-х годов. И графическая игра Spacewar!, созданная в Массачусетском технологическом институте незадолго до Sketchpad, тоже была интерактивной. Очевидно, в общепринятой истории есть различные несоответствия, в которых не помешало бы разобраться.

Как и в случае с другими сложными технологиями, в общепринятой истории компьютерной графики опущена значительная часть фактов и чрезмерно преувеличена роль одного человека. Устоявшаяся версия обходит вниманием двух знаменитых отцов-основателей этой сферы — Стивена Кунса и Пьера Безье, которые старше Сазерленда на одно поколение. Тем не менее специалисты компьютерной графики хорошо знают их имена. На протяжении нескольких десятилетий высшей наградой в области компьютерной графики остается премия Кунса. А кривые Безье десятилетиями используются в популярных приложениях Adobe Illustrator и Adobe Photoshop. Но в общую картину истории они почему-то не попали.

Общепринятая история на самом деле не соответствует даже той цепи событий, в которых я участвовал лично. Первым пионером компьютерной графики, с которым мне удалось познакомиться и даже поработать вместе, был Герберт Фримен, который не учился в Университете Юты. Он родился с именем Герберт Фридман в Германии и сумел бежать от нацистов с помощью Альберта Эйнштейна. Его родителям, пытавшимся получить разрешение на въезд в Соединенные Штаты для всей семьи, отказали якобы из-за туберкулеза у Герберта. На самом деле никакой болезни не было, но потребовались несколько лет и три письма от самого Эйнштейна, чтобы всей семье удалось преодолеть бюрократические препоны и благополучно перебраться в Америку в 1938 году, тем самым избежав верной смерти.

В 1949 году Хербу удалось встретиться с Эйнштейном и лично поблагодарить его за неоценимую помощь. Примерно за год до встречи с великим ученым Херб получил степень магистра электротехники в Колумбийском университете. На летнем курсе в Массачусетском технологическом институте в 1952 году он познакомился с Whirlwind и настолько увлекся компьютерами, что к следующему году разработал свой собственный — под названием Speedac — для Sperry Corporation. Получив докторскую степень в Колумбийском университете, начал работать в Лаборатории сервомеханизмов Массачусетского технологического института в 1958-м и в Лаборатории Линкольна в 1959 году. В 1960-м он поступил в Нью-Йоркский университет. Херб специализировался на компьютерной графике и в 1972 году стал соучредителем одного из первых научных журналов по Цифровому Свету с говорящим названием «Компьютерная графика и обработка изображений. Создание и регистрация. Геометрия и пиксели». Херб позвал меня работать на свой факультет в Нью-Йоркском университете сразу после того, как я окончил аспирантуру Стэнфорда в 1969 году. Я трудился у него четыре года. Он познакомил меня с двумя из первых компьютерных аниматоров — Роном Беккером и Марсели Вейном из Канады, а также с Робином Форрестом из Англии.

Робин, мой любимый шотландец, специально приехал в Лондон из Норвича, когда я занимался историческими исследованиями для этой книги, чтобы стать моим проводником по ранней истории компьютерной графики. Этим он и пытался заниматься на протяжении всего дня в чайной Bloomsbury Hotel, хотя мы никак не могли перестать смеяться и предаваться воспоминаниям.

«Я впервые встретил вас в ноябре 1971 года», — сообщил он, когда мы пожали друг другу руки.

«И вы тот дьявол, который втянул меня в эти патентные разборки в 1990-х», — поддразнил я его.

«Конечно, это я».

(Мои коллеги и я сделали все возможное в британском суде, чтобы спасти британскую компанию — разработчика программного обеспечения — от другой британской компании — производителя оборудования. Нам не удалось доказать свою правоту, и разработчик программного обеспечения прекратил свою деятельность. Но затем та самая компания-производитель попробовала совершить такой же юридический маневр против американской компании в американском суде. На этот раз мы помогли защитить Adobe и ее флагманский продукт Photoshop от неподъемных лицензионных отчислений. Суд милостиво признал все пять патентов недействительными и отклонил все притязания сутяг.)

«И я, — добавил Робин, — впервые познакомил вас с Джеком Брезенхэмом».

Джек Брезенхэм — еще один герой из истории компьютерной графики. Он, как и я, происходил из Кловиса, штат Нью-Мексико. Мы с Робином погрузились в глубины истории.

О лучшем проводнике по ранней истории компьютерной графики нельзя и мечтать, и уж точно не найти более остроумного собеседника. Робин проработал в Университете Восточной Англии более 40 лет и до сих пор остается его почетным профессором. Он сам участник многих событий этой истории. В разное время он работал с Кунсом, Безье и Сазерлендом, а также в первых университетских центрах Массачусетского технологического института, Кембриджа и Юты. Но он рассказал мне и о менее известных эпизодах с участием таких компаний, как Citroën, Renault и General Motors.

Рассказы Робина вскоре прояснили фундаментальную историческую проблему и проблему определений. Компьютерная графика связана как с внутренними моделями объектов, так и с их изображениями. Начинается ли ее история с моделей — или все же с изображений? В зависимости от расстановки акцентов существуют разные ее версии. Истории компьютерной графики и автоматизированного проектирования, как правило, по вполне понятным причинам тесно переплетены друг с другом.

Присвоить Кунсу и Безье звание отцов-основателей компьютерной графики проблематично, потому что ни один из них не создавал изображения, во всяком случае поначалу. Кунс создал свои фундаментальные работы в авиационной промышленности, в одной из старейших американских авиационных компаний — Chance Vought. Безье сделал то же самое в Renault, одном из старейших французских автопроизводителей. Они оба использовали геометрические модели трехмерных поверхностей внутри компьютера, но не имели дисплея для просмотра изображений. Кунс занимался созданием реальных поверхностей планера самолета, а Безье — реальных поверхностей кузова автомобиля.

Они не задумывались об изображениях как таковых. Их интересовали реальные объекты в реальном трехмерном пространстве, сделанные из реальных материалов: кузова автомобилей, крылья самолетов или их макеты. Мы снова сталкиваемся с различием между пространством Творчества и пространством Отображения. У Кунса и Безье было первое, но не было второго. Или, другими словами, для них в качестве дисплеев выступали сами объекты, а вовсе не изображения. При помощи станков с компьютерным управлением они создавали реальные вещи из настоящих материалов. Другими словами, они занимались компьютерным проектированием объектов, а не иллюстративной компьютерной графикой. Позже в этой главе мы постараемся распутать переплетение этих двух направлений. Но нет никаких сомнений в том, что Кунс и Безье претендуют на почетное место и там и там. С их историй и начнем наш рассказ.

Карьера Робина Форреста связана как с САПР, так и с компьютерной графикой. В тот день в Блумсбери он рассказал мне поучительную историю о компьютерном проектировании в эпоху, непосредственно предшествовавшую появлению компьютеров. Речь шла о знаменитом истребителе Spitfire, сыгравшем в 1940 году заметную роль в решающей битве за Британию против люфтваффе, военно-воздушных сил Германии. Мастер-проект Spitfire представлял собой набор поперечных сечений, физически вырезанных из листов алюминия и сложенных стопками на огромных столах где-то в секретном месте в Хэмпшире. Хотя по ним можно было воспроизвести необходимое количество самолетов, но им определенно не хватало надежной защиты в памяти компьютера, потому что компьютеров еще не существовало. Один удар люфтваффе по зданию в Хэмпшире уничтожил бы все технические разработки истребителя.

Но вопрос Робина заключался в другом: какова форма крыла Spitfire между этими поперечными сечениями? Это не было определено, а потому составляло серьезную проблему. Требовалась гладкая поверхность, интерполирующая последовательные сечения, но таковой еще не существовало.

Его слова напоминают нам о сплайне из истории моей встречи с Рави Шанкаром. Авиаконструкторам требовалось применить тот же принцип к двумерным поверхностям. Они нуждались в гладкой функции, которая интерполировала бы последовательные кривые, такие как поперечные сечения Spitfire. Решение дает патч (заплатка, лоскуток) — часть поверхности, которая плавно проходит между двумя кривыми, например двумя сплайнами. Две кривые образуют противоположные края заплатки, а поверхность между ними непрерывно, даже элегантно, изменяется от кривой на одном краю до кривой на противоположном. Инженерам Spitfire требовался четко определенный участок между поперечными сечениями, хранившимися как металлические шаблоны, чтобы полностью очертить крыло самолета. Но в 1940 году такой концепции еще не существовало.

Понятие патча в конструирование самолетов ввел Стивен Кунс. Именно он предложил это слово. Он не проектировал Spitfire, но работал в авиационной промышленности и стремился решить назревающую проблему. Лоскут Кунса — это участок, описанный выше, но с двумя парами противоположных краев. Пример лоскута Кунса, показанный на рисунке 6.18, напоминает изогнутый, но не смятый лист папиросной бумаги. Каждая кромка гладко изгибается, а плавная волнистая поверхность соединяет или интерполирует кривые противоположных краев в обоих направлениях.

Согласно общему определению Кунса, участок может иметь края любой формы, а не только простые кривые, как показано на рисунке. Например, кривая на одном краю может быть вашим именем, написанным от руки, а на противоположном — вашей фамилией. Если у вас есть способ соединить две стороны плавной кривой, то это все еще лоскут Кунса. Но такая задача очень непроста.

Чтобы создать в компьютерной графике сложную поверхность, такую как чайник, персонаж или самолет, мы проектируем набор патчей-лоскутов, которые аккуратно соединены друг с другом по краям и покрывают нужную поверхность — как стеганое одеяло, — включая даже самые труднодоступные места. Затем мы разделяем каждый лоскуток на четырехсторонние «заплатки», по каждому краю с равным шагом, как показано на рисунке. Деление продолжается до тех пор, пока фрагменты не станут достаточно маленькими, чтобы каждый из них можно было считать плоским многоугольником. Для нашей цели каждый из них затем делится диагональю на два треугольника, как я показывал раньше. Итак, мы снова имеем дело только с треугольником.

Рис. 6.18

С использованием суперспособности Усиления отобразить модель, состоящую из тысяч тругольников, так же легко, как и отобразить один треугольник. Но нет никакого способа свести к минимуму сложность построения исходной модели. Моделирование — это своего рода скульптурная лепка, и не существует простого способа научиться ей. Такая задача под силу только профессиональным моделистам.

Самая престижная награда в области компьютерной графики носит имя изобретателя патча Стивена Кунса. Премия Стивена Энсона Кунса вручается на Siggraph, крупнейшей и самой важной ежегодной конференции по компьютерной графике. Ее название — это аббревиатура Специальной группы по компьютерной графике и интерактивным технологиям (Special Interest Group on Computer Graphics and Interactive Techniques), входящей в состав более крупной профессиональной организации в области компьютерных наук, которая называется Ассоциация вычислительной техники (ACM). Siggraph — это конференция, которая вот уже на протяжении десятилетий ежегодно собирает десятки тысяч участников.

И наградой, и конференцией мы частично обязаны другому пионеру компьютерной графики, спасенному от нацистов, — Бертраму Херцогу (1929–2008). Херцогу помогла программа эвакуации еврейских детей Kindertransport. Благодаря ей он благополучно попал в приемную семью в Англии. Оттуда он эмигрировал в Соединенные Штаты в 1946 году и получил докторскую степень в 1961-м в Мичиганском университете. Пару лет спустя он встретился и подружился с Кунсом, который и сделал его адептом компьютерной графики. Берт сыграл важную роль в основании Siggraph в 1969 году. И по его инициативе высшую награду конференции назвали премией Кунса — в честь его друга.

И Безье, и де Кастельжо рассматривали компьютер как способ повысить эффективность производства автомобилей. Они разработали, по-видимому, независимо друг от друга математику другого способа представления поверхностей — лоскут, или патч, Безье. Это были не лоскуты Кунса, но нечто похожее на них в том смысле, что их тоже можно было аккуратно скрепить краями, сделать, так сказать, лоскутное одеяло, образуя сложные поверхности. Патчи Безье — это еще один способ моделирования поверхностей, которые затем разделяются на полигоны и треугольники для последующего рендеринга на дисплее.

Здесь важна не математика Безье (или де Кастельжо), а интуиция. Вспомните демонстрацию для Рави Шанкара и то, как горизонтальные и вертикальные координаты точек, полученных с планшета, соединились с помощью разбрасывателя, имеющего два отрицательных «лепестка», для получения сплайна. Он назывался разбрасывателем Катмулла — Рома (с. 328, рис. 6.7, внизу). Если вместо него мы воспользуемся разбрасывателем без отрицательных лепестков (рис. 6.23), то получим более гладкий сплайн. Специалисты в области компьютерной графики называют его (довольно простовато для такой красивой кривой) B-сплайном — где B означает «основа» (basis), но в остальном это название совершенно неинформативно.

Рис. 6.22

На рисунке 6.24 показаны два сплайна. Оба основаны на одних и тех же точках, полученных с планшета во время демонстрации для Рави Шанкара. Хотя вам, вероятно, придется напрячься, чтобы заметить различия, кривая справа более изящна, чем левая. Дело в том, что она проходит рядом с точками, а не через них. Следовательно, перед нами аппроксимирующий сплайн, а не интерполирующий.

Безье и/или де Кастельжо подарил(и) нам кривую, в которой есть и то и другое, хотя он(и) так не думал(и). На рисунке 6.25 показаны две кривые Безье — одна, соединяющая крайнюю левую точку со средней, и вторая, соединяющая среднюю точку с крайней правой. В Adobe Illustrator и Photoshop есть специальный инструмент (перо) для создания плавных кривых из таких сегментов Безье. Дизайнер начинает, скажем, с крайней левой точки и рисует линию, показанную здесь пунктиром, — задает кривой нужный наклон в этой точке. Мы называем ее касательной линией. Дизайнеры контролируют угол наклона, вращая касательную (пунктирную) линию и используя заданную точку в качестве центра поворота. Они контролируют жесткость кривой, удлиняя или укорачивая касательную линию, перемещая точку вне кривой внутрь или наружу.

Левая кривая на рисунке 6.25 создана в результате поворота двух касательных линий — одной для крайней левой точки и одной для средней — и масштабирования их длины. Правая кривая создана аналогичным образом.

Рис. 6.23

Во всех случаях наклон пунктирной касательной совпадает с наклоном кривой, проходящей через их общую точку. Кривые Безье обычно соединяются вместе для большей изящности следующим образом: касательная для первой точки второй кривой — это просто продолжение касательной для последней точки первой кривой. Она такой же длины и наклонена под тем же углом, но в противоположном направлении.

Рис. 6.24

Рис. 6.25

Безье описал бы этот процесс как интерполяцию крайней левой, средней и крайней правой точек с использованием четырех касательных линий. Но математически это эквивалентно указанию семи точек на рисунке. Четыре точки отклонения от кривой определяют длину и угол четырех касательных линий. Кривая, образованная плавным соединением двух кривых Безье, обычно просто описывается как последовательность кривых Безье. Ее можно было бы назвать сплайном Безье, и я полагаю, что так и должно быть. Тогда мы могли бы сказать, что сплайн Безье на рисунке интерполирует три из семи точек и аппроксимирует остальные четыре — немного и того и другого.

Скорее всего, даже буквы шрифта, которыми набран этот текст, созданы с помощью кривых Безье. А на рисунке 6.26 показано их забавное использование — слово «Безье», созданное с помощью кривых Безье. Короткие прямые линии показывают наклон в тех точках, где кривые соединяются (кстати, все они горизонтальные или вертикальные).

Рис. 6.26

Патч Безье — это патч, каждое ребро которого определяется кривой Безье (или де Кастельжо). Это еще один инструмент для моделирования сложных поверхностей. На рисунке 6.27 чайная чашка и блюдце Мартина Ньюэлла — не такие известные, как его чайник, — смоделированы с помощью 26 патчей Безье. Слева направо патчи разделяются на всё более мелкие «заплатки», чтобы продемонстрировать, как в компьютерной графике достигается плавная кривизна. Паутина точек, не расположенных на поверхности чашки или блюдца, представляет собой точки на концах аппроксимирующих отрезков. В отличие от лоскутов Кунса, которые интерполируют, патчи Безье (частично) аппроксимируют.

Робин Форрест перевел одну из книг Безье и получил от него копию французского издания с посвящением: «Робину Форресту, которому я обязан больше, чем он, возможно, думает». Робин говорил: «Я так и не разгадал эту загадку». Возможно, дело в том, что Робин показал Безье и всему миру связь между математикой, первоначально использованной Безье, и изощренным математическим аппаратом, предложенным Сергеем Натановичем Бернштейном, еще одним великим русским. Бернштейн был экспертом в нескольких областях, но здесь ключевое значение имеет теория аппроксимации. Для нее он сыграл такую же роль, как и Эдмунд Уиттекер для теории интерполяции.

Рис. 6.27

Из главы «Восход Цифрового Света» мы узнали, что первые его ростки появились в 1947 году и расцвели в начале 1950-х. Точно так же развивалась и компьютерная графика — область Цифрового Света, которая преобразует внутренние геометрические модели в видимые изображения. Первое десятилетие компьютерной графики, как и более ранние работы Кунса и Безье в области САПР, редко удостаивается упоминаний. Обычно ее историю начинают со Sketchpad. Отчасти в этой книге я ставлю перед собо задачу сформулировать, что сделало Sketchpad таким важным.

Айвен Эдвард Сазерленд впервые продемонстрировал Sketchpad в 1962 году в Массачусетском технологическом институте, полностью завершил разработку в январе 1963-го и тогда же опубликовал результаты в своей докторской диссертации. Это была программа для двумерного геометрического проектирования, обеспечивающая взаимодействие с пользователем. Ее очень высоко оценили в те годы, ценят до сих пор и будут ценить впредь. Но настоящее великолепие компьютерной графики — это трехмерные сцены и объекты, воплощенные в двумерной перспективе.

Сокурсник Сазерленда по аспирантуре Тимоти Эдвард «Тим» Джонсон доработал Sketchpad для операций с трехмерным пространством и перспективой. Он назвал программу Sketchpad III и обнародовал ее в своей магистерской диссертации в мае 1963 года. «III» обозначало три измерения, а не третью версию (соответственно, Sketchpad II не существует). Почему Sketchpad III не обрела такой же известности, как первая версия? Можно предположить, что переход от двух измерений к трем не воспринимался таким уж большим прорывом и казался довольно банальным шагом. Однако в результате открывались огромные, нетривиальные и далеко не очевидные возможности. Sketchpad III включала в себя решение для отображения перспективы, которое Джонсону предложил еще один аспирант — Лоуренс Гилман «Ларри» Робертс. Робертс защитил докторскую диссертацию в июне 1963 года. Таким образом, 1963-й стал годом триумвирата компьютерной графики в Лаборатории Линкольна Массачусетского технологического института: Айвен Сазерленд, Тим Джонсон и Ларри Робертс (рис. 6.29). И двое, Сазерленд и Джонсон, были учениками Стивена Кунса.

На рисунке 6.28 показаны значки, схематически изображающие три соответствующих достижения: квадрат для Sketchpad Сазерленда, куб для Sketchpad III Джонсона и куб в перспективе для вклада Робертса в Sketchpad III.

Триумвират делал свои разработки на компьютере TX-2, сыне Tixo и правнуке Whirlwind. Первые компьютеры конца 1940-х — 1950-х годов имели в основном растровые дисплеи. Затем на несколько десятилетий вошли в обиход векторные, которые отвлекли специалистов в области компьютерной графики, — тот самый каллиграфический обходной путь, о котором я упоминал в главе 4. Великая цифровая конвергенция вернула нас к растровым дисплеям, которые до сих пор остаются мировым стандартом.

Дисплей TX-2 представлял собой некую помесь растрового и векторного. Доступ к нему был произвольным, но он отображал только точки из фиксированного массива. В диссертации Айвена Сазерленда 1963 года он описывается как массив точек 1024 на 1024, что предполагает растровое отображение. Но точки можно было включать в случайном порядке, а не строку за строкой. Они через некоторое время гасли, если их не обновляли, из-за выгорания люминофора на экране электронно-лучевой трубки.

Рис. 6.28

Рис. 6.29

В главе «Восход Цифрового Света» мы говорили о двух типах каллиграфического отображения. В наиболее «каллиграфическом», соответствующем обычному письму типе непрерывная световая линия рисуется по мере движения луча. В другом типе такая линия возникает из отдельных световых пятен, не превращаясь в сплошной штрих. Рисунок 6.30 (слева, повторяющий иллюстрацию из главы «Восход Цифрового Света») каллиграфический. Он пунктирный, но пятна не ограничены точными координатами сетки.

Рисунок 6.30 (справа) выглядит как растровое изображение, но с существенным отличием: точки отображаются в векторном, а не в растровом порядке. Таким образом, этот дисплей отличается от любого из предыдущих. Световые пятна на нем — это не отображенные пиксели. Они лишь приближенно отображают каллиграфический штрих на фиксированной сетке. Дисплей TX-2 относится именно к такому типу. Вот что на самом деле происходило в TX-2: отрезки отображаемой линии рисовались последовательно, по порядку. Каждый из них преобразовывался в точки с помощью алгоритма рендеринга, подобного алгоритму Брезенхэма, и точки в нужных позициях последовательно включались электронной схемой дисплея.

Рис. 6.30

Должно быть, иногда возникали нежелательные эффекты, потому что значительную часть усилий Сазерленд потратил на предотвращение мигания экрана. Несколько отрезков линии отображались без мигания, но с большим количеством дисплей уже не справлялся и начинал мерцать. Сазерленд применил метод, при котором отображалась только каждая восьмая точка, а затем с каждым следующим проходом луча по очереди отображались остальные семь, но в результате линии выглядели так, словно «состояли из ползающих точек». Получилась некая форма чересстрочной развертки для векторного, а не растрового отображения. Сазерленд также использовал прием со стохастическим (случайным) выбором отображаемых точек, из-за чего экран «мерцал», а не ползал.

Неудивительно, что основанная Сазерлендом и Дэвидом Эвансом компания Evans & Sutherland первым делом взялась за разработку графической системы с настоящим векторным дисплеем, отрисовывающим линии, а не точки — и определенно не точки, ограниченные растровой сеткой. Она называлась LDS-1, что расшифровывается как «Система рисования линий» (Line Display System), а не «Святые последних дней» (Last Day Saints), как полагали некоторые, учитывая, что Эванс был набожным мормоном, а E&S располагалась в Солт-Лейк-Сити. LDS-1 впервые поступил в продажу в 1969 году. Следующей его версией, выпущенной компанией, стала популярная графическая система Picture System. Лаборатория компьютерной графики в Нью-Йоркском технологическом институте, в которую входила группа, впоследствии ставшая Pixar, начала работу в 1974 году на аппаратуре E&S, а именно на Picture System[35].

Сегодня компьютерную графику (независимо от того, где она используется — в фильмах, играх, виртуальной реальности и так далее) нужно воспринимать как вымышленный мир, который моделируется в памяти компьютера. Это модель, а не картинка. Это стандартная трехмерная геометрия в стиле Евклида и других древних греков. Она невидима. Она из мира двумерных изображений. Поэтому, чтобы сделать изображение, воображаемая камера помещается в воображаемый мир. Камера виртуальна. Ее корпус, объективы, штатив и прочие элементы не моделируются. Нас волнует только, где расположена виртуальная камера, куда она направлена и где у модели верх. У виртуальной камеры, как и у настоящей, есть видоискатель. Он помещает в рамку прямоугольный кадр воображаемого мира, на который направлена камера. Специалисты в области компьютерной графики называют видоискатель перспективным окном просмотра (для краткости — просто окном просмотра, видовым экраном или портом просмотра, viewport). Тим Джонсон впервые реализовал его в Sketchpad III.

Та часть нереального мира, которую виртуальная камера захватывает в свое окно просмотра, сводится к двум измерениям — точно так же, как реальная камера превращает реальный мир в двумерное изображение в своем видоискателе. Важно учесть еще один нюанс: окно просмотра видит нереальный мир в перспективе — так же, как и видоискатель реальной камеры. Через эту же перспективу мы, люди, воспринимаем визуальный мир. Джонсон использовал математическое решение Ларри Робертса для перспективы в окне просмотра Sketchpad III.

Я называю это Центральной Догмой компьютерной графики, потому что совсем не обязательно все должно быть именно так. В конце концов, компьютер — это самый гибкий инструмент, когда-либо созданный человечеством. Геометрия не обязательно должна быть евклидовой, хотя именно ее постулирует Центральная Догма. Можно прибегнуть к геометрии Лобачевского — без параллельных прямых, — которой занимался старина Котельников (подробнее смотрите в главе 2). Самое главное, что видимой перспективе не обязательно быть линейной, но Центральная Догма требует именно этого. Проще говоря, Центральная Догма представляет нереальный мир точно так же, как мы, люди, воспринимаем мир реальный. И этот вид на виртуальный мир, находящийся внутри компьютера, в перспективе виртуальной камеры наконец преобразуется в пиксели, чтобы мы могли его увидеть.

Искусство Маурица Корнелиса Эшера показывает, насколько странной бывает перспектива. На рисунке 6.31, который вдохновлен его гравюрами и выполнен от руки без помощи компьютера, прямые балки, очевидно, должны изгибаться, чтобы образованная ими решетка сходилась в перспективе по направлению к двум точкам на бесконечности. Эти две точки находятся на линиях, перпендикулярных друг другу в трехмерном пространстве, но они появляются на одной линии в двумерном рисунке. В рисунках с перспективой такое бывает нередко. Но по замыслу рисунка расходящиеся балки из нижней точки должны казаться расположенными с постоянными интервалами, если смотреть на верхнюю точку. Чтобы соблюсти это жесткое условие, прямые балки, выходящие из нижней точки, должны изгибаться вверх, а столбы, идущие из верхней точки, — изгибаться внутрь. Это нечеловеческая перспектива. В нашем мире прямые линии не изгибаются, и Центральная Догма этого не допускает. Этот рисунок, противоречащий Центральной Догме, на протяжении 38 лет украшал обложку ежегодного выпуска журнала Foundations of Computer Science.

Ранние истоки компьютерной графики, восходящие к системам автоматизированного проектирования, к концепциям Кунса, Безье и де Кастельжо, внесли свой вклад в Центральную Догму. В САПР жизненно необходимо, чтобы спроектированные объекты могли существовать в реальном мире. Центральная Догма в компьютерной графике соблюдается почти всегда, но при этом она совсем не обязательна. С самого начала компьютерные художники нарушали ее. В каком-то смысле так и проявляется призвание художников — использовать среду Цифрового Света, не обращая внимания на искусственные ограничения, и показывать остальным результаты своих изысканий. Но даже неукоснительное соблюдение Центральной Догмы подразумевает творческий подход. Возьмите любой полнометражный анимационный фильм Pixar, DreamWorks, Blue Sky и других компаний. Внутри Центральной Догмы так много пространства Творчества, что многие художники никогда даже не задумываются о выходе за его пределы.

Подведем итог: Джонсон и Робертс из Массачусетского технологического института в 1963 году познакомили нас с Центральной Догмой (хотя они ее так не называли) в том виде, в каком она используется сейчас. Они заслуживают большего признания, чем им обычно удостаивают. В частности, они менее известны, чем Сазерленд. Но все трое так или иначе внесли значительный вклад. Вот почему я называю их триумвиратом. Прежде чем я подробно расскажу о каждом из трех пионерах-первопроходцах, давайте кратко рассмотрим историю перспективы в компьютерной графике, потому что Джонсон и Робертс не первыми применили ее. Также они не первыми открыли Центральную Догму.

Рис. 6.31

В знаменитой Bell Labs Эдвард Э. Заяц нашел еще одно решение для отображения перспективы. Он отправил его для публикации в журнале в октябре 1963-го, и оно вышло в марте следующего года. Согласно сноске в статье, к тому времени Заяц снял на 16-миллиметровую пленку фильм с изображением трехмерного движущегося объекта в перспективе. Поэтому ему иногда приписывают первый компьютерный анимационный фильм, датированный 1963 годом. Но поскольку фильм Феттера 1962-го (вероятно) уже существовал, мы присуждаем Заяцу лавры за второй анимационный фильм.

Кадры фильма Заяца вообще не отображались на экране компьютера. Они записывались прямо на кинопленку, кадр за кадром (и весьма медленно). На рисунке 6.33 показаны все кадры этого движущегося объекта, наложенные друг на друга на одном изображении.

Заяц сказал: «Формулировка основного преобразования, необходимого для создания изображения в перспективе, математически тривиальна». Это действительно так, и его решение математически эквивалентно тому, которое использовали Тим Джонсон и Ларри Робертс в том же 1963 году. Но современная компьютерная графика не выросла из решения Заяца, как и из решения Бернхарта — Феттера. Подробности, касающиеся перспективы Заяца, Бернхарта — Феттера и Робертса, приведены в комментариях на сайте.

Имя Айвена Сазерленда, как и имя Стивена Кунса, постоянно возникает в истории компьютерной графики. Мой коллега Эд Катмулл учился у Сазерленда и много лет рассказывал мне о нем. Я даже пару раз оказался в одной комнате с Сазерлендом, но так и не узнал этого человека по-настоящему. Поэтому 9 мая 2017 года в 5 часов утра я позвонил ему по скайпу в Портленд, штат Орегон, из своей квартиры в Кембридже. Он сам попросил связаться с ним в такое время, поскольку привык начинать свой рабочий день очень рано.

Мы проговорили полтора часа, а смеялись гораздо чаще, чем ожидалось. Сазерленд оказался вовсе не тем суровым человеком, которого я рассчитывал увидеть, судя по рассказам моих друзей. Да, сначала он показался очень угрюмым, но вскоре я заметил в уголках его глаз легкую, почти незаметную усмешку. Время от времени он отпускал весьма остроумные замечания. Прежде всего он напомнил, что программа Sketchpad разрабатывалась в эпоху огромных компьютеров-динозавров, занимавших целые машинные залы. Он сказал мне, что путь к Sketchpad пролегал через TX-2.

В то время компьютер TX-2, принадлежавший Массачусетскому технологическому институту, был, вероятно, самым мощным однопользовательским компьютером в мире. Он располагался в Лаборатории Линкольна, секретном подразделении с высоким уровнем безопасности (опять в нашей истории возникает обеспечивающий поддержку тиран, на этот раз — в лице военных). Но, как сотрудник Лаборатории Линкольна и студент Массачусетского технологического института, Сазерленд имел доступ к этому монстру. Он организовал дело так, что смог пользоваться TX-2 единолично, как своим персональным компьютером. Весь зал, набитый электроникой, работал только на него. TX-2 превратился в его личного домашного тираннозавра с графическим дисплеем и световым пером — Сазерленд манипулировал точками на дисплее с помощью пера.

Он сохранял модели отрезков линий в памяти ТХ-2 и написал программу, которая преобразовывала их из невидимых двумерных моделей в видимые двумерные изображения на растрово-векторном гибридном дисплее ТХ-2. Его программа позволяла, если он останавливал световое перо рядом с точкой на дисплее — скажем, рядом с концом отрезка, — «захватить» эту точку и переместить ее в другое место. Координаты конечной точки, хранящиеся во внутренней памяти, изменялись, и на дисплее отображалось обновленное изображение модели.

Сазерленд также впервые продемонстрировал эффект «резиновой нити». Он брал один конец отрезка и перетаскивал его в другое место. Старый отрезок исчезал, а вместо него мгновенно прорисовывался новый. Таким образом, отрезок линии изменялся по мере перемещения светового пера. Он удлинялся или укорачивался в соответствии с новым положением конечной точки, словно резиновая нить, привязанная одним концом к забитому в экран гвоздю. Тогда подобная техника и ее эффекты поражали зрителей. Сейчас она кажется очевидной, но люди видели нечто подобное впервые.

В двумерном Sketchpad Сазерленда впервые появились геометрические ограничения, а также возможность анализировать нагрузку и проводить другие физические тесты моделей. Таким образом, Сазерленд встал на главный магистральный путь разработки систем автоматизированного компьютерного проектирования.[36]

Тим Джонсон, еще один член триумвирата Массачусетского технологического института, поместил для меня Сазерленда, так сказать, в историческую перспективу. Я не затрагиваю тему инженерии (автоматизированного проектирования) в следующей истории, которая напоминает еще и о важнейшей роли Кунса в нашем повествовании:

Даже если не брать концепцию ограничений, хотя уровень графического отображения в Sketchpad кажется тривиальным по сегодняшним меркам, в 1962 году никто ничего подобного не видел. Или видел? Как обычно, история технологии не так проста, как изображает ее общепринятая версия. В то же самое время разрабатывалась еще одна интерактивная программа компьютерной графики и автоматизированного проектирования. САПР под названием Design Augmented by Computers (DAC-1) создана с помощью компании IBM, специально (и эксклюзивно) для дизайнеров и инженеров General Motors в Детройте. Контракт на ее разработку заключили в 1960 году, и ею занимались в подразделении IBM, расположенном в Кингстоне, штат Нью-Йорк. IBM закончила эту программу для General Motors в апреле 1963 года. С самого начала она разрабатывалась как система трехмерного проектирования. В General Motors знали о существовании Sketchpad, но считали рисование двумерных линейных сегментов недостаточным для своих целей. Им требовались трехмерные кривые.

Поначалу в General Motors не видели причин делать свою САПР общедоступной. Точнее, до тех пор, пока в 1963 году не состоялась публикация Sketchpad и Sketchpad III. Разработчики из General Motors быстро добились разрешения на обнародование DAC-1, чтобы разделить славу изобретателей САПР. DAC-1 представили общественности в 1964 году, но не многие помнят о ней или о ее создателях Эдвине Джексе, Барретте Харгривзе и других.

Вот что рассказал мне сам Барретт Харгривз, когда я готовил эту главу:

По словам Харгривза, General Motors работала над программным обеспечением для DAC-1 и светового пера совместно с Массачусетским технологическим институтом. Группы из MIT и General Motors знали друг о друге. Здесь есть интригующие исторические намеки по поводу DAC-1, которые заслуживают дальнейшего изучения. В отчетах о разработке DAC-1 не хватает точных дат. Например, были ли в нем трехмерные кривые уже тогда, когда Sketchpad позволял делать только двумерные рисунки из отрезков прямых линий? Была ли в нем трехмерная интерактивная графика до появления Sketchpad III Джонсона? Сдача работ по DAC-1 в апреле 1963 года предшествовала публикации Sketchpad III в мае 1963-го, но обе эти даты — внешние по отношению к процессу разработки и не обязательно указывают на внутреннее состояние проекта. Мы знаем также, что DAC-1 не отображал трехмерные модели в перспективе.

Харгривз преподнес мне еще один сюрприз — привел доказательство существования ранней компьютерной анимации, которая разрабатывалась в General Motors, причем с демонстрацией самому Уолту Диснею, но не на DAC-1:

И снова сомнительные датировки и отсутствие деталей. И Хью Брауз, к сожалению, уже умер. Поэтому, не имея более веских доказательств обратного и используя нашу консервативную схему датирования для установления приоритета, давайте впредь будем считать, что в соревновании Sketchpad и DAC-1 Сазерленд оказался первым. Тем более что его Sketchpad получил широкую огласку, а DAC-1 — нет. Но при этом совершенно очевидно, что DAC-1 был интерактивной программой автоматизированного проектирования, созданной примерно в то же время.

Но что именно сделал первым Сазерленд, раз уж мы присудили ему первенство? Это не интерактивная компьютерная графика. Ее уже создали десятью годами ранее Кристофер Стрейчи, написавший видеоигру в шашки, и Сэнди Дуглас, создавший видеоигру в крестики-нолики. Обе программы, появившиеся в начале 1950-х, позволяли пользователю в интерактивном режиме изменять, скажем, квадрат доски с пустого на квадрат с крестиком или ноликом. Внутренняя модель доски обновлялась, а дисплей перерисовывался, чтобы отобразить новую конфигурацию доски с грубой визуализацией крестиков и ноликов.

На самом деле новаторство Сазерленда заключалось в интерактивном рендеринге изображения — с акцентом на рендеринг. Программа интерактивно обновляла внутреннюю геометрическую модель. Но ведь игры Стрейчи и Дугласа делали то же самое? Важное нововведение на Sketchpad состояло в визуализации обновленной модели на дисплее по мере того, как вы двигали рукой. Это не просто изменение модели. Это также ее отрисовка. Sketchpad не имел ни малейшего представления, где будет нарисована следующая линия, какой длины и под каким углом. Дисплей отображал ее настолько же быстро, насколько быстро рука пользователя перемещала местоположения конечных точек. Таким образом у пользователя возникало ощущение полной свободы действий при интерактивном изменении геометрической модели.

Программа Стрейчи работала на древнем компьютере Mark I в Манчестере, отображая предварительно визуализированные геометрические элементы — доску, черные шашки Х и белые шашки О. Mark I не обладал достаточной скоростью, чтобы интерактивно отображать даже X, перемещая его с клетки на клетку. С крестиками-ноликами Дугласа на древнем EDSAC в Кембридже дело обстояло аналогичным образом. Но примерно через 10 лет TX-2 в Массачусетском технологическом институте уже стал настолько быстрым, чтобы мгновенно (или по крайней мере достаточно быстро для человеческого восприятия) отображать несколько десятков отрезков.

В распоряжении Сазерленда был гигантский TX-2, и он первым использовал скоростные возможности этого компьютера графически. Мы уже обсуждали «резиновую нить». Еще он реализовал такие вещи, как фиксирование одной конечной точки отрезка и вращение другой конечной точки вокруг нее. Эффект состоял в повороте отрезка (с непрерывным отображением на экране), когда пользователь перемещал световое перо по поверхности дисплея. Также Сазерленд добился возможности, поворачивая ручку, вращать в реальном времени целый объект, состоящий из нескольких отрезков. Ключевое отличие его экспериментов от интерактивных игр начала 1950-х заключалось в мгновенном рендеринге отрезков (или по крайней мере рендеринг казался мгновенным). Программа Sketchpad не имела ни малейшего представления, где будут расположены новые отрезки, а поэтому не могла выполнить их предварительную визуализацию.

Итак, с помощью программы Sketchpad Сазерленд впервые добился интерактивного рендеринга в компьютерной графике. Это определение не так легко слетает с языка, как «первая интерактивная компьютерная графика», которую часто приписывают Сазерленду и Sketchpad, но у него есть важное преимущество: оно точное. Идея заключается в мгновенной замене геометрической модели, визуализированной на дисплее, другой визуализацией модели, содержащей изменения, которые зависят от действий пользователя и, следовательно, не могут быть предсказаны программой.

TX-2 был первым однопользовательским компьютером с достаточно быстрым дисплеем, и Сазерленд использовал его должным образом.

Sketchpad обладал еще одним новшеством, которое интерактивный рендеринг делает возможным, но не объясняет; его мы пока еще не упоминали. Любопытно? Новшество заключалось в том, что пользователь ощущал свое взаимодействие с программой, как будто он (как правило, в те времена это был он, а не она) изменяет модель, «прикасаясь» к ней — взаимодействуя с ее изображением на дисплее. Мы называем это «изображение как интерфейс». В первых интерактивных компьютерных играх пользователь изменял внутреннюю модель, печатая текст, а не взаимодействуя с самим изображением. А для управления игрой под названием «Овцы и ворота», которая работала на EDSAC, требовалось взмахом руки прерывать световой луч на устройстве чтения перфоленты. Но для пользователя Sketchpad новый опыт заключался в том, что изображение изменялось от прикосновений к нему. Если бы вы были дизайнером, конструктором или проектировщиком, вы впервые могли видеть свою модель в процессе ее создания. DAC-1 делал примерно то же самое и примерно в то же время.

Я использую здесь понятие «прикосновение» довольно широко, подразумевая под ним приближение светового пера или светового пистолета к дисплею. Поскольку управление курсором мыши мы воспринимаем как прикосновение, его я тоже включаю. Точно так же я включаю сюда перемещение курсора с помощью трекбола, джойстика, пальца на тачпаде или взмахов волшебной палочки в виртуальной реальности.

На самом деле прикосновение к экрану одним или несколькими пальцами, как мы это делаем сегодня на мобильных телефонах и сенсорных панелях, кажется довольно недавней разработкой — достижением последнего десятилетия или около того. Но это не так. Проект PLATO (Programmed Logic for Automated Teaching Operations — программный алгоритм для автоматизированных операций преподавания), вдохновленный Дэном Алпертом, Доном Битцером и другими инженерами из Иллинойсского университета, позволял студентам отвечать на вопросы, прикасаясь к определенному месту экрана (эта функция появилась в версии PLATO IV, запущенной в 1972 году). Оранжевая плазменная панель, разработанная Битцером, поддерживала возможность быстрой отрисовки векторных линий. Недавно опубликованная Брайаном Диром история этого проекта «Дружелюбное оранжевое свечение» должна напомнить о месте PLATO в современной компьютерной истории.

Давным-давно я, прежде чем начинать демонстрацию, я описывал аудитории, как движение мыши на рабочем столе меняет изображение на дисплее. Я тратил около 15 минут на объяснения, что это действительно работает. Людей очень удивляло, что перемещение предмета в одном месте заставляет точно так же двигаться курсор в другом, создавая впечатление, будто вы двигаете его вверху по дисплею, а не внизу по рабочему столу. Лишь с появлением персональных компьютеров в начале 1980-х удивление поугасло. Внезапно все на личном опыте узнали, как курсор следует за мышью.

Неважно, вызваны изменения на экране движением мыши или фактическим прикносновением, — вы в любом случае ощущаете, что породила их ваша рука. Увы, вам это только кажется. В действительности происходит следующее: «прикосновение» запускает команду для работающей программы, например для Sketchpad. Программа измененяет геометрическую модель в памяти компьютера, что в свою очередь изменяет визуализацию на дисплее, к которому вы «прикоснулись».

С сегодняшней точки зрения работа с двумерной геометрией — такой, как квадрат, треугольник или круг — не кажется чем-то сложным, но Сазерленд был первым, и ему предстояло решить множество проблем. Он создал структуру данных, представляющую топологию объектов в его модели, по принципу «этот отрезок соединяется с тем и остается соединенным во время движения».

Он заставил устройство отображения отрисовывать изображения объектов, в то время как TX-2 выполнял программу Sketchpad. То есть ему нужно было думать о процессе отображения, протекающем отдельно от основного вычислительного процесса. По такому принципу работают современные дисплеи, но Сазерленд сражался с проблемой один на один.

Ему пришлось создать алгоритм рендеринга отрезков на дисплее в виде набора точек. Примерно в то же время (в 1962-м) появился знаменитый алгоритм Брезенхэма для выполнения аналогичной задачи, но Сазерленд действовал независимо и без учета эффективности, потому что TX-2 был очень быстрым.

Ему пришлось написать и программу, которая отслеживала положение светового пера относительно дисплея. Тем, кто работал после него, например Тиму Джонсону, было гораздо проще начинать, так как Сазерленд решил множество проблем. Сама по себе двумерная геометрия не кажется значительным вкладом, но Сазерленд впервые создал законченную систему интерактивной компьютерной графики (вероятно, вы помните про DAC-1).

В сферу автоматизированного проектирования он привнес такие важные понятия, как ограничения, сохранение топологии, точность, возможность компьютерного тестирования своих объектов, — но их мы не будем здесь обсуждать.

Но самое главное, Сазерленд показал нам силу ощущения интерактивного контроля над компьютером, когда мы просто «прикасаемся» к его дисплею и наблюдаем за мгновенными изменениями. Возможно, Сазерленд и не был в этом самым первым, но вряд ли кто-либо из широкой публики видел что-то подобное прежде или знал о более ранних примерах. Компьютеры Sage, например, окружала завеса секретности. А DAC-1 оставался внутренним проектом для General Motors. Массачусетский технологический институт умело подошел к маркетингу своей разработки и активно распространял демонстрационные ролики о Sketchpad. Вы можете посмотреть на YouTube, как Алан Кэй комментирует один из них, снятый в Sketchpad в 1962-м, и ощутить (даже сейчас) первоначальное волнение, которое испытывали его зрители. Одной только идеи «резиновой нити» хватило бы, чтобы удивить мир, и в то время она стала настоящим открытием.

Интерактивные возможности Sketchpad, по-видимому, привели к появлению графического пользовательского интерфейса. Я спросил Сазерленда об этом во время нашего разговора по скайпу. Он не был готов зайти настолько далеко. Его программа лишь позволяла пользователю управлять изображением объекта «касанием» светового пера.

Последняя метафора, которая привела нас к полностью графическому пользовательскому интерфейсу, — это идея, что пользователь, прикасаясь к дисплею, может управлять чем угодно, а не только изображениями геометрических объектов. Внутренняя модель, изменяющаяся от действий пользователя, может быть, например, системой файлов или папок. Значок папки — это отображаемая версия фактической папки в памяти компьютера. Это не ее изображение, потому что там не из чего создавать изображение. Перемещение значка папки фактически перемещает папку на новое место в памяти.

Тим Джонсон в начале 1960-х годов имел несчастье выглядеть очень похожим на Айвена Сазерленда. У него была более широкая и открытая улыбка, чем у Сазерленда, но такие же волосы, очки и такое же узкое лицо. Сегодня на многих фотографиях в интернете, подписанных как «Сазерленд за пультом Sketchpad», на самом деле изображен Джонсон за пультом Sketchpad III. Когда я связался с Джонсоном в конце марта 2017 года, он с юмором отнесся к этой ситуации. Сказал мне, что уже смирился. А что еще ему оставалось делать? Я пообещал попробовать изменить ситуацию.

Sketchpad III Джонсона находился на ключевом направлении разработок систем автоматизированного компьютерного проектирования. В нем он впервые предложил, как мы уже упоминали, деление окна на четыре панели — популярный метод работы среди специалистов в области САПР: три панели показывают вид объекта сверху, спереди и сбоку без перспективы, а четвертая (окно просмотра) демонстрирует его под любым углом и в перспективе, используя решение Робертса.

Давайте разберемся с окном просмотра. Предположим, что оно заполняет весь дисплей. Нечто подобное вы видите в каждом кадре любого фильма вроде тех, что делает Pixar. Остальные три панели с видом сверху, спереди и сбоку используются только на этапе проектирования для удобства разработчиков.

На рисунке 6.34, вверху слева, Джонсон (не Сазерленд!) управляет Sketchpad III. На крупных планах каждого дисплея показаны все четыре панели, окно просмотра расположено в правой верхней панели. Тим начал с трех граней простого куба (на верхнем правом рисунке). Затем добавил с помощью светового пера треугольник в верхней части лицевой стороны F (внизу слева), который отображается на других панелях по мере его добавления. Затем он добавил (внизу справа) скошенный прямоугольник к боковой грани S и, возможно, добавляет еще один к передней грани F.

Рис. 6.34

Идея окна просмотра возникла у Джонсона: «Айвен [Сазерленд] добился однородности, указав мне в направлении Ларри Робертса. Я быстро оценил, насколько классно выглядит (и просто потрясает) его [Робертса] подход. Само перспективное окно просмотра было моим изобретением». И это (перспективное) окно просмотра имеет ключевое значение для всей компьютерной графики.

Я спросил Джонсона, внедрил ли он патчи, или лоскуты, Кунса в Sketchpad III, учитывая, что Кунс был научным руководителем его дипломной работы. «Я на скорую руку сделал на TX-2 отдельную программу для лоскутов Стива, она не была частью Sketchpad III».

Чего добился Джонсон с тех пор? После Sketchpad III он продолжил карьеру в архитектуре. На архитектурном факультете Массачусетского технологического института он применил идеи ограничений Сазерленда к архитектурным планам, что привело его к званию профессора. Затем он построил в кампусе Массачусетского технологического института экспериментальное здание Solar 5, использующее солнечную энергию без каких-либо дополнительных приспособлений при помощи строительных элементов (окон и крыши). Он закончил научную карьеру, основав успешный бизнес по изготовлению на заказ «фотореалистичных» изображений архитектурных проектов. То есть Джонсон стартовал в профессии с той ветки Цифрового Света, которая относится к системам автоматизированного проектирования, а закончил свой путь в области компьютерной графики. Но его вклад в Цифровой Свет так и не отмечен ни одной наградой.

Ларри Робертс совсем не походил на своих однокурсников по Массачусетскому технологическому институту Айвена Сазерленда и Тима Джонсона. У него были темные волосы, и он не носил очков. И он не написал свою версию Sketchpad. Более того, изначально он даже не имел никакого отношения к программам создания компьютерной графики. Робертс работал в отделе обработки изображений — совсем иной ветви Цифрового Света. Он изучал фотографии из журнала Playboy — цифровые, в виде растра пикселей, — чтобы понять, сколько битов из описания каждого пикселя получится сэкономить, сохранив качество изображения.

Гораздо более впечатляющая тема, в работе над которой он участвовал, заключалась в распознавании трехмерных форм на оцифрованных фотографиях — не кроликов Playboy, конечно, а простых геометрических объектов, таких как кубы и призмы. Он извлекал линейные контуры таких объектов, находя на фотографии их прямые края и углы с учетом перспективы. Затем он восстанавливал их трехмерную структуру и отображал ее на дисплее TX-2, для чего ему требовалось пересечь границу между областями Цифрового Света — обработкой и созданием изображений. Чтобы успешно выполнять свою работу, ему пришлось освоить математику видимой перспективы. Впоследствии ему удалось внести фундаментальный вклад в компьютерную графику.

Его способ отображать перспективу сегодня повсеместно используется в компьютерной графике. Это один из эзотерических разделов математики, который называется проективной геометрией, — и в нем есть странное понятие «однородная координата». Это неочевидный и довольно сложный для понимания прием.

Он предлагает нам добавить четвертую координату к каждой точке нашей геометрии. Начальная геометрия — планиметрия, изложенная в моем учебнике для средней школы, — использует точки с двумя координатами: первая для положения на горизонтальной оси x, а вторая для положения на вертикальной оси y. Такую геометрию использует Sketchpad Сазерленда — как для внутренней модели, так и на дисплее.

В старшей школе мы немного изучали объемную, или трехмерную, геометрию — стереометрию. Она добавляет к каждой точке третью координату, ее местоположение по глубине z в трехмерном пространстве. Стереометрия описывает внутренние модели в Sketchpad III Джонсона. Для отображения Джонсону требовались только двумерные точки x и y, но самое интересное, что он заставил Sketchpad III также отображать внутреннюю модель в перспективе. Тут-то и пригодилась математика его однокурсника Робертса.

Прием Робертса добавлял четвертую — странную «однородную» координату к каждой точке внутренней модели. Назовем ее h. Описание точки в мире Робертса — в проективной геометрии — выглядит как (x, y, z, h). Первые три координаты — это просто расположение точки в пространстве. Но что означает четвертая координата? Мы говорили о пространстве-времени, где у точки есть четвертая координата — ее положение во времени. Но однородная координата — это не время. Она означает следующее: для заданной точки внутренней геометрической модели, расположенной в (x, y, z), используйте точку с координатами (x: h, y: h), чтобы создать ее изображение на дисплее в перспективе. Другими словами, получить изображение точки в перспективе можно, разделив первые две ее координаты на четвертую ее координату h (и проигнорировав третью). Это далеко не очевидно, не так ли? Художники и архитекторы эпохи Возрождения точно не знали такого алгоритма.

Но Робертс и Джонсон пошли еще дальше, включив в Sketchpad III и другие идеи из стереометрии. Робертс разработал математику механизма пространственного преобразования, которая сегодня повсеместно используется в компьютерной графике. Под пространственным преобразованием мы подразумеваем перемещение и вращение объекта, а также изменение его размера. Я не буду вдаваться в подробности — упомяну только, что в нем используется четырехмерное умножение четырехмерных точек, которые Робертс ввел в своем перспективном решении, с четвертой однородной координатой. Дальнейшее объяснение уведет нас в математические дебри матричной алгебры. Важно отметить (и поблагодарить за это Робертса), что он объединил вместе в матричной форме как перспективные, так и пространственные преобразования, чем мы сегодня пользуемся повсеместно. Он создал концепцию однородных координат, или матричной алгебры, сделав тем самым настоящее открытие. Вот его описание словами самого Робертса:

Почему нет премии Робертса? И что случилось с ним дальше? Вы, конечно, удивитесь, но он стал главной движущей силой изобретения интернета! Однако для этой истории нужен контекст.

Джозеф «Лик» Ликлайдер, как вы, надеюсь, помните, предсказал интернет в своей статье «Симбиоз человека и машины» 1960 года. Совсем не удивительно, что два года спустя ARPA уговорило Лика возглавить новый офис технологий обработки информации (Information Processing Techniques Office, IPTO). Под руководством его и других столь же сильных лидеров IPTO превратился в главную движущую силу нашей истории. В частности, его создание поспособствовало развитию интернета, персональных компьютеров и компьютерной графики.

Лик сразу же начал финансировать проекты, которые реализовывали его видение гармоничной работы человека и машины. Удивительно, но, несмотря на военный характер проекта, ему предоставили полную свободу действий, благодаря чему он достиг статуса истинного провидца. Одним из первых финансирование получил проект Дуга Энгельбарта по «расширенной» связи между человеком и машиной в Стэнфордском исследовательском институте (SRI), который расположен рядом со Стэнфордским университетом. В результате этого проекта появился первый полноценный графический пользовательский интерфейс. Как отмечалось ранее, Энгельбарт продемонстрировал его во время знаменитой «матери всех демонстраций», которую он проводил с помощью нового устройства под названием «мышь».

Роберт Тейлор из NASA, также заинтригованный идеями Энгельбарта, подключился к финансированию. Сформировался союз провидцев: Ликлайдер из ARPA, Тейлор из NASA и Энгельбарт из SRI. Они существенно повлияли на дальнейший ход истории в этом и следующих технически взрывных десятилетиях.

Ликлайдер, Энгельбарт и Тейлор знали о разработках триумвирата в Массачусетском технологическом институте с 1962 по 1964 год — Sketchpad и Sketchpad III. Они ссылались на них как на свидетельство правильности своего коллективного видения будущего взаимодействия между машиной и человеком. Неудивительно, что следующим директором IPTO ARPA в 1963 году назначили Айвена Сазерленда. Третьим директором в 1965-м стал Боб Тейлор, а четвертым — Ларри Робертс в 1966-м. Финансирование от ARPA помогло им всем повлиять не только на развитие Цифрового Света, но и на то, как сейчас выглядит весь наш современный мир.

Пока Айвен Сазерленд работал в IPTO, он продолжал финансировать Дэвида Эванса в Беркли. Когда впоследствии Эванс основал Отделение компьютерной графики в Университете Юты, он убедил Сазерленда присоединиться к нему. Сазерленд принял предложение в 1968 году; тогда же они совместно учредили компанию по производству оборудования для компьютерной графики Evans & Sutherland в Солт-Лейк-Сити. И компания, и отделение компьютерной графики (оно особенно) оказали огромное влияние на всю последующую историю Цифрового Света.

Боб Тейлор, закончив щедро раздавать фонды ARPA и покинув пост руководителя IPTO, основал в 1970 году знаменитую лабораторию Xerox PARC (Исследовательский центр в Пало-Альто). Я устроюсь туда на работу под его руководством несколько лет спустя. Именно здесь была создана компьютерная среда, объединяющая персональные компьютеры, графический пользовательский интерфейс на базе окон, мышь, лазерный принтер, растровую графику и Ethernet, — мы пользуемся е. до сих пор.

Ларри Робертс использовал свое положение руководителя IPTO для создания сети ARPAnet, впоследствии ставшей интернетом. Интернет реализован с использованием компонентов Ethernet, изобретенных в лаборатории Тейлора в Xerox PARC. Два из четырех первых узлов сети ARPAnet — это Стэнфордский исследовательский институт и Университет штата Юта.

Когда в апреле 2017 года я писал ранний вариант этой главы, Робертсу присвоили статус почетного члена Музея компьютерной истории в Калифорнии. В официальном перечне его достижений не упомянута роль одного из основателей компьютерной графики и пионера ее Центральной Догмы. Он прославился своим вкладом в создание интернета — достижением, которого вполне бы хватило для всеобщего признания. Один только IEEE присудил ему Мемориальную премию Гарри М. Гуда в 1976 году, премию У. Уоллеса Макдауэлла в 1990-м и Премию интернета в 2000-м. Он был членом Национальной инженерной академии, которая в 2001-м присудила ему премию Чарльза Старка Дрейпера. Но он ни разу не удостоился подобной чести за свой фундаментальный вклад в компьютерную графику.

Тема анимации проходит через всю мою книгу. Хотя Сазерленд известен в первую очередь своими достижениями в области систем автоматизированного проектирования, намеки на компьютерную анимацию содержатся в его диссертации 1963 года, описывающей Sketchpad. На рисунке 6.35 вы видите позаимствованную оттуда иллюстрацию с простым наброском лица девушки и тремя состояниями ее глаз. Если последовательно вывести их на экран, она подмигнет. Стоит процитировать Сазерленда, чтобы увидеть, насколько мы продвинулись:

Сазерленд ошибался, считая вторую форму, связанную с ограничением движений, обычным явлением в кино. Классическая целлулоидная мультипликация использовала как раз замену промежуточных форм — именно это была наиболее привычная форма мультипликации вплоть до начала нового тысячелетия. Привычной она остается до сих пор, если под заменой понимать интерполяцию промежуточных форм в трех измерениях.

После защиты диссертации в Массачусетском технологическом институте Сазерленд присоединился к ARPA и, как вы уже знаете, выделил финансирование Дэвиду Эвансу. Затем он ушел из ARPA, несколько лет работал в Гарварде, а в 1968 году пополнил ряды сотрудников и преподавателей основанного Эвансом Департамента компьютерной графики Университета Юты. Многие исследователи современной компьютерной графики учились именно там, и каждому из них рассказывали историю первопроходства Сазерленда. Хотя Сазерленд не занимался непосредственно анимацией, выпускники Юты сыграли важную роль в индустрии компьютерной анимации, о которой мы поговорим в следующих главах.

Рис. 6.35

Как мы уже знаем, в Bell Labs Эдвард Заяц создал в 1963 году первый компьютерный анимационный фильм. Там же разработали и первую систему производства компьютерной анимации. В 1964 году исследователь из Bell Labs Кен Ноултон создал компьютерный язык для медленной генерации фильмов в растровом режиме, по одному кадру за раз. Он назвался Beflix. Сам процесс не был интерактивным. Предполагалось, что кадр разделен — в режиме «высокого разрешения» — на 252 на 184 маленьких квадрата. В каждый из них вводились крошечные символы «в режиме пишущей машинки». Камера расфокусировалась, так что символы превращались в пятна света разной интенсивности. То есть фактически происходила грубая имитация «разбросанных» пикселей на растровой сетке и без перекрытий. Примитивный фильм, снятый таким образом Ноултоном в 1964 году, можно посмотреть в сети. Там же легко найти и другой, сделанный Заяцем и его студентом в 1964-м и 1965-м с использованием языка Ноултона.

И тут в нашем повествовании раздается удар гонга, возвещающий начало новой гонки. В Bell Labs и других компаниях вместе с технологами и инженерами начали работать художники. Люди с художественным, а не техническим образованием быстро уловили в воздухе что-то новое. Эта новая порода творцов воспринимала компьютерные вычисления как материал для творчества, возможности которого необходимо было исследовать применительно к скульптуре, музыке, поэзии и изобразительному искусству. Яркий представитель этого творческого типажа — кинорежиссер-экспериментатор Стэн Вандербик, в 1960-х годах снимавший фильмы в Bell Labs, работая с Кеном Ноултоном. С ним мы встретимся в следующей главе.

Шли знаменитые «ревущие шестидесятые», и все устоявшиеся определения подвергались сомнению и пересмотру. Некоторые ученые-компьютерщики считали себя художниками, чем вызывали тревогу в художественном сообществе. Споры не утихли и по сей день, но я не буду здесь заниматься их разрешением. Кен Ноултон, назовите вы его хоть художником, хоть программистом, всю жизнь экспериментировал с различными элементами отображения. Он создал десятки цифровых изображений, используя что угодно — например, домино, игральные кости, игрушечные машинки и ракушки — для «разбрасывания» пикселей. В 1990-х годах, спустя 34 года после своего первого компьютерного фильма, Ноултон все еще занимался этим же видом творчества, используя осколки чайника как элементы отображения (рис. 6.36).

Рис. 6.36

Рис. 6.37

Многие в конце 1960-х не считали компьютер инструментом для творчества, но одна женщина с этим не согласилась и организовала выставку, вошедшую в историю. В 1968 году в Лондоне открылась основополагающая выставка Ясии Рейхардт «Кибернетическая прозорливость — компьютер и искусство» (The Cybernetic Serendipity — The Computer and the Arts). В наше время за ее каталогом и постером гоняются коллекционеры (рис. 6.37). Уже тогда Рейхардт старательно избегала называть создателей представленных на выставке произведений художниками. Даже пятьдесят лет спустя в определенных кругах эта проблема все еще остается минным полем и даже иногда оборачивается судебными процессами.

Но у Робина Форреста проблем со званием художника не возникало. «Я никогда не считал созданные мной изображения искусством, но она [Рейхардт] считала. Значит, это должно быть искусство! Но почему именно это изображение?»

В 2005 году Рейхардт пошла непрямым путем, чтобы описать создателей этих произведений, повторив слова другого автора:

Он также указал, что большинство изображений, существовавших к 1967 году, были созданы в основном в качестве хобби, и он обсуждал работы Майкла Нолла, Чарльза Цури, Джека Ситрона, Фридера Наке, Джорджа Ниса и Х. П. Патерсона. Все эти имена знакомы нам сегодня из истории как имена пионеров компьютерного искусства. Возможность компьютерной поэзии и искусства впервые упоминается в 1949-м. К началу 1950-х годов об этом говорили в университетах и научных учреждениях, а к моменту появления компьютерной графики художники уже были учеными, инженерами, архитекторами.

В выставке «Кибернетическая прозорливость» среди упомянутых в этой главе людей, помимо Робина Форреста, также участвовали Уильям Феттер, Кен Ноултон, Стэн Вандербик и Эдвард Заяц.

12 июня 2016 года Марсели Вейн и и его жена Сьюзен заехали за мной на ферму моих родственников на юге Онтарио и отвезли в Гананокве, где мы на моторном катере быстро доплыли до их дома на одном из Тысячи островов на реке Святого Лаврентия. День выдался холодный, поэтому мы сидели у камина и рассказывали, что произошло за те 40 лет, пока мы не виделись. Этот замечательный человек рассказал мне удивительную историю.

Помните фильм Стивена Спилберга «Список Шиндлера» (1993), историю жадного немецкого бизнесмена Оскара Шиндлера, который спас более тысячи евреев от нацистского ужаса в Освенциме? Отец Марсели Вольф Вейн был очень хорошим портным и значился в этом списке под пятым номером. До того как начались страшные события, Вольф Вейн спас своего восьмилетнего сына. По словам Марсели:

Зофия растила Марсели как католика и дала ему военный псевдоним Марек Чак. Тем временем его старшего брата расстреляли, а мать погибла в концлагере. Но благодаря Шиндлеру выжил его отец Вольф. В конце концов он и Марсели воссоединились и поселились в Монреале в 1952 году.

Марсели там окончил Университет Макгилла и во время учебы в докторантуре познакомился с компьютерной обработкой изображений. Воодушевленный открывшимися возможностями, он присоединился в 1966-м к Нестору Бёртнику, который занимался компьютерной графикой в Национальном исследовательском совете Канады. «Нас интересовало, как люди, которые не являются техническими специалистами, могут взаимодействовать с компьютерами».

Бёртник услышал лекцию одного из художников-мультипликаторов студии Диснея на конференции по компьютерной графике в 1969 году. Там объяснялся процесс анимации на целлулоиде, который мы обсуждали ранее в главе о кино. Главный мультипликатор рисует ключевые кадры карандашом. Затем промежуточные кадры (между ключевыми) создают художники-фазовщики. Контуровщики обводят карандашные линии тушью на целлулоидных листах, а заливщики заполняют контуры цветом. Бёртник и Вейн решили создать компьютерного помощника для производства покадровой анимации.

Бёртник написал программу двумерной интерполяции, которая брала линию из первого ключевого кадра и соответствующую линию из следующего ключевого кадра, после чего интерполировала одну в другую, рисуя линии в соответствующих позициях на промежуточных кадрах. То есть компьютер становился промежуточным звеном в системе анимации по ключевым кадрам. Таким образом, в 1970 году они создали третью задокументированную двумерную компьютерную анимационную систему (после систем Ноултона и Беккера). Фактически в производстве анимации использовались только эти три системы.

Система Beflix Ноултона была первой, полностью ориентированной на пиксели, без геометрии для интерполяции. Genesys Беккера перемещала геометрические объекты по кривым, но не интерполировала их. Система Бёртника и Вейна стала первой интерполирующей, или фазировочной, системой для компьютерной анимации.

В 1996 году в Канаде Бёртника и Вейна провозгласили отцами технологии компьютерной анимации. В 1997 году за свой вклад в эту сферу они получили премию Технической академии США.

Из главы «Восход Цифрового Света» мы знаем, что пиксель — это один отсчет из поля зрения. Более того — и это очень важно — это отсчет оцифрованный и представленный в виде битов. Здесь мы говорим о пикселях из полей цветового зрения. Естественно, мы называем их цветными пикселями.

Мы также знаем, что увидеть цветной пиксель невозможно. У него нет формы. Это отсчет поля зрения в одной точке. У него есть лишь координаты на математической сетке местоположений и один-единственный цвет. Чтобы увидеть невидимый пиксель, его необходимо «разбросать» на устройстве отображения и добавить к другим «разбросанным» пикселям. Операции «разбрасывания» и сложения вновь восстанавливают бесконечность цветов исходного поля зрения до дискретной выборки отсчетов. Фактически перед нами еще одна переформулировка великой теоремы отсчетов.

Но как цвет «связан» с пикселем? Каждый элемент дисплея — это часть материи реального мира, испускающая цветной свет. Чтобы дисплей был полезным в современном мире, количество цветов на нем должно достигать нескольких миллионов. Таким образом, необходим элемент управления вводом, чтобы задавать элементу отображения один из многочисленных цветов.

Сам по себе пиксель не содержит цвета. Он содержит элементы управления цветом. Конструкция элемента цветного дисплея варьируется у разных производителей, поэтому рассмотрим типовую. Она состоит из трех расположенных рядом крошечных светоизлучающих частей, каждая из которых дает один из трех основных цветовых компонентов: красный, зеленый или синий (для излучаемого, а не поглощаемого света, как мы уже обсуждали). На расстоянии, с которого мы обычно наблюдаем дисплей, отдельные светящиеся части сливаются для наших глаз в один цвет. Каждому такому элементу цветного дисплея нужны три входных канала управления, по которым подаются, скажем, разные уровни напряжения для изменения интенсивности свечения трех базовых частей. Чем выше напряжение, тем ярче светится первичный компонент.

Наше определение цветного пикселя требует, чтобы он отображался под цифровым управлением. Биты в цветном пикселе управляют тремя цифровыми каналами одного элемента цветного дисплея. Говорить, что пиксель хранит цвет, довольно удобно, поэтому мы тоже будем иногда так делать. Но на самом деле пиксели не хранят цвета — точно так же, как биты на самом деле не содержат 0 и 1. В следующем разделе я буду осторожен и скажу, что пиксель управляет цветом, а не хранит его.

Давайте рассмотрим, как считать цвета в цифровом виде. Раньше мы использовали метафору с примитивным двухпозиционным выключателем. У него есть два состояния — включен или выключен. Точно так же и бит представляет 1 или 0 (если мы настаиваем на числах для обозначения состояний). Таким образом, 1-битный пиксель может управлять отображением только двух разных цветов — как правило, черного и белого, но их легко заменить любыми другими, скажем розовато-лиловым и зеленовато-желтым.

У двух выключателей есть уже четыре разных положения: оба включены, оба выключены, один включен, а другой выключен, один выключен, а другой включен. Таким образом, управляемый 2-битным пикселем элемент дисплея отобразит один из четырех возможных цветов. Когда количество битов в пикселе увеличивается на единицу, количество цветов, которыми он управляет, удваивается. У трех выключателей есть восемь возможных положений: все четыре положения двух выключателей с включенным третьим и все четыре положения двух выключателей с выключенным третьим. Таким образом, 3-битный пиксель управляет восемью возможными цветами — и так далее. Для удобства я часто буду помещать в скобки эквивалентное количество возможных контролируемых цветов после упоминания величины пикселя в битах.

Дело становится совсем серьезным, когда количество битов достигает шести и выше. Такой способ хранения элементов управления цветом — непосредственно в битах каждого пикселя — кажется наиболее очевидным. Действительно, он до сих пор остается наиболее распространенным, именно поэтому понятие пикселя, хранящего цвет, кажется вполне естественным.

Но на заре компьютерной истории память стоила очень дорого, из-за чего преобладал непрямой способ хранения элементов управления цветом. Он использовал так называемую палитру — цветовую карту или таблицу поиска цветов. Биты в пикселе интерпретировались как номер строки в таблице элементов управления цветом, хранящейся в памяти компьютера. Цветом управляла строка битов памяти (а не биты пикселя). Идея заключалась в том, чтобы количество битов на пиксель было невелико (поскольку пикселей очень много), а число возможных вариантов цвета на пиксель — большим.

Рассмотрим уже упомянутый 1-битный пиксель. Один бит способен напрямую включать или выключать элемент отображения, и на этом всё. Таким образом, 1-битный пиксель управляет напрямую лишь черным (выключено, 0) и белым (включено, 1) цветами. Но косвенно этот бит может указывать на одну из двух строк (строку 0 или строку 1) палитры в другом месте памяти. Предположим, что каждая строка карты цветов содержит 24 бита. Их достаточно для управления более чем 16 миллионами различных цветов. Есть только два ряда, поэтому одновременно доступны только два цвета, но выбрать можно любые — хоть розовато-лиловый и зеленовато-желтый. Поскольку переход на один уровень косвенности происходит на электронных скоростях, нам, жалким несовершенным людишкам, он кажется практически мгновенным. С помощью цветовой карты пиксель не управляет элементом отображения, а лишь выбирает строку из палитры, управляющую им.

Более реальный и знакомый пример — 8-битный пиксель. Он указывает на одну из 256 строк в палитре. Опять же, давайте предположим, что в каждой строке цветовой карты 24 бита. Таким образом, вместо 256 возможных цветов (8 битов), доступных напрямую, трюк с цветовой картой делает косвенно доступными более 16 миллионов цветов (24 бита). Количество цветов, которыми можно управлять, остается неизменным (256) в обоих случаях, но количество вариантов их выбора значительно увеличивается.

В этой главе мы столкнемся с 6-битными (64 цвета) и 8-битными (256 цветов) пикселями, а затем перейдем к 24-битным (более 16 миллионов цветов). Человек различает до 16 миллионов оттенков, поэтому обычно нет особых причин использовать пиксели с разрядностью более 24 бит. Число битов в пикселях, равное 24, стало повсеместным к началу третьего тысячелетия, что привело к Великой цифровой конвергенции. Таким образом, 24-битные пиксели (с 16 мегацветами, как мы можем это назвать) сегодня считаются стандартом, будь то в цифровом кино или на экране мобильного телефона.

Янгблад описал систему, использованную Лабораторией реактивного движения для отображения цифровых цветных изображений, — цвет там кодируется 6 битами на пиксель (64 цвета). Если опустить подробности, система работала следующим образом: изображения отправлялись на Землю и сохранялись на вращающемся магнитном диске, а затем снова собирались в 512 рядов по 480 пикселей в каждом для отображения на цветном телевизионном дисплее. Но самое первое изображение (рис. 7.2) было не таким сложным: его размер составлял всего 200 на 200 пикселей, а отображение делалось от руки на бумаге!

Есть специальный термин для цифровой памяти, которая используется для хранения пикселей. Ее называют кадровым буфером, поскольку она буферизует (или сохраняет) один кадр (или цифровое изображение). Это обычная память, но вы можете видеть ее содержимое. Устройство отображения просматривает память кадрового буфера, связанного с ним, каждую тридцатую долю секунды и использует находящиеся там пиксели для управления цветами, скажем, на телевизионном дисплее. Для своего первого космического изображения Лаборатория реактивного движения использовала механический кадровый буфер — упомянутый вращающийся магнитный диск, — на котором хранились 200 строк по 200 6-битных пикселей в каждой.

Рис. 7.2

«Маринер-4» отправил свои первые изображения с Марса во время полета, состоявшегося в июле 1965 года. Космический аппарат передал на Землю 21 черно-белую фотографию, сделанную через чередующиеся красные и зеленые фильтры. Поскольку съемка велась с движущегося космического корабля, последовательные изображения не были точно выровнены друг с другом. Но там, где они накладывались друг на друга, появлялась возможность грубой реконструкции цвета — только с красным и зеленым компонентами, без синего. Инженерам не терпелось увидеть Марс, и они не хотели ждать, пока изображение загрузят в компьютер, он их обработает и отобразит данные на дисплее. Поэтому они просто купили в художественном магазине цветные пастельные мелки и вручную нарисовали элементы отображения на цифровой распечатке необработанных значений пикселей. Своеобразное «устройство» не было электронным дисплеем, так что, согласно нашему строгому определению, его нельзя считать первым цветным цифровым изображением.

Более тщательное исследование показало, что его нельзя назвать и цветным отображением полученных с Марса фотографий. В официальном отчете прямо утверждалось: «Хотя полученные данные были примерно эквивалентны двуцветной фотографии, изначально не предполагалось, что два изображения должны быть объединены для формирования цветного, и многие факторы в совокупности препятствуют прямой интерпретации цифровых данных как индикативных значений любого конкретного цвета». То есть нетерпеливые инженеры сделали нечто гораздо более прозаичное: они просто произвольно выбрали для 6-битных пикселей разные оттенки мелков оранжевого цвета, причем на более ярких участках использовались более светлые оттенки, а на более тусклых — более темные. Сходство получившихся цветов с реальной поверхностью Марса оказалось чистой случайностью. Никто тогда еще не знал, как выглядит Марс.

Инженеры использовали метод, напоминающий способ цветовой карты для косвенного сохранения цвета в пикселе. Они установили цветовой ключ, или правило, по которому коричневый цвет присваивался пикселям со значениями от 45 до 50, желтый — со значениями от 20 до 25 и так далее. Они использовали только шесть разных мелков, а не 64 цвета, доступные для технологии (именно столько значений могут хранить 6 бит). Другими словами, их таблица цветов преобразовывала все 64 варианта значений яркости пикселей всего в 6 разных цветов. Например, строки с 45 по 50 цветовой палитры, соответствующие значениям пикселей от 45 до 50, хранят один и тот же цвет — коричневый.

Цветное изображение, полученное с помощью цветовой карты, иногда называют псевдоцветным изображением или изображением с искусственным цветом. Цвета задаются значениям пикселей произвольно, в любом порядке, — это мало чем отличается от того, что сделали инженеры проекта «Маринер». Не требуется также, чтобы цвета в палитре соответствовали реальности. Первые художники-компьютерщики так часто использовали псевдоцвет — со спектральными цветами в порядке радуги, — что это быстро стало таким же банальным, как раскрашенные по технологии тай-дай футболки хиппи.[39]

Хотя цветное изображение с Марса — это важное достижение космической программы, его нельзя назвать первым цветным Цифровым Светом по двум причинам. Во-первых, «первичность» события портят механические диски, как мы уже видели в истории первых кинофильмов и первых компьютеров; нам нужна первая полностью электронная реализация цветных пикселей, с электронной памятью для кадрового буфера. Во-вторых, ручная реализация элементов отображения выводит его за границы Цифрового Света. Но все же снимки с «Маринера» — это впечатляющее достижение и «почти первые цветные» изображения Цифрового Света.

Итак, если первые цветные пиксели появились не на картинке Лаборатории реактивного движения, то как насчет General Electric, другого кандидата из книги «Расширенное кино» Янгблада?

В «Итоговом отчете» General Electric за август 1964 года описывался, как мне кажется, явный претендент на звание самого раннего случая использования вычисляемого цвета. Тренажер-симулятор посадки лунного модуля, созданный для Центра пилотируемых космических полетов NASA в Хьюстоне, представлял собой модель, состоящую только из изображения бесконечной плоскости, которая покрыта текстурой из повторяющихся плиток разного цвета. На рисунке 7.3 — одно из первых цветных изображений с этого симулятора, его часто называют NASA-1. Он в довольно примитивной форме показывает поверхность Луны, как ее видит пилот через иллюминатор посадочного модуля: красная область — это зона посадки, а различные текстуры соответствуют, скажем, кратерам.

Вы можете думать о каждой плитке как о небольшом упорядоченном растровом массиве меньших плиток. Таким образом, плитка представляет собой квадрат, состоящий из массива 8 на 8 — 64 маленьких квадратных плиток. Это не пиксели! На самом деле это просто маленькие геометрические квадраты. Симулятор NASA-1 вычислял вид этой мозаичной плоскости в перспективной проекции, по одному элементу за раз на каждой строке развертки цветного телевизионного дисплея. Он действовал очень быстро, в режиме реального времени. Вот почему в 1964 году он стоил миллионы долларов. Для каждого элемента изображения на каждой строке развертки симулятор рассчитывал, какую плитку увидит пилот в конкретной точке, глядя в иллюминатор на плоскость, покрытую текстурами.

Это геометрический расчет с использованием геометрии перспективы. Затем он просто искал в таблице цвет нужного элемента и отправлял его на цветной дисплей.

Очень похоже на получение выборки из непрерывной визуальной сцены и последующее восстановление этой сцены во время отображения элементов выборки. Но отсчеты были аналоговыми. В симуляторе же цвет не сохранялся в цифровом виде. Каждый цвет устанавливался вращением потенциометра — приспособления вроде ручки громкости на старом радиоприемнике или регулятора яркости люстры. То есть симулятор NASA-1 использовал цветовую выборку, но не преобразовывал отсчеты в цветные пиксели. Их нельзя назвать самыми ранними цветными пикселями.

Еще одним «почти первым» достижением методов работы с цветными изображениями в симуляторе NASA-1 стало применение способа, который в компьютерной графике называют наложением текстур. Небольшие цветные изображения, хранящиеся в специальной таблице, придают видимость структуры гладкой отображаемой поверхности, заполняя ее за счет бесконечного повторения. Однако я не называю это первым применением наложения текстур, потому что оно не было полностью цифровым. Здесь настоящим первопроходцем стал молодой человек по имени Эд Катмулл, который впервые описал подобный метод в своей докторской диссертации в Университете штата Юта в 1974 году. Позже в этой главе мы узнаем побольше и о нем, и о его диссертации.

Рис. 7.3

Роберт Шумахер работал в General Electric и был инженером симулятора NASA-1 в начале 1960-х годов. В электронном письме, отправленном мне из Солт-Лейк-Сити, где он сейчас живет, Роберт поделился своей фотографией из тех времен, где он запечатлен на работе: волосы острижены по-военному коротко, в зубах — трубка. Но самое главное, он подробно объяснил мне, как генерировалось изображение, которое я только что описал, в условиях очень маленького объема памяти ранних компьютеров. Роберт растолковал, в чем заключалось тонкое различие между элементом выборки и пикселем.

Но затем он рассказал мне о самом выдающемся аспекте проекта. При выполнении смоделированным космическим кораблем крена (одна из трех осей изменения положения летательного аппарата: рыскание, тангаж и крен) пилот должен был видеть соответствующее изображение. Линии развертки на обычном телевизионном экране всегда горизонтальны. Но инженеры NASA-1 решили вращать весь телевизионный дисплей с помощью электромагнитной системы отклонения луча электронно-лучевой трубки в реальном времени. Сам Шумахер занимался конструированием и воплощением уникального аналогового решения. Ему удалось совершить невероятно сложный инженерный подвиг. В 1964 году, до начала действия закона Мура, это было дешевле, чем компьютерное вычисление крена на геометрической модели, даже при бюджете в миллионы долларов.

Исторические свидетельства в книге Янгблада дают еще один намек на возможные первые цветные пиксели. Он описал замечательную коллективную работу знаменитой семьи Уитни, династии художников из Калифорнии: братьев Джона и Джеймса и трех их сыновей — Джона-младшего, Майкла и Марка. Были ли в работах Уитни первые цветные пиксели?

Потрясающее раннее «компьютерное искусство» Джона Уитни-старшего не относится к Цифровому Свету, потому что оно создавалось на аналоговых устройствах. Его ранние кинематографические работы действительно прекрасны и в том числе вдохновляли меня лично, но их нельзя назвать цифровыми. Пикселей в них нет, как и компьютеров. Но все изменилось в 1968 году, когда Джон-старший создал фильм под названием «Permutations» («Перестановки»). Там использовался цифровой компьютер, но с векторной, а не пиксельной графикой. А цвет добавили постфактум, с помощью цветофильтров при монтаже. Это нельзя считать цифровым цветом. «Permutations» — прекрасное произведение, но совсем не то, что нам нужно.

Его брат Джеймс Уитни тоже создал красивую работу, но без пикселей. Обратимся к молодому поколению. Двое из них, Джон-младший и Майкл, действительно создавали художественные фильмы на цифровом компьютере. Майкл первым из семейства Уитни использовал пиксели в своих «Бинарных битовых узорах» («Binary Bit Patterns», 1969). Но он тоже добавлял цвет оптически — цветных пикселей по-прежнему не было. Как мы увидим позднее, закон Мура все же подтолкнул одного из них, Джона-младшего, к цветным пикселям.

Я уже цитировал, как Джин Янгблад отзывался в своей книге о «City-Scape» Питера Камнитцера (точнее сказать, превозносил его). Камнитцер, профессор архитектуры Калифорнийского университета в Лос-Анджелесе, компьютерную графику применял для городского планирования, а не для искусства. Создание изображений ради искусства он бы наверняка воспринял как легкомысленное использование ценного компьютерного ресурса, что напоминает нам о похожем восприятии возможностей компьютера Baby в первые дни Цифрового Света.

Неизвестно, какие аргументы приводил Камнитцер, но он успешно получил доступ к симулятору лунной капсулы стоимостью 2 миллиона (15 миллионов в пересчете на сегодняшние деньги) долларов, который General Electric построила для Центра пилотируемых космических полетов NASA в Хьюстоне. В 1968 году он использовал его для создания «City-Scape» — довольно грубого по сегодняшним меркам симулятора городского ландшафта в реальном времени. В симуляции присутствовал цвет, но настолько примитивный, что Янгблад в «Расширенном кино» проиллюстрировал ее черно-белыми снимками. Рисунок 7.4 взят как раз из книги Янгблада.

Янгблад, описывая «City-Scape», искренне удивлялся, что «никаких репрезентативных изображений не существовало до тех пор, пока они создавались компьютером». Другими словами, симулятор NASA создавал пиксели с нуля. Конечно, изумление Янгблада нам сегодня кажется странным. Но меня заинтересовало другое: эти пиксели были цветными. В 1968-м Янгблад называл эту систему NASA-2. Но о чем шла речь на самом деле и когда они впервые стало цветным? Описание «City-Scape» натолкнуло меня на разгадку.

Рис. 7.4

Я почти закончил работу над книгой, когда пионер графики Боб Спроулл спросил меня, знаю ли я, как Ружло и Шумахер делали прототип оборудования для NASA-2. Смысл его вопроса был ясен. Первый цифровой цвет мог появиться до 31 марта 1967 года. Интуиция Спроулла меня не подвела.

Как вспоминал Шумахер, чтобы убедить NASA в возможности визуализации трехмерных объектов, они сделали демонстрационный показ «одного треугольника в реальном времени». Я двинулся по указанному следу и обнаружил золотую жилу. Ружло и Шумахер более подробно описали эту демонстрацию. Ее провели после запуска NASA-1 «в 1965 году (возможно, в самом начале 1966-го)». Он изображала сплошной красный треугольник, визуализированный в реальном времени. Он вращался и убедительно двигался в трех измерениях. Они использовали программируемую часть симулятора NASA-1 в качестве компьютера, управляющего перемещениями модели, и собрали отдельную схему на дискретных компонентах (еще не интегральных схемах) для рендеринга.

Шумахер вспоминал: «Демонстрация с треугольником убедила нас, что сделать полноценную систему, способную на обработку нескольких полигонов таким способом, будет непомерно сложной и дорогой задачей. К счастью, примерно в то же время, когда мы подписали контракт, появились первые настоящие интегральные микросхемы. Пока мы разрабатывали свой симулятор, Motorola все еще устраняла ошибки производственного процесса!»

Эта почти забытая демонстрация — событие передовой Эпохи 2 — заслуживает особого упоминания. Консервативный подход к датировке предполагает, что первые цветные пиксели появились в самом начале 1966 года, но это не точная дата. Давайте двигаться дальше, 1967-й отмечен первым рендерингом цветных полутеней из пикселей.

Ружло и Шумахер вывели на экран NASA-2 компании General Electric цветные трехмерные изображения лунного модуля «Аполлон» (перелистайте назад до рисунка 7.1). Как им это удалось?

Я уже отмечал, что сложную трехмерную геометрическую модель почти всегда можно заменить моделью, состоящей только из треугольников. Имитируя подход из главы 6, я покажу, как сделать рендер — визуализировать — один треугольник (миллионы других треугольников визуализируются точно так же при помощи сверхсилы компьютерного Усиления).

Треугольником мы будем считать участок плоской поверхности, ограниченной тремя отрезками. В планиметрии под треугольником понимаются сами отрезки, но здесь важна именно поверхность между ними.

Давайте сначала рассмотрим вариант, где, как в случае с лунным модулем 1967 года, каждый треугольник значительно больше расстояния между пикселями. Позже мы обсудим вариант, когда треугольники значительно меньше расстояния между пикселями — в современном мире это наиболее распространенный случай. На рисунке 7.5 показаны оба (внимательно посмотрите и найдите маленький треугольник). Точки показывают местоположения пикселей, то есть места, где берутся отсчеты. Для наших целей представьте, что эти треугольники представляют собой чистую геометрию. На самом деле это, конечно, не так — треугольники воспроизведены с помощью механизма отображения этой страницы. Но давайте просто будем считать их идеальными треугольниками.

Вот худший способ перевести их в пиксели: если пиксель находится внутри треугольника, то получает его цвет (синий), в противном случае — цвет фона (белый). На рисунке 7.6 показан результат: маленькие синие кружочки соответствуют синим пикселям. Обратите внимание, что маленький треугольник полностью исчез, а большой испещрен зазубринами.

Но это не рендеринг цифрового изображения в виде синего треугольника, а синие кружочки — не пиксели (по иронии судьбы, сама иллюстрация — это цифровое изображение). Маленькие кружочки также не пиксели, как и маленькие квадратики. Я мог бы использовать вместо них, скажем, маленькие звездочки. Каждый просто обозначает пиксель, то есть местоположение точки и связанный с ней цвет. Черные точки (возвращаясь к рисунку 7.5) обозначают точки, в которых производится выборка; кружочки — это цветные отсчеты, взятые в этих местах. Обратите внимание, что все остальные кружочки на рисунке 7.6 белые, поэтому вы их не видите. Все это должно быть обработано (через разбрасывание и сложение) устройством отображения (экраном или принтером), чтобы превратить их в цифровое изображение, которое мы можем видеть.

Хотя это и худший способ рендеринга, именно им пользовались в первые дни. Именно так действовали инженеры General Electric в 1967 году, чтобы визуализировать лунный модуль с первыми цветными пикселями. Обратите внимание на неровности по краям лунного модуля на рисунке 7.1. Перед вами наивный рендеринг, с минимальным использованием теоремы отсчетов.

Дальше мы сделаем идеальную визуализацию тех же двух идеальных треугольников, по максимуму используя теорему выборки. Затем мы обсудим различные методы, которые разрабатывались на протяжении многих лет, чтобы приблизиться к идеальному рендерингу. Это было особенно важно, когда не хватало ресурсов памяти, а мощность все еще оставалась низкой. Чтобы почувствовать всю глубину проблемы, сравните коэффициент закона Мура (от 1X до 10X) в этом разделе с коэффициентом 2020 года (примерно 100 000 000 000X). В те дни компьютеры были на 11 порядков хуже! Такое сложно даже вообразить, если, конечно, вы сами не сталкивались с чем-то подобным.

Рис. 7.5

Рис. 7.6

Теорема выборки очень ясна. Делайте выборку с (чуть более чем) удвоенной максимальной частотой. Но у геометрического треугольника острые грани. Вспомните наше эмпирическое правило в отношении частоты: острые края — это высокие частоты, а очень острые края — это очень высокие частоты. На самом деле мы не сможем делать выборку достаточно часто для того, чтобы получить идеальный треугольник. Его края содержат слишком высокие (если не сказать бесконечно высокие) частоты. Пиксели и элементы дисплея должны быть расположены слишком близко друг к другу, чтобы это было физически или экономически целесообразно.

В компьютерной графике мы обычно работаем в другом направлении. Расстояние между пикселями заранее задано, как и в нашем примере, и мы должны подгонять под него теорему отсчетов. Это означает, что мы должны избавить идеальный треугольник от его высоких частот — от острых граней. Мы должны убедиться, что края достаточно закруглены, чтобы подъем интенсивности света от фонового уровня на них не происходил быстрее, чем заданное расстояние между пикселями. На рисунке 7.7 показаны два идеальных треугольника после того, как они подверглись такому размытию, чтобы из пикселей могла сложиться правильная выборка. Маленький треугольник почти исчез. Треугольники выглядят очень сильно размытыми. Но представьте, будто фактический интервал между пикселями составляет, скажем, 1/100 изображенного на рисунке интервала, что больше соответствует расстоянию между элементами дисплея на вашем мобильном телефоне. Тогда размытие останется незаметным. Конечно, на этой иллюстрации все масштабы сильно преувеличены.

Рис. 7.7

На рисунке 7.8 показаны пиксели, полученные в результате выборки размытых треугольников. Опять же, мы не можем видеть пиксели и у них нет формы, поэтому маленькие кружочки только обозначают пиксели — их местоположение и записанный в них цвет. На этот раз маленький треугольник не исчезает полностью.

Вспомним, что говорит нам теорема выборки: когда представленные таким образом пиксели отображаются на дисплее, мы снова увидим два размытых треугольника. Это не идеальные геометрические синие треугольники нашей модели. Такое безупречное совершенство невозможно точно передать с помощью пикселей. Это просто еще один способ сформулировать теорему выборки. Хитрость заключается в том, что при достаточно высоком разрешении мы, люди, будем чувствовать себя комфортно, глядя на слегка размытые треугольники, так как на обычном расстоянии для просмотра они не покажутся нам размытыми.

Но есть проблема с идеальным рендерингом, который я только что описал. Что значит удалить слишком высокие частоты из геометрии с острыми краями? Что заменит треугольник в модели? Его следует заменить компьютерным описанием треугольника со сглаженными краями. Тогда, если два треугольника примыкают друг к другу, место соединения нужно сгладить и как-то описать в модели. Это уже не простые геометрические концепции. На самом деле никто не заменяет геометрическую модель в компьютерной графике сглаженной версией, с удалением слишком высоких частот. Тогда что же делают для решения проблемы? Разрабатывают все более и более сложные способы приблизиться к идеальному варианту. На самом деле вся история компьютерной графики состоит из попыток добиться наилучшего приближения, способного обмануть наше зрение. Далее я расскажу об одном из приемов.

Рис. 7.8

Почему бы нам не сделать выборку из более близко расположенных пикселей? Скажем, в два раза чаще? Представьте, что пиксели расположены в два раза плотнее. На рисунке 7.9 слева показана старая сетка отсчетов, а в середине — предлагаемая новая, более плотная. Справа вы видите их наложение друг на друга. Более плотная выборка, по сути, удвоит частоту (как по горизонтали, так и по вертикали), при которой начнут появляться неприятные артефакты, такие как зубцы и неровности. Но сложность в том, что мы не в состоянии позволить себе кадровый буфер, где ячеек памяти в четыре раза больше. Что же тогда делать?

Идея состоит в том, чтобы делать выборки в четырех местах, окружающих каждое прежнее местоположение пикселя (большие точки), как показано на рисунке справа. Четыре выборки, полученные таким образом, назовем подвыборками или подпикселями. Четыре цвета подвыборки усредняются, чтобы сформировать цвет одного фактического пикселя — того, который сохраняется и отправляется элементу отображения. Как вы видите на рисунке, местоположение каждого пикселя окружено массивом подвыборки с размером 2 на 2.

Я использовал массив 2 на 2 для простоты иллюстрации, но более высокие плотности тоже работают. Pixar использует субдискретизацию 4 на 4. На рисунке 7.10 показаны два варианта крупным планом. Большая точка — это фактическое местоположение пикселя, а окружающие маленькие точки — это местоположения для получения значений цветовых отсчетов. В случае субдискретизации 4 на 4 усредняются 16 цветов, формируя одно цветовое значение, хранящееся в фактическом пикселе, — цвет, который в конечном итоге отправляется на элемент дисплея для разбрасывания и отображения.

Рис. 7.9

Трюк с субдискретизацией эффективно увеличивает разрешение конечного изображения, но полностью не устраняет артефакты, возникающие из-за дискретизации очень высоких частот (например, краев треугольников) на слишком низкой частоте, не удовлетворяющей условию теоремы отсчетов. Подвыборка с массивом 2 на 2 удваивает самую высокую частоту, которая доступна для адекватной обработки с дискретными выборками, а массив 4 на 4 увеличивает максимальную частоту в четыре раза. Но на острых краях остаются еще более высокие частоты, которые оба вида субдискретизации зарегистрировать не в состоянии. Однако существует на удивление эффективный прием, который все-таки решает эту проблему. Мы вернемся к нему, когда закон Мура обеспечит еще три порядка вычислительной мощности.

Рис. 7.10

Я уже обсуждал рендеринг, так что теперь давайте обратимся к теням и оттенкам — еще одной технологии, упомянутой в названии этой главы. Термин «шейдинг» (затенение) означает выбор окончательного цвета для каждого визуализируемого пикселя. Затенение треугольников в приведенных выше примерах тривиально: каждый пиксель — синий (или белый). Затенение приобретет все большее значение по мере того, как действие в этой главе будет развиваться, а закон Мура — делать компьютеры всё мощнее (очень жаль, что термин «силы Мура» — своеобразный аналог лошадиных сил — не прижился). Когда цветные пиксели только появились, затенение поверхности в рамках Центральной Догмы традиционно означало прямое увеличение или уменьшение яркости цвета поверхности при сохранении постоянного оттенка этого цвета. Здесь осветлить означает увеличить яркость, а затемнить — уменьшить.

Рис. 7.11

Такое простое затенение вы видели на визуализации лунного модуля «Аполлон» на рисунке 7.1. Один источник света размещается в удобном месте, например справа вверху сзади от зрителя. Чем сильнее треугольник повернут к источнику света, тем он светлее. Соответственно, чем сильнее он отворачивается, тем его поверхность темнее. Это называется плоской заливкой — технология настолько простая, насколько позволял закон Мура в те времена: каждый треугольник отображается только одним цветом.

Для плоского затенения представьте себе флагшток, установленный в центре каждого треугольника, как показано на рисунке 7.11 (слева). Он расположен перпендикулярно плоскости треугольника. Решающее значение для расчета имеет угол между нашим флагштоком и источником света. Если треугольник полностью обращен плоскостью к источнику света, то есть угол равен нулю градусов, то цветовой оттенок будет максимально ярким. По мере увеличения угла оттенок темнеет (средний рисунок). Когда треугольник обращен под прямым углом к источнику света, оттенок поверхности становится максимально темным. Кроме того, когда треугольник обращен в противоположную от источника света сторону, он не освещен (справа). Поскольку при таком расчете затенения используется тригонометрия (с греческого переводится как «измерение треугольника»), я не буду приводить математические подробности. Достаточно сказать, что тригонометрические вычисления плоского затенения столь же точны и хорошо отработаны, как и геометрические формулы. Достаточно один раз объяснить компьютерам, как их выполнить, а затем сверхспособность Усиления повторит их миллионы или миллиарды раз без каких-либо дополнительных вмешательств со стороны человека.

В этой главе я начинаю сплетать воедино несколько нитей из предыдущей главы, чтобы подвести читателя к следующему этапу Цифрового Света — к компьютерным анимационным фильмам. Блок-схема на рисунке 7.12 фиксирует уже существующие сплетения и создает новые.

Все замечания к предыдущим блок-схемам применимы и здесь: вы не увидите стройного линейного повествования и одного-единственного изобретателя. Чтобы не перегружать ее именами, некоторые пришлось опустить, что в этой и следующей главе для меня особенно болезненно, но они упоминаются в комментариях на сайте. Моя блок-схема — просто набросок, а не полная научная история, пусть даже такого ограниченного ответвления компьютерной графики, как цифровое кино. И, как обычно, текст этой и следующей главы фактически только поясняет то, что изображено на рисунке.

Я добавляю новую нить, созданную NASA и General Electric, — именно благодаря ей появились первые цветные пиксели. Она также привела к созданию компании Evans & Sutherland в Солт-Лейк-Сити, проложившей путь, отличный от того, что предложило ARPA из предыдущей главы. Еще три нити — Университет штата Юта, E&S и Xerox PARC — переплелись и перетекли в Нью-Йоркский технологический институт, повлиявший на создание Lucasfilm, а затем Pixar. Еще одна нить тянется от General Electric через Корнеллский университет снова в Lucasfilm, а затем в Pixar.

Чтобы справиться со слишком большим количеством имен, я использую в блок-схеме новый способ группировки: прямоугольник, в котором перечислены несколько. Все они объединены по какому-то признаку. Например, в самом большом прямоугольнике указаны восемь человек, начинавших в Университете Юты, а продолживших свои изыскания в Нью-Йоркском технологическом институте. Если стрелка касается прямоугольника, значит, она относится ко всем людям, включенным туда. Если она тянется только к одному человеку, то она связана только с ним. Например, все восемь человек из Университета Юты работали в Нью-Йоркском технологическом институте, но только Джим Блинн учился у Бертрама Херцога, первопроходца, упоминавшегося в шестой главе. Все пять человек из нижнего левого прямоугольника стали ключевыми сотрудниками студии компьютерной графики Lucasfilm (а не Нью-Йоркского технологического института), но только Роб Кук учился у Дона Гринберга в Корнелле, — и так далее.

Рис. 7.12

Первые две нити тянутся из предыдущей главы к Бобу Тейлору и Хербу Фримену. Затем я беру нить Айвена Сазерленда и Дэйва Эванса из предыдущей главы и новую нить Рода Ружло и Боба Шумахера из этой, а еще одну новую нить Дона Гринберга. Я связываю их вместе, чтобы прийти к Нью-Йоркскому технологическому институту, а затем, в следующей главе, к Lucasfilm и, наконец, к Pixar.

Таким же образом нити переплетаются в истории DreamWorks Animation и Blue Sky Studios. В истории цифрового кино было гораздо больше компаний, но именно эти три наиболее репрезентативны. Они первыми создали в новом тысячелетии полностью цифровые полнометражные фильмы: «История игрушек» (Pixar, 1995), «Муравей Антц» (DreamWorks, 1998) и «Ледниковый период» (Blue Sky, 2002). Из соображений экономии места и на основании своего личного опыта я в основном сконцентрируюсь на студии Pixar.

Теперь давайте сделаем гигантский шаг — на один порядок по закону Мура — к новым достижениям.

Род Ружло и Боб Шумахер разработали и построили симулятор NASA-1 в лаборатории General Electric в Итаке, в кампусе Корнеллского университета. Они разработали и построили NASA-2 — с первыми цветными пикселями и первой цветной трехмерной визуализацией в реальном времени — в лаборатории General Electric в Сиракузах, примерно в 50 милях к северу. Их последним проектом в лаборатории General Electric в Сиракузах стала созданная в 1968 году система, работавшая не в реальном времени. Она предназначалась для дальнейшего развития трехмерной компьютерной графики, выходившей за ограничения реального времени.

Дон Гринберг в те годы пошел другим путем. В 1968 году, когда Ружло и Шумахер разработали свою систему, работавшую не в реальном времени, он получил в Корнелле докторскую степень по архитектуре. Для справки: примерно тогда же в Гарварде Сазерленд разрабатывал наголовный дисплей.

В один из поворотных моментов истории, которые иногда происходят просто потому, что «я-знаю-этого-парня», Ружло организовал Гринбергу — своему бывшему соседу по палатке в бойскаутском лагере для первокурсников Корнелла — доступ к новой системе General Electric в Сиракузах, той самой, что работала не в реальном времени. Конечно, не обошлось без загвоздки. Гринбергу дозволялось пользоваться компьютером только в нерабочее время (номинально с пяти вечера до восьми утра) и не более трех ночей в неделю. Каждый раз ему к тому же приходилось около часа добираться из Итаки в Сиракузы.

На протяжении нескольких месяцев в разрешенное время Гринберг привозил в Сиракузы группу своих студентов из Итаки на ночные смены. Благодаря их трудам появился «Корнеллский фильм» 1972 года, 15-минутное компьютерное анимационное путешествие по кампусу Корнелла, показывающее, как впишется в ландшафт планируемое новое здание. Цветные кадры из фильма Гринберг опубликовал в своей статье, вышедшей в журнале Scientific American в мае 1974 года (один из них даже попал на обложку).

Дон Гринберг, человек с самой доброй и теплой улыбкой среди всех пионеров компьютерной графики, переживал за своих учеников не меньше, чем за себя. Он привел свою молодую команду к успеху в области компьютерной графики. Неудивительно, что он еще и спортсмен и до сих пор, в свои 80 лет, прекрасно играет в теннис. После создания первого фильма он основал в Корнелле знаменитый факультет компьютерной графики, впоследствии ставший не менее влиятельным, чем Университет Юты.

Рис. 7.13

В 1967 году Ружло и Шумахер уже делали трехмерную визуализированную графику в реальном времени. Но их система зависела от неисчерпаемых ресурсов NASA и использовала специализированное оборудование. Я различаю анимацию в реальном времени и анимацию для цифрового кино, где вычисление каждого кадра занимает столько времени, сколько необходимо. «Корнеллский фильм» сделали обычные люди из университета на компьютерах общего назначения. Можно ли считать его первой трехмерной компьютерной анимацией?

Есть и другие претенденты на это звание. Например, односекундная анимация 1971 года с лицом, превращающимся в летучую мышь, — о ней писал Эд Катмулл, в то время аспирант Университета Юты. Или анимированная рука, которую Эд программировал, как он пишет, в январе, а продемонстрировал в августе 1972 года (рис. 7.13, слева). Или анимированное человеческое лицо, созданное одноклассником Эда Фредом Парком в том же 1972 году (рис. 7.13, в центре). Или «Корнеллский фильм», работу над которым, по словам Марка Левоя, ученика Дона Гринберга, завершили в середине осени 1972-го (рис. 7.13, справа). Из них только «Корнеллский фильм» был цветным. Анимация Эда с рукой, завершенная в конце 1971-го или, возможно, в начале января 1972-го, и анимированное лицо Фреда, созданное, по-видимому, примерно тогда же и в рамках того же задания, одерживают победу в этой гонке. Будем считать результат ничьей. Но в очередной раз за один-единственный год произошла замечательная технологическая конвергенция. 1972-й стал для компьютерной графики тем же, чем 1895-й — для кинематографа.

Самые интересные модели содержат множество треугольников, часто — миллионы. Вспомните «проволочные» чайники из шестой главы с сотнями треугольников. Или здания в кампусе Корнелла из «Корнеллского фильма». Если присмотреться, то можно заметить, что треугольники часто перекрывают друг друга. А если они непрозрачные, то, как правило, один треугольник скрывается за другим. Возможно, из всех головоломных вопросов компьютерной графики в те первые дни наибольшее внимание привлекала проблема видимой поверхности (или скрытых поверхностей). Суть одна и та же: какие из треугольников модели в конкретной сцене попадут в видоискатель виртуальной камеры согласно Центральной Догме?

Сам смысл понятия «геометрия» подразумевает, что мы точно знаем, где находится каждая точка треугольника — в любом месте на его поверхности, — то есть что мы можем это вычислить. Мы также знаем, где находится виртуальная камера и в какую сторону она смотрит.

В частности, рассчитать расстояние от точки съемки до любой точки треугольника довольно просто. Назовем это расстояние глубиной точки. Таким образом, точка, удаленная от взгляда зрителя — от виртуальной камеры, — будет находиться глубже в пространстве сцены. Мы можем рассчитать глубину точек треугольника в пикселях. Вот что такое математическая геометрия. Я не прошу вас разобраться, как делать такие расчеты. Я лишь хочу дать вам понять, что, когда компьютер получает указание сделать такой расчет один раз, он без труда повторит это хоть до бесконечности без помощи людей.

Рассмотрим только два треугольника, синий и красный, которые показаны на рисунке 7.14. Опишем простой способ визуализации одного перед другим в случае, если они пересекаются.

1. Сначала визуализируем синий треугольник, как мы делали ранее, но с одним отличием: каждый раз, когда мы берем отсчет треугольника в точке расположения пикселя, мы вычисляем глубину треугольника в этой точке и также сохраняем ее в памяти. Для этого потребуется столько ячеек памяти, сколько имеется ячеек для пикселей. Фактически нам нужен второй кадровый буфер, в котором хранится не цвет пикселей, а их глубина. Неудивительно, что такой участок памяти иногда называют буфером глубины.

2. Теперь визуализируем красный треугольник. Но прежде чем сохранить один из его пикселей в буфере кадра, сначала сравним глубину в его местоположении с глубиной, ранее сохраненной в буфере глубины. Если глубина ранее не сохранялась (значит, здесь не отрисовывался ни один синий пиксель), то просто сохраним красный пиксель в буфере кадра, а его глубину — в буфере глубины. Если его глубина меньше, чем сохраненная, то синий цвет в буфере кадра заменяется красным, а в буфере глубины синяя глубина меняется на красную. Если есть еще треугольники, которые нужно визуализировать, для каждого из них просто повторяется шаг 2.

Между прочим, буферизацию глубины предложил в своей знаменитой докторской диссертации Эд Катмулл в декабре 1974-го. Немного раньше, в апреле того же года, похожую идею выдвинул в своей диссертации Вольфганг Штрассер. Но Штрассер писал на немецком, поэтому Катмулл не знал о его работе.

Рис. 7.14

Рис. 7.15

Буферизацию глубины легко описать, но возникает другая проблема: придется обсчитывать все треугольники, даже те, которые заведомо полностью скрыты. Некоторые подходы к визуализации поверхностей предлагают заранее упорядочивать треугольники в порядке глубины, а затем отображать только те, которые должны быть полностью или частично видны. Таким образом получается сэкономить немало времени.

Но пересекающиеся треугольники нельзя расположить в порядке глубины. Каждый из них частично расположен глубже другого, а частично нет. В таком случае вам придется разделить их на более мелкие треугольники, которые не пересекаются (рис. 7.15). Независимо от того, используете ли вы буферизацию глубины для полностью видимых поверхностей или упорядоченных по глубине (непересекающихся) треугольников, только магия Усиления обеспечит повторение вычислений для миллионов треугольников. Огромное количество вычислений не предполагает высокой сложности, особенно когда каждое из них так же легко понять, как буферизацию глубины.

Центральная Догма утверждает, что цифровые объекты отбрасывают тени так же, как и объекты реального мира. Компьютерная графическая модель изначально содержала только описания объектов и расположение виртуальной камеры. Но понятие модели вскоре расширилось, пополнившись еще и источниками света, такими как лампы. В первые дни источник света был очень простым. Он располагался в одной точке и излучал белый свет во все стороны. Это был точечный источник света. По мере роста вычислительной мощности источники света становились все более причудливыми и все более тщательно имитировали настоящие. У них появились протяженность (то есть они располагались на некоторой площади, а не в идеальной точке), цвет и другие свойства реальных ламп, фонарей и даже солнца.

Проблема расположения теней, по сути, практически не отличается от проблемы скрытой поверхности. Это особенно очевидно, если рассмотреть пример с одним простым точечным источником света. Представьте, что виртуальная камера расположена там же, где и он. Любая поверхность, которая не видна оттуда, должна находиться в тени.

Таким образом, вычисление теней — это хорошо отлаженный, хотя и утомительный процесс. Нам достаточно знать геометрию всех объектов и расположение источника света. Таким образом, легко вычислить, какие поверхности находятся в тени. Этим фактом можно воспользоваться позже, чтобы определить, какой цвет отобразится на дисплее, если мы будем смотреть на объект из точки, расположение которой не совпадает с источником света. Позже рост вычислительной мощности — в соответствии с законом Мура — позволил использовать несколько источников света с разной протяженностью и цветом. И, как обычно, благодаря Усилению программистам достаточно просто разработать алгоритм — наши компьютеры добросовестно выполнят его миллионы и миллиарды раз.

До сих пор мы видели только треугольники с однотонным сплошным цветом — это простейшая из моделей затенения. Они максимум меняли яркость, если находились в тени или поворачивались к источнику света. Специалисты в области компьютерной графики быстро научились создавать изображения более причудливыми способами, поскольку закон Мура уже давал им больше возможностей. Например, яркость цвета изменяется по мере увеличения расстояния от виртуальной камеры (глубины) или удаления от известного источника света (рис. 7.16, слева). Треугольники могут быть частично прозрачными (рис. 7.16, второй слева). Треугольники заполняются текстурой — пикселями из другого изображения, например травы или джинсовой ткани (рис. 7.16, третий слева). По сути, здесь используется метод наложения текстур, о котором я вкратце говорил при обсуждении симулятора NASA-1. А еще можно использовать комбинации всех трех методов (рис. 7.16, справа). Это лишь несколько примеров из бесконечного множества. Отображение текстур основано на фундаментально очень мощной идее. И это яркий пример сочетания Цифрового Света на основе пикселей с Цифровым Светом на основе геометрии. Согласно этой идее одно цифровое изображение управляет тем, как выглядит другое. На ее основе разработано немало методов. Наложение текстур — первый из них.

Рис. 7.16

Мы уже видели, как Род Ружло и Боб Шумахер реализовали аналоговую версию этой идеи в симуляторе NASA-1 для проекта «Аполлон». Поскольку строка сканирования через геометрический треугольник преобразовывалась в цвет на телевизионном дисплее, он получался в результате геометрического вычисления, которое обращалось к растровому массиву цветных геометрических фрагментов. После соответствующего вычисления цвет (аналоговый) отправлялся на дисплей.

Цифровой эквивалент, предложенный Эдом Катмуллом в докторской диссертации 1974 года, заменяет растровый массив геометрических фрагментов растровым массивом пикселей, то есть использует вместо геометрии оцифрованные выборки.

На рисунке 7.17 в левом верхнем углу изображен треугольник. У треугольника, хранящегося во внутренней модели компьютера, нет цвета. Все его цвета косвенно хранятся в карте текстур, изображенной справа в виде фотографии желтой розы.

Треугольник на самом деле не виден. Он математически хранится в компьютерной модели в виде геометрически совершенного евклидова треугольника. Вы не можете его увидеть. Треугольник, который вы видите на рисунке, — это визуализация абстрактного треугольника на дисплее этой страницы.

Точно так же карта текстур — это массив пикселей, и вы их тоже не видите. Роза — это отображение карты текстуры, а не сама карта. Еще раз напомню один из ключевых тезисов этой книги: отображение пикселей отделено от них самих. Чтобы вы увидели пиксели, они должны быть распределены между элементами отображения конкретного носителя — в нашем случае печатной страницы. Для дальнейших объяснений очень важно не путать дискретные пиксели с их аналоговым отображением.

Рис. 7.17

Таким образом, роза — это пример изображения, которое используется для управления цветами другого изображения. Воспринимайте наложение текстуры как наклеивание на треугольник наклейки или переводной картинки. Или думайте о треугольнике как о формочке для печенья, а о текстурной карте — как о тесте. Прилепите наклейку или вырежьте кусочек печенья под любым углом, например 10 градусов, как здесь на рисунке. Но наклейки и тесто для печенья — это гладкие непрерывные вещи. Смысл этих метафор открывается, только если помнить, что текстурную карту всегда можно реконструировать в гладкое непрерывное изображение, «разбрасывая» и складывая пиксели в соответствии с теоремой отсчетов.

Идея заключается в преобразовании треугольника, строка за строкой, в пиксели для устройства отображения. На рисунке средний треугольник показывает середину этого процесса. Верхние строки сканирования уже отрисованы. Точки указывают (грубо) расположение пикселей вдоль текущей строки сканирования, которая будет отображена следующей. Цвета пикселей берутся из карты текстуры розы. Точки на розе показывают места, где нужно взять образцы цвета. Путем прямого геометрического расчета вычисляется точка на текстуре, которая соответствует положению отображаемого пикселя. Линия точек, рассчитанная таким образом, размещена на розе и наклонена под углом 10 градусов, чтобы учесть поворот наклейки или формочки для печенья.

Однако есть одна проблема. Карта текстур — это пиксели. То есть, в представлении компьютера, это ложе из гвоздей. Точка, которую вы ищете на текстурной карте, основываясь на геометрическом преобразовании, почти наверняка не попадет в точности ни в один из пикселей текстурной карты. Простой геометрический расчет, как правило, даст точку, находящуюся между регулярной сеткой расположения пикселей на текстурной карте. Раньше практики использовали для отображения пикселя на дисплее ближайший к расчетной точке цвет пикселя на текстурной карте. Решение не самое удачное, но тогда не хватало мощностей для более сложных вычислений. Другая идея предлагает найти четыре ближайших к вычисленной точке пикселя и усреднить их цвета для окончательного оттенка, который отображается на дисплее.

Но существует правильный способ наложения текстуры, напрямую вытекающий из теоремы отсчетов: разбросайте и сложите пиксели текстурной карты, чтобы получить непрерывную гладкую поверхность (наклейку или тесто для печенья), — то самое волшебство, создающее нечто из ничего, о котором мы говорили в главе про Котельникова. Тогда расчетная точка должна оказаться где-то на этой восстановленной гладкой поверхности. Цвет в получившейся точке и будет тем самым точным цветом, который нужно отправить на устройство отображения. Много лет программисты придумывали разные хитрости, чтобы избежать необходимости делать полное вычисление, но в итоге без него все равно не обходилось. Им не хватало лишь достаточно высокого коэффициента из закона Мура.

Стоит еще раз повторить основную идею наложения текстур: одно изображение используется для управления другим. При наложении текстуры управляющее изображение определяет цвет для управляемого. Это популярная форма наложения теней в том смысле, что оно задает цвет отображаемого пикселя. Однако есть и другое значение — когда оттенок зависит от моделирования физической, ньютоновской оптики.

По мере усиления вычислительных мощностей специалисты в области компьютерной графики наперегонки изобретали способы ниспровергнуть геометрическую истину, чтобы получить более плавное затенение. Француз Анри Гуро из Университета Юты в 1971 году выдвинул идею вместо одного флагштока в центре треугольника разместить флагштоки в каждом углу, а затем наклонить их в разные стороны. Он вычислял цвет в углах, используя алгоритм, о котором мы говорили выше. Затем затенение в каждой точке внутри треугольника интерполировалось между тремя угловыми оттенками. Гуро использовал так называемую линейную интерполяцию: если оттенок в одном углу — А, а в другом — В, то точка на полпути между двумя углами имеет оттенок посередине между А и В. Рисунок 7.18 (справа) показывает, что хитрый способ размещения флагштоков в углах дает затененное изображение, превосходящее простое плоское затенение.

С затенением по Гуро тоже возникали проблемы. Оно не обеспечивало должных отражений источников света, которые мы часто видим на реальных объектах, или по крайней мере воспроизводило их неубедительно. Вьетнамский аспирант Буй Туонг Фонг, готовившийся к защите в Университете Юты в 1973 году, занялся решением этой проблемы. Он отметил, что затенение по Гуро предполагает неестественный источник света, интенсивность которого изменяется линейно или пропорционально по мере удаления от него. В реальном мире ни один источник света не работает таким образом, ни один из них не является линейным. Фонг добавил реалистичную нелинейность к своей модели источника света (рис. 7.19, справа). Соответственно, по мере приближения к источнику света цветовой оттенок треугольника резко становится ярче. Вы получаете более реалистичный блик в этом месте.

Фонг также использовал более сложный способ расчета затенения, требовавший большей мощности, но показавший лучшие результаты. Как и Гуро, он поставил флагштоки в каждом углу, а затем наклонил их в разные стороны. Гладкая поверхность между ними интерполировалась, таким образом определяя направление флагштока в любой точке треугольника. Фонг также использовал линейную интерполяцию: если флагшток в одном углу наклонен под углом A, а в другом — под углом B, то флагшток в точке на полпути между ними наклонен на угол на полпути между A и B. Как правило, он почти никогда не совпадает с флагштоком, установленным в центре.

Рис. 7.18

Как мы помним из обсуждения сплайнов и патчей в шестой главе, интерполяция — это просто выборка «задом наперед». Таким образом, затенение по Фонгу — это, по сути, еще одно сочетание математики теоремы отсчетов с математикой евклидовой геометрии. Думайте о нем как о поверхности, которая определяет свою оптическую форму, фактически не изменяя геометрическую форму модели. Это, так сказать, поверхность, проходящая через концы флагштоков, парящая над лежащей в ее основе геометрической моделью, — хитрый трюк, позволяющий обойтись без плоских граней, не избавляясь от них на самом деле, как показано на рисунке 7.19 (справа, если игнорировать силуэт фигуры). Это еще один способ создания фальшивого фасада для Голливуда нового типа.

И этот фокус позволяет обобщать. Фонг использовал простую пропорциональную, или линейную, интерполяцию между вершинами флагштоков в углах треугольника. Используя больше флагштоков, распределенных по поверхности, вы можете интерполировать бикубически, создавая гладкую волнистую поверхность, скажем, из лоскутов Безье. Я покажу, как развить эту идею до экстремального приближения на следующем порядке величины Усиления.

Фонг добавил в компьютерное графическое моделирование понятие модели освещения. Иными словами, у затенения также появилось дополнительное значение — освещение. Понятие затенения распространилось на более сложные модели физической оптики.

Рис. 7.19

Тем временем в Калифорнии, рядом со Стэнфордским университетом, в районе, который вскоре станет известен как Кремниевая долина, развивалось еще одно направление Цифрового Света. Оно тоже касалось цветных пикселей, но находилось за пределами Центральной Догмы.

Ричард «Дик» Шауп родился в Питтсбурге в 1943 году и вырос рыжеволосым и веснушчатым мальчишкой в нескольких милях к северу, в Гибсонии. Он, сын фермера, располагавший 50 акрами свободного пространства, впоследствии стал неплохим джазовым тромбонистом, а еще и гением электроники. В конце 1950-х годов дядя Дика подарил ему несколько брошюр Хьюго Гернсбека, создателя научно-фантастического журнала Amazing Stories, о радиотехнике и электронике. Они вдохновили его на дальнейшую карьеру в мире компьютеров.

Дик получил докторскую степень в 1970 году в Университете Карнеги — Меллона под руководством Гордона Белла, который впоследствии стал главным архитектором Digital Equipment Corporation. Там Белл участвовал в разработке компьютера PDP-1, на котором создана знаменитая игра Spacewar!. Дик защитил диссертацию о программируемой компьютерной логике — схеме, в которой используется множество копий логической «ячейки», которую можно запрограммировать на определенное функционирование и связь с соседними ячейками. Мы быстро подружились, потому что в своей докторской 1969 года я исследовал клеточные автоматы. Моя тема подразумевала математический эквивалент его изысканий в области аппаратного обеспечения.

Завершив свою диссертацию, Дик уже на следующий день отправился на запад, в Калифорнию, чтобы начать работать в Berkeley Computer Corporation, которая собиралась построить мощную машину с разделением времени. Однако наступила не самая подходящая пора для таких начинаний. Именно тогда рынок компьютеров с разделением времени рухнул, и к ноябрю 1970 года и Дик и его более высокопоставленные коллеги остались без зарплаты. К счастью, Боб Тейлор только что начал набирать сотрудников в новый Исследовательский центр Xerox в Пало-Альто (PARC), расположенный на другой стороне залива Сан-Франциско от Беркли. Он быстро переманил несколько ключевых сотрудников, включая Дика Шаупа, из обанкротившейся компании.

Главным вкладом Дика в Xerox PARC стала Color Video System — цветная видеосистема. Он спроектировал и изготовил аппаратное обеспечение и написал к нему первые программы, в том числе SuperPaint. Система имела 8 бит на пиксель (256 цветов) и полностью цифровой кадровый буфер. Дик не первым использовал цветные пиксели — это доказывает снимок экрана NASA-2, сделанный шестью годами ранее. Однако свою систему он всерьез ориентировал именно на полноценное использование цветной компьютерной графики. Его пиксели были, так сказать, доступны любому, кто умел программировать или рисовать, например мне. Их можно назвать цветными пикселями общего назначения.

Как вы, наверное, помните из главы 6, благодаря помощи Альберта Эйнштейна маленькому Герберту Фримену удалось бежать от нацистов в 1938 году. Три десятилетия спустя Фримен, к тому времени ставший пионером компьютерной графики, нанял меня, только что закончившего аспирантуру в Стэнфорде, на должность ассистента профессора в Нью-Йоркском университете, где он заведовал кафедрой. Я получил диплом инженера-компьютерщика, а в качестве хобби рисовал маслом и акриловыми красками — наверное, именно поэтому я показался ему подходящим кандидатом для исследований в области компьютерной графики. Вскоре он начал уговаривать меня перебраться из башни в лабораторию — бросить докторскую диссертацию о доказательстве важных для информатики теорем и сосредоточиться на создании картинок. Но я ответил: «Я это сделаю, Херб, только тогда, когда у тебя появится цвет». Однако именно тогда судьба нанесла мне сокрушительный удар, поспособствовавший переменам.

Тревожный звонок раздался в конце 1972 года, когда я катался на обледенелом горнолыжном склоне в Нью-Гэмпшире. Моя балаклава соскользнула, лишив меня возможности видеть. Другой лыжник, потерявший контроль, оказался у меня на пути. Я врезался в него на полной скорости. Я мог проткнуть его палкой или разбить ему голову, однако по воле судьбы он, спотыкаясь, просто отлетел в сторону и остался невредимым. Мне повезло меньше. Из-за ужасного спирального перелома правой бедренной кости я на три месяца оказался закованным в гипс от середины груди до пальцев ног — беспомощный, неподвижный инвалид, полностью зависящий от окружающих.

Но я не был несчастен в этой гипсовой скорлупе, вовсе нет. Я словно очутился на огромной ментальной игровой площадке. Оказывается, если избавить свой мозг от рутинной работы по перемещению тела, он освобождается для другой деятельности. Чтобы скоротать проведенное в неподвижности время, я думал, думал и думал. И наконец с кристальной ясностью осознал, что моя жизнь так же сбилась с пути, как тот спотыкающийся лыжник.

Что-то пошло не так. В научной сфере у меня все складывалось отлично, но я ничего не делал для своего увлечения искусством. Так что я принял судьбоносное и необратимое решение: когда гипс снимут, я покину академическую работу и вернусь в Калифорнию, где, как мне казалось, непременно должно произойти что-то хорошее. Сейчас, по прошествии многих лет, я осознаю всю потрясающую бессодержательность своего плана. Но я все равно его выполнил — и что-то хорошее действительно произошло. Там я снова встретился со своим приятелем по логическим ячейкам Диком Шаупом. По его настоянию я присоединился к нему в лаборатории Xerox PARC в 1974 году, в период ее расцвета. Там я нашел и цветные пиксели, и программу для рисования — и искусство, и компьютеры.

Дик знал, что не первым начал работать с цветными пикселями, но он не подозревал, кто был первопроходцем. На самом деле, как мы уже знаем, Ружло, Шумахер и их команда получили первые цветные пиксельные изображения на шесть лет раньше Дика, в 1967 году. Их 6-битные пиксели (64 цвета) были реализованы на симуляторе космического корабля NASA-2. Я перечисляю в комментариях на сайте еще несколько систем с 2 и 3 битами на пиксель (в 1968 и 1969 годах), включая и первую программу для рисования Джоан Миллер из Bell Labs с 3-битными пикселями (8 цветов). Во всех этих разработках, за исключением программы Миллер, в качестве памяти использовались механические диски, а в ее системе применялось аналоговое управление цветом, поэтому мы не считаем ее полностью цифровой.

Дик даже не торопился заявлять, что он первым использовал 8-битный пиксель (256 цветов). Кто знает, говорил он, чем занимались секретные правительственные агентства в 1960-х и 1970-х годах? Я слышал устные свидетельства, но не нашел никаких документальных подтверждений, что 8-битные пиксели (256 цветов) появились раньше, чем в 1973 году у Дика в Xerox PARC.

Тем не менее в некоторых вещах SuperPaint Дика опередил всех. Его цветовая палитра сопоставляла каждое из 256 значений пикселя с одним из 16 миллионов отображаемых цветов, то есть 8 бит на входе, 24 бита на выходе. Видеосигнал соответствовал американскому стандарту NTSC, а еще располагал входом с видеокамеры, видеовыходом, совместимым с NTSC, и декодером NTSC для отображения на стандартном цветном студийном мониторе. И самое главное, каждый пиксель управлялся программой, которая работала на компьютере общего назначения, а не на специализированной графической системе. И, возможно, это была первая полностью цифровая система с 8-битным кадровым буфером — а кому на самом деле принадлежит первенство, до сих пор точно не установлено.

Рис. 7.20

На рисунке 7.20 показано меню SuperPaint в том виде, как оно выводилось на дисплей в Xerox PARC в 1974 году. Ползунки выбора цвета вверху — для оттенка (Hue), насыщенности (Saturation) и яркости (Brightness) — представляют мой первый алгоритмический вклад в Цифровой Свет. Они заменили ползунки RGB (для красного, зеленого и синего цветов), которые Шауп запрограммировал изначально. Я пытался получить розовый цвет с помощью ползунков RGB, но так и не смог. Я попросил Дика добавить удобный для художников механизм. Розовый легко смешать, объяснял я, если есть возможность выбрать оттенок из цветового круга — в нашем случае красный, — а затем добавить белый, чтобы сделать его светлее. Или выбрать оранжевый оттенок и добавить черный, чтобы затемнить его до коричневого. «Никто никогда так не делал», — сказал он. Так что мне пришлось стать первым, реализовав эту — не требующую особых усилий — концепцию за одну ночь. С новыми ползунками добавление белого снижает насыщенность цвета. Добавление черного уменьшает значение цвета, или яркость.

SuperPaint не была программой для компьютерной графики, хотя мне потребовались годы, чтобы осознать это. В ней не действовала Центральная Догма. В предыдущей главе я определил компьютерную графику как преобразование геометрических моделей в пиксели. Но пиксели Дика Шаупа не имели отношения к геометрии. В SuperPaint геометрия (почти) не использовалась.

Дик определенно знал, как преобразовать геометрию в пиксели. Свидетельство тому — те наклонные прямые и колеса фургона, которые он нарисовал в 1973 году (уже работая в Xerox PARC, но не в программе SuperPaint), как мы обсуждали в главе «Восход Цифрового Света». В меню SuperPaint было несколько инструментов, основанных на геометрии. Например, один из них рисовал линии. SuperPaint отображал зубчатый отрезок линии между любыми двумя точками по выбору пользователя. Еще один инструмент рисовал прямоугольники. Вот и вся геометрия.

Перемещение курсора по дисплею с помощью устройства управления — в нашем случае стилуса на планшете — было тогда новой концепцией. Дику приходилось объяснять каждому новому пользователю технику взаимодействия — нажать и перетащить «там внизу» на планшете, следя за курсором «здесь вверху» на дисплее. Меню, значки-иконки, курсоры и ползунки — в цвете — начали свое восхождение к обыденности именно оттуда, с программы SuperPaint в 1973 году.

Итак, что такое SuperPaint? Это инструмент для создания рисунков, но не компьютерная графика. Это система, работающая с цветными пикселями, но не система обработки изображений. Это не видеоигра, хотя там присутствует интерактивность. Однако программа SuperPaint определенно принадлежит к Цифровому Свету, потому что передает изображение через пиксели.

Некоторые определения, которые я использовал ранее, особенно важны для описания SuperPaint или программ для рисования в целом. Важнейшее из них — это различие между пространством Творчества и пространством Отображения. Весь креатив в компьютерной графике происходит в невидимом пространстве Творчества. Оно выражается в геометрической модели, хранящейся в памяти компьютера, и становится видимым в пространстве Отображения при визуализации пикселей. Творчество в программе для рисования происходит непосредственно в пространстве Отображения. Программы для рисования — это системы создания изображений, для которых нет различия между пространством Творчества и пространством Отображения. Пиксели в них (обычно) не отображают геометрическую модель и не имитируют реальность. Они создаются с нуля пользователем-художником. Они не поклоняются теореме Котельникова, потому что не являются выборкой из непрерывной сплошной среды. Они просто существуют. Столь многословно я пытался сказать, что программы для рисования не соблюдают Центральную Догму. Типичная программа для компьютерной графики похожа на работу в фотостудии. Вы идеально расставляете трехмерные объекты, а затем фотографируете их с определенного ракурса. Программы для рисования похожи на… э… на рисование. Они позволяют вам создать любое изображение с нуля.

Но программы для рисования — это определенно часть синтетической компьютерной графики, а не аналитической обработки изображений. В обработке изображений нет пространства Творчества. В современном мире рисование и обработку изображений объединили, поэтому их первоначальные различия стираются. Adobe Photoshop разрабатывался для обработки фотографий, но его современная версия включает инструменты для рисования в различных стилях и возможность создания геометрически определенных элементов.

За программой для рисования стоит своего рода модель. Но это просто метафора, а не геометрия и не физика. Это процесс рисования кистью на холсте. Программа для рисования, например SuperPaint, имитирует эту метафору с помощью компьютера. Кисть — это просто набор пикселей. На рисунке 7.20 выбранная в данный момент кисть (указана красной стрелкой) представляет собой диск среднего размера. Рукоятка кисти — это физический стилус, который используется для управления SuperPaint с помощью планшета. Его можно заменить и мышью, которая уже применялась где-то в PARC, но Шауп счел ее слишком неуклюжей — «как рисование куском мыла».

В SuperPaint, когда пользователь проводит стилусом над планшетом (без нажима), курсор на дисплее отслеживает его перемещение. Таким образом, курсор всегда показывает текущее местоположение стилуса. В тот момент, когда пользователь нажимает на стилус, крошечный переключатель на его кончике замыкается, а копия текущей кисти записывается в кадровый буфер в этом месте и мгновенно отображается на дисплее в выбранном цвете. Пока вы нажимаете на стилус, копии записываются в кадровый буфер и, следовательно, отображаются на дисплее так же быстро, как положение стилуса считывается с планшета. Сегодня это очевидный способ взаимодействия с компьютером, но тогда он был в новинку.

Что именно копируется или рисуется в кадровый буфер? Это некоторый набор пикселей в форме текущей кисти, выбранного цвета и с центром в актуальном местоположении стилуса. Мазок кисти определяется движением стилуса, последовательностью отдельных точек, которыми оно обозначается. Если они расположены достаточно близко, то копии кисти, которые последовательно записываются в кадровый буфер, накладываются друг на друга и образуют непрерывный мазок. Но мазок на самом деле не является непрерывным. В былые времена компьютер не всегда успевал за движением стилуса, оставляя пунктирный след из отдельных копий кисти.

В конце концов, когда закон Мура сделал компьютеры быстрее, появились программы для рисования, отображавшие непрерывный мазок кистью по геометрически определенному пути. Но на их разработку ушло много лет. Поначалу создание непрерывного штриха было мучительно медленным. Мы уже сталкивались с этой проблемой немного раньше. Демонстрация сплайна для Рави Шанкара в главе 6 представляла собой геометрически определенный мазок. Именно медленный рендеринг — пауза между моим жестом на планшете и отображением штриха в кадровом буфере — вызвала изумление в процессе демонстрации.

Adobe Photoshop сейчас доминирует среди инструментов для создания изображений, хотя изначально предназначался для обработки изображений — для интерактивного исправления пикселей, снятых фотокамерой, а не нарисованных кистью. Метафора с живописью очень сильна. Компьютерная программа, такая как SuperPaint или более поздний Photoshop, переосмысливает ее как интерактивное создание или изменение изображения с помощью локальных операций, которые выполняются кистью под управлением пользователя.

После моего первого знакомства с SuperPaint и цветной видеосистемой я написал письмо в Xerox PARC (как и многие, путая систему с ее основной программой): «Одним из моих первых озарений, когда я увидел эту машину, было то, что она могла бы быть прекрасным инструментом для создания анимационных фильмов». Готовясь к официальному трудоустройству туда, я учился основам персонажной анимации по известной книге великого мультипликатора, заставившего Гиацинтового Бегемота танцевать в диснеевской «Фантазии», Престона Блэра, полной практических рекомендаций и примеров. На рисунке 7.21 показаны обложка книги и страницы, посвященные прыжкам и ходьбе.

Рис. 7.21

Когда я приехал в PARC в 1974 году, Рон Беккер, тот самый канадец в яркой рубашке, создатель ранней анимационной программы Genesys, находился там в длительной командировке, как и гарвардский аниматор Эрик Мартин. Их — так же, как и меня — привлекала система SuperPaint Дика Шаупа. И, естественно, Эрик вскоре нарисовал и записал прекрасную анимацию с прыгающим мячом «Всегда популярный прыгающий мяч» (The Ever-Popular Bouncing Ball, 1974), которая сейчас доступна в интернете.

Упражняться в анимации я начал с цикла ходьбы по книге Блэра. Затем я сделал идущую голову пирата, соленый огурец, молоток и помидор, а также цифровой скан головы Дэвида Ди Франческо. Мы тогда даже не подозревали, что делали первые шаги на пути, который в итоге приведет нас к Pixar и первому цифровому фильму.

Когда я познакомился с художником Ди Франческо, он уже объездил весь мир в поисках способов объединить компьютеры и искусство. Грант Национального фонда искусств позволил ему в начале 1970-х годов поработать с Ли Харрисоном III из Computer Image Corporation. Дэвид отправился в Токио, чтобы получить доступ к одному из творений Харрисона под названием Scanimate, аналоговой анимационной машине, и лишь в 1974 году вернулся в США, где попал на одну из презентаций SuperPaint, которые Дик Шауп проводил в Сан-Франциско. Дэвид из зала задал Дику вопрос, что общего у SuperPaint и Scanimate Харрисона. Это был правильный вопрос, потому что Дик и Ли Харрисон давно дружили и Дик хорошо знал устройство Scanimate. Он предложил Дэвиду обратиться за подробностями в Xerox PARC.

Но когда Дэвид начал осаждать лабораторию настойчивыми звонками, Дик переключил взаимодействие с ним на меня. Непрекращающиеся просьбы Дэвида, приукрашенные его необычным юмором, в конечном счете околдовали меня, как он и планировал. В конце концов я растаял и предложил ему вечерний «джем-сейшн» на SuperPaint. Это означало совместное творчество, но последовательно по времени — у нас был всего один стилус. Сначала рисовал один художник, затем другой добавлял что-нибудь к получившемуся изображению, затем первый вносил еще какие-то модификации и так далее.[40]

Дэвид любил машины так же сильно, как искусство. Он вообще обожал любую технику: фотоаппараты, автомобили, самолеты и особенно мотоциклы. Он был мотоциклетным маньяком с утонченным вкусом. В свою коллекцию он заполучил винтажные Brough Superior 1938 года и Vincent Black Shadow 1951-го. Поскольку ему нравились любые машины, он терпел все мучения, которые доставляла работа с первыми цифровыми компьютерами. Он был готов пройти любые испытания ради результата. Все это он считал частью приключения!

Такое же безразличие к трудностям проявляли все первые художники-компьютерщики. Другой Дэвид — Миллер — тоже участвовал в наших «джем-сейшнах» в Xerox PARC и покинул нас, чтобы присоединиться — под псевдонимом Дэвид Эм — к своему будущему коллеге Джиму Блинну из Лаборатории реактивного движения в Пасадене. Эм годами страдал от мигающих флуоресцентных ламп, ревущих кондиционеров и унылых зеленых стен в Лаборатории реактивного движения, чтобы создавать свои прекрасные цифровые картины, похожие на закат, и причудливо выложенные мозаикой трехмерные пейзажи. В эпоху детства компьютеров мы любили их и верили в их технологическое взросление. Мы жаждали новых открытий и верили, что технологии станут более гибкими «всего через пару лет». Мы еще не знали, как воззвать к закону Мура, — но именно этим и занимались.

Дэвид Ди Франческо, знакомый с арт-бизнесом, вскоре предложил попросить у Национального фонда искусств грант на использование нового художественного средства, предлагаемого SuperPaint, — цветной растровой графики. Ему требовались деньги, так как он находился в Xerox PARC неофициально, а я заинтересовался его предложением, поскольку хотел заниматься искусством и называть это именно так. Я уже получил несколько грантов от Национального научного фонда как профессор Нью-Йоркского университета. Заявки на них занимали по 40 страниц и подавались в 20 экземплярах, поэтому я с облегчением и удивлением узнал от Дэвида, как работает Национальный фонд искусств. Туда нужно отправить всего одну страницу! Он все это знал, потому что в то время как раз жил на свой второй грант от Национального фонда искусств. Самое главное в заявке — это художественная работа, которую следовало поместить в приложении к этой единственной странице. Мы сняли видео, используя систему Дика Шаупа, и отправили его, вместе с заявкой на грант, тем самым укрепив наши отношения и соединив наши судьбы.

Мы не напрасно отправили заявку. Вскоре, 16 января 1975 года, меня уволили. Когда я спросил о причинах, Джерри Элкинд, начальник Боба Тейлора, ответил, что Xerox решила не заниматься цветной компьютерной графикой.

«Но ведь за цветом — будущее, — недоверчиво возразил я, — и сейчас оно полностью принадлежит вам».

«Может, и так, но принято корпоративное решение работать в черно-белом режиме».

Я не особо удивился. Боб Тейлор недавно уже сделал предупредительный выстрел. Однажды он подошел ко мне и спросил: «Вам не кажется, что систему Шаупа слишком сложно использовать? Разве подход Ньюмана не выглядит более удачным?» Он имел в виду Уильяма Ньюмана, который работал в углу той же комнаты, что и SuperPaint. Об Уильяме мы уже говорили в главе о вычислениях, он был сыном Макса Ньюмана, наставника Алана Тьюринга, и играл в монополию с самим Тьюрингом. Уильям проектировал черно-белую графику с 1-битными пикселями на компьютере Alto в Xerox PARC. «Нет!» Внутри мне хотелось кричать, хотя вслух я высказал лишь вежливое несогласие. Тейлор явно не понял моего возражения.

Так что в Xerox отказались от цветной графики. Примерно через год они точно так же упустят персональный компьютер.

Вне зависимости от причин ухода из Xerox PARC нам с Дэвидом Ди Франческо предстояло найти «следующий кадровый буфер», чтобы выполнить условия гранта Национального фонда искусств, который мы надеялись получить. Согласно закону Мура, кадровый буфер спустя несколько лет должен уменьшиться в размерах: от ящика размером с большую микроволновку (как в Xerox PARC) до одной большой платы с видеокартой, а затем и до крошечной части графического процессора на чипе (именно так он выглядит сейчас). Но тогда он все еще оставался редким и дорогим зверем.

Мы услышали, что компания Evans & Sutherland в Солт-Лейк-Сити строит еще один кадровый буфер, и решили отправиться туда. По чистой случайности, когда мы въехали на парковку E&S, рядом с нами лихо затормозил желто-черный Lotus. Из него выскочил Джим Каджия с волосами до пояса, даже длиннее моих. Каджия, блестящий инженер и теоретик, а позднее профессор Калифорнийского технологического института, разрабатывал новый кадровый буфер в E&S. Он будет нашим важным коллегой на протяжении десятилетий.

Надежды, что мы получим доступ к еще не родившемуся устройству, быстро рухнули. Хотя мы ни разу не упомянули слово «искусство», все понимали, чем именно мы занимаемся. Политически они никак не вязалось с финансированием разработок в Университете Юты Министерством обороны — американским военным тираном, поддерживающим компьютерную графику. Мы уже собирались уходить, ничего не добившись, как вдруг кто-то упомянул, что недавно мимо проезжал «сумасшедший богач», некто доктор Александр Шуре из Лонг-Айленда, который «скупал все, что попадалось ему на глаза». «Он купил кадровый буфер?» — поспешно спросил я. Да! И он хотел делать анимационные фильмы! Мартин Ньюэлл, тот самый, с чайником, на следующий день улетал консультировать его в школу богачей, в Нью-Йоркский технологический институт. Он пообещал позвонить по результатам встречи.

Звонок от Ньюэлла не заставил себя ждать: «На вашем месте я бы уже покупал билеты на ближайший самолет». Мы с Дэвидом так и сделали.

«Кого нам там искать?» — пристал я к еще одному знакомому из Юты.

«Эда Катмулла. Но будь с ним поаккуратнее, он набожный мормон».

«Это не проблема».

Когда в 1974 году Эд защищал докторскую диссертацию в Университете Юты, один из его научных руководителей, Айвен Сазерленд, как раз занимался созданием компании, которая будет внедрять компьютеры в Голливуде. Эд надеялся, что она обеспечит ему пропуск в киноиндустрию, особенно в анимацию. Я спросил Сазерленда об этом во время разговора по скайпу в мае 2017 года.

«Мы опередили время примерно на 10 лет», — сказал Сазерленд о своей попытке покорить Голливуд в 1974 году. Он и второй соучредитель Глен Флек планировали назвать компанию Picture/Design Group. Они тогда выполнили несколько дизайнерских заказов, но бизнес не окупался. Добиться успеха у них не получилось.

Но Эд не собирался ждать десять лет. Чтобы обеспечивать жену и маленького ребенка, он устроился на работу в компанию Applicon в Бостоне, занимавшуюся компьютерным проектированием. Именно там в 1974 году его застал звонок от Александра Шуре из Нью-Йоркского технологического института. Хотя Эд проработал в Applicon всего месяц или около того, он не раздумывая согласился на предложение Шуре. Он даже не уточнил никаких подробностей — лишь понял, что речь идет о работе на оборудовании E&S в новой Лаборатории компьютерной графики и о создании анимационного фильма. Свое будущее Эд видел в иллюстративной компьютерной графике, а не в САПР.

Малкольм Бланчард, еще один выпускник факультета компьютерных наук Университета Юты и бывший коллега Эда в Applicon, устроился в Лабораторию компьютерной графики Нью-Йоркского технологического института в конце 1974 года.

Лаборатория всего несколько месяцев спустя, в начале 1975 года, пополнилась еще двумя сотрудниками, хотя новые машины туда еще не поступили, а некоторые из них даже не были изготовлены. Новыми сотрудниками были мы с Дэвидом Ди Франческо из Xerox PARC, лаборатории, которую основал Боб Тейлор. Таким образом, в Нью-Йоркском технологическом институте переплелись две нити ARPA — Сазерленда и Тейлора.

Основанная на геометрии компьютерная графика из Университета Юты объединилась с пиксельной графикой из Xerox PARC в 1975 году, посеяв семена того, что в итоге превратится в студию Pixar. У нас наметилось мощное смешение искусства и технологии. Другими словами, объединились силы изнутри (Юта) и извне (Xerox PARC) Центральной Догмы. Четыре первых сотрудника лаборатории — Эд, Малкольм, Дэвид и я — оставались вместе и впредь, создавая компьютерный отдел студии Lucasfilm в 1980 году и студию Pixar в 1986-м.

Эд и Малкольм были людьми семейными, а вскоре у Эда еще и родился второй ребенок. Неудивительно, что по будням они придерживались графика с девяти до пяти и не работали по выходным. Но мы с Дэвидом, по-прежнему холостяки, работали круглосуточно, в том числе и по выходным, занимаясь искусством, особенно после того как заполучили для Лаборатории кадровый буфер. Мы даже спать ложились лишь тогда, когда уже валились с ног от усталости.

Дэвид жил на свой грант Национального фонда искусств, но выделенные деньги постепенно заканчивались. Мы так и не получили никакой информации о заявке на грант, которую отправляли вместе. Дэвид сделал запрос и (его это возмутило, а меня расстроило) обнаружил, что Национальный фонд искусств потерял ключевую часть, наше художественное приложение. Чтобы загладить свою вину, представители Фонда согласились посетить нашу лабораторию. Именно это и было нам нужно! Сложно объяснить, что мы пытались сделать, но легко показать.

Фонд отправил к нам художника Стэна Вандербика и чиновницу Нэнси Рейнс. Вандербик был известен как по выставке «Кибернетическая прозорливость» (упомянутой в шестой главе), так и по книге «Расширенное кино» (упомянутой в этой). Кстати, именно он придумал термин «расширенное кино».

Мы с Дэвидом встретили их на вокзале Манхассет, Лонг-Айленд, в 16:00, в последний час последнего дня, когда можно было посетить объект. Они исполняли свои профессиональные обязанности без особого энтузиазма. «Нам нужно успеть обратно на пятичасовой поезд», — заявила Рейнс. Это означало, что у нас остается всего тридцать минут на демонстрацию. «Хорошо, но мы не думаем, что вы захотите так спешить», — ответили мы.

И они не захотели. Еще со времен работы в Xerox PARC мы с Дэвидом привыкли, что посетители замирают разинув рты, впервые увидев цветные пиксели и интерактивную растровую графику. То же самое произошло и с представителями фонда. Мы объясняли и показывали картинки, делали изображения сами и давали делать их им. Время пролетело незаметно. Наконец, около четырех часов утра они решили, что им пора вернуться в знаменитый отель Algonquin на Манхэттене. Мы отвезли их туда. За проведенное вместе время мы успели по-настоящему подружиться. Всех четверых переполняли счастье и энтузиазм. Перед тем как скрыться за раздвижными дверями отеля, Вандербик обменялся с нами рукопожатиями через открытое окно машины и сказал: «Ну, парни, вы получили свой грант!»

На северном берегу Лонг-Айленда, примерно в 10 милях к западу от Нью-Йоркского технологического института, находился необычный комплекс для компьютерной графики в реальном времени. Это был симулятор крупнотоннажного нефтяного танкера, заходящего в гавань Нью-Йорка. Сейчас верится с трудом, но существовал план, согласно которому предполагалось разрешить гигантским танкерам заходить туда (конечно, это было еще до катастрофы с разливом нефти из танкера Exxon Valdez на Аляске). Поскольку у большого танкера радиус поворота больше мили, а гавань Нью-Йорка по сравнению с ним довольно тесна, планировалось, что судоводитель должен сначала потренироваться на симуляторе. Саму сумасшедшую идею в реальность так и не воплотили, но симулятор был создан. Позже он использовался для воссоздания и изучения аварии Exxon Valdez после катастрофы, произошедшей в 1989 году в заливе Принс-Уильям — огромном по сравнению с гаванью Нью-Йорка.

Компания Evans & Sutherland создала симулятор с неуклюжим названием Computer Aided Operations Research Facility, или CAORF (произносится как «Кей орф»). Его установили в июле 1975 года в Академии торгового флота США в Кингс-Пойнте на Лонг-Айленде. Вы входили в кирпичное здание — с носом как у корабля! — через двери с иллюминаторами и попадали «на мостик». Туалет назывался «гальюн». Пройдя дальше, вы оказывались на корабельном мостике со штурвалом, экраном сканирующего радиолокатора, рычагом управления скоростью и ручкой туманной сирены. Все это было реальным, а не компьютерной графикой.

А вот вид из окон (глухих) очень удивлял. Он полностью генерировался компьютером и заполнял все визуальное пространство. С помощью реальных устройств на мостике человек взаимодействовал с нереальной компьютерной симуляцией. Перед судоводителем разворачивалась 240-градусная панорама, упрощенно изображавшая нью-йоркскую гавань со статуей Свободы, мостом Веррацано-Нарроус и горизонтом с силуэтами небоскребов, включая Эмпайр-стейт-билдинг. «Танкер» двигался через сгенерированную компьютером гавань под вашим управлением.

CAORF разработали Род Ружло и Боб Шумахер на базе симулятора NASA-2 и первых цветных пикселей. Они покинули General Electric и присоединились к Evans & Sutherland в октябре 1972 года. Ружло стал главным инженером проекта CAORF, естественно, в партнерстве с Шумахером. «Мы тогда поставили на кон всю компанию», — сказал мне Ружло. И это сработало. В авиационной индустрии, изучив симулятор танкера, быстро поняли, что по тому же принципу можно делать тренажеры для обучения пилотов. Авиасимуляторы принесли компании E&S процветание.

Созданием программного обеспечения для симулятора танкера руководил Джон Уорнок. Потом он работал в Xerox PARC, а еще позже основал Adobe. Но тогда его производственное подразделение E&S находилось в Калифорнии. Молодая женщина Кристин Бартон работала там над программным обеспечением CAORF и приехала на Лонг-Айленд, чтобы установить его.

Шумахер присутствовал на защите диссертации Эда Катмулла в Университете Юты в 1974 году. Поэтому он пригласил Эда посетить установку CAORF, благо Нью-Йоркский технологический институт располагался неподалеку. Возможно, именно там Кристин познакомилась с Эдом. Впрочем, она изложила иную версию. По ее словам, узнав, что Нью-Йоркский технологический институт недавно закупил оборудование у E&S, она позвонила Эду, и он пригласил ее посетить Лабораторию компьютерной графики (рис. 7.25). После того как Эд рассказал, чем он там занимается, Кристин попросилась к нему на работу. В 1975 году она стала пятым членом нашей группы в Нью-Йоркском технологическом институте и первой женщиной-компьютерщиком среди нас. В те времена немного женщин занимались компьютерной графикой — там преобладали мужчины.

У Кристин был опыт создания компьютерных сетей. Она работала с ранним предшественником интернета — ARPAnet. Она объединила наши многочисленные компьютеры в Нью-Йоркском технологическом институте в локальную сеть задолго до того, как термин «локальная сеть» (local area network, LAN) стал общепринятым. Ее сетевой сервер даже выделял кадровые буферы конкурирующим пользователям — в то время решением подобных проблем не занимался никто в мире. Большинство довольствовались одним кадровым буфером, способным хранить одно 8-битное видеоизображение (256 цветов) с разрешением 512 на 512 пикселей. На пике развития в нашей лаборатории было 18 таких буферов. Мы по-разному их настраивали, используя построенную Кристин систему. Например, мы объединяли три кадровых буфера, чтобы получить 24-битное полноцветное видеоизображение (16 миллионов цветов).

Рис. 7.25 Персонал лаборатории в 1977 году (слева направо): Эфраим, Гарланд Стерн и Лэнс Уильямс, Том Дафф и Кристин Бартон, между ними (на заднем плане) Дуэйн Палика и Эд Катмулл, а также я с моей машиной и Дэвид Ди Франческо с его мотоциклом

Помимо прочего, Кристин занималась искусством. Как и все мы, она создавала анимацию на зарождающейся в лаборатории системе. Жила она в Holloway House, еще одном особняке, относящемся к институту и располагавшемся в миле или около того от кампуса.

Кристи, как мы ее тогда называли, расположила к себе нас с Дэвидом, пригласив посетить симулятор CAORF. Ее знакомый из Академии торгового флота пустил нас на объект ночью. Вот тогда и началось веселье. Мы катались на танкере, доводя симулятор до немыслимых пределов. Мы раскрасили небо в красный цвет. Мы пилотировали танкер со скоростью 200 миль в час, на 40 футов ниже уровня воды и на 40 футов выше. Мы пролетели на нем на полной скорости через статую Свободы и через Эмпайр-стейт-билдинг, чтобы посмотреть на результат. Ничего интересного, конечно, мы не увидели, это была просто симуляция. Программисты E&S не помещали внутрь изображенных зданий никакой информации, потому что оператор не должен туда попадать. Полигоны, которые использовались для имитации сооружений, просто исчезали при столкновении — острые края уходили за пределы экрана, открывая черное ничто, словно разбивающееся в темноте витражное окно.

В 1975 году в Нью-Йоркский технологический институт прибыли два человека, которые сильно повлияют на будущее нашей графики и кинопроизводства. Лэнс Уильямс и Гарланд Стерн из Университета Юты провели с нами тогда первое лето. Лэнс и Гарланд были технологическим дуэтом. Оба примерно одного роста и с длинными светлыми волосами (Гарланд собирал их в хвост). Они говорили об одном и том же и вместе вынашивали планы. Они оба снова приехали на следующее лето, а затем присоединились к нам навсегда.

Многогранный Лэнс лично для меня значил особенно много. Мы с ним постоянно спорили, но такое интеллектуальное противостояние приносило пользу нам обоим — во всяком случае, мне. Он открыл для меня книгу «Голый завтрак» Уильяма Берроуза, особенно притягательную для тех, кто только что вышел из шестидесятых, и музыку Брюса Спрингстина.

Но гораздо важнее то, что Лэнс научил меня сглаживать растровые изображения. Он узнал этот секрет от Тома Стокхэма, аудиоэксперта, о котором я упоминал в главе 6 и который объяснил целому поколению студентов из Юты, как правильно делать выборки. И Лэнс также рассказал мне о Царе обезьян, популярном азиатском литературном персонаже, который еще появится в нашем кинематографическом будущем.

Гарланд Стерн, после того как начал работать в нашей лаборатории на постоянной основе, написал программу двумерной анимации, которая предопределила будущие отношения Pixar со студией Диснея.

Закон Мура еще не дал нам достаточной мощности для трехмерной анимации, поэтому на повестке дня стоял вопрос о возможностях компьютера в двумерной анимации. Сначала ответ не казался очевидным.

Эд Катмулл написал программу, которая, как мы полагали, задаст образец компьютерного подхода к покадровой анимации, но с ней возникла проблема. Его анимационная программа под названием Tween была отличной двумерной программой для промежуточной фазировки. Он использовал интерполяцию, очень похожую на программу анимации по ключевым кадрам, описанную в главе 6, которую Нестор Бёртник и Марсели Вейн разработали в Канаде в 1970 году. Аниматор Питер Фолдс создал знаковый фильм «Голод» (La Faim, 1974), применив систему Бёртника — Вейна. И аниматоры из Нью-Йоркского технологического института в конце концов сняли 22-минутный короткометражный телефильм «Мера за меру» (Measure for Measure, 1980) частично с использованием Tween. Но у них возникли некоторые трудности.

Эд оперативно реагировал на все замечания, но врожденный неустранимый недостаток системы заключался в том, что двумерная компьютерная анимация на самом деле сложнее, чем трехмерная. Рассмотрим в профиль мужчину, который идет влево и размахивает руками. Благодаря нашему человеческому разуму мы знаем, что правая (дальняя от нас) рука сначала находится сзади, потом исчезает за спиной, а затем снова появляется спереди. После этого все происходит в обратном направлении: рука находится спереди, исчезает и снова появляется сзади. Но компьютер таким знанием не обладает. Как он интерполирует перемещение руки из одной позиции в другую? Что значит «сзади»? Что именно объединяет шесть только что описанных фаз в движение одного объекта? В трех измерениях очевидно, что рука — это один объект, плавно движущийся в пространстве. Стандартные решения трехмерной компьютерной графики, связанные с отображением скрытых поверхностей, автоматически позаботятся об исчезновении руки за туловищем.

Персонал студии Нью-Йоркского технологического института, обученный классической анимации, считал возникавшие с Tween проблемы непреодолимыми. Людям, привыкшим к карандашу и бумаге, интерполяционный подход казался неестественным. Персонаж на рисунке 7.26 — римский солдат из «Меры за меру» — показывает, от чего они впадали в уныние. Каждая пронумерованная кривая в ключевом кадре, созданном на основе этой модели, соответствует аналогичной кривой в следующем ключевом кадре, где солдат находится в слегка измененном положении — скажем, голова немного повернута, а правая рука поднята. Каждая кривая интерполировалась Tween с помощью инструкций, которые заданы аниматорами. Если у нас есть ключевой кадр, скажем под номером 10, и следующий ключевой кадр под номером 14, то Tween создаст три промежуточных кадра, состоящих из интерполированных кривых.

На рисунке 7.27 показаны проблемы, возникавшие при фазировке движения правой руки солдата. Найдите кривую номер 39 с левой стороны. На рисунке 7.27 (слева) показано, как она перемещается из своего положения в ключевом кадре 10 в положение в ключевом кадре 14 по прямолинейному пути (пунктирная линия) с равными временными промежутками. Это просто грубая интерполяция. Компьютер понятия не имеет, что имеет дело с рукой и что она должна двигаться как рука. Обратите внимание: кривые сперва укорачиваются, а затем снова удлиняются. Таким образом, у руки при движении меняются размер и объем. И перемещается она на одинаковые расстояния между кадрами. Настоящие аниматоры вряд ли когда-либо нарисуют такие жесткие и неизящные движения.

Чтобы добиться приятного глазу движения, аниматоры должны были указать Tween, по какому пути следовать и как распределить промежуточные моменты во времени. На рисунке 7.27 (справа) рука движется по изогнутой дуге (пунктир) и сохраняет исходную длину. Ее части перемещаются на разные расстояния за (обязательно) одинаковые промежутки времени. Рука движется сначала медленно, затем быстро, а потом снова медленно. В худшем случае аниматорам точно так же пришлось бы указывать, как двигаться, для каждой линии, а их более сотни только в этом римском солдате.

Рис. 7.26

Использование Tween для фазировки не только было в новинку для классических аниматоров, но и нас, специалистов в области компьютерной графики, поставило перед неожиданно сложной задачей. Мы получили важный урок. Поскольку наше определение фильма требовало, чтобы он был полностью цифровым и не содержал рисунков, сделанных от руки, мы поняли, что нам почти наверняка потребуются трехмерные модели персонажей. Третье измерение с его представлениями о связности, объектах и глубине радикально изменило бы все.

Тем временем Гарланд Стерн создал для двумерной анимации программу, интуитивно понятную для студийных аниматоров. Она давала им возможность рисовать от руки. Они использовали ее (в дополнение к Tween) для производства «Меры за меру». Они снова смогли, как обычно, работать с карандашом и бумагой. Всю интерполяцию ключевых кадров выполняли они, а не компьютер. Они делали фазировку вручную, но все остальное — контуровка, заливка, сборка кадров и съемка — делалось на компьютере. Исходные рисунки были аналоговыми, но все остальное было цифровым.

Программа Гарланда под названием SoftCel работала по принципу scan-and-paint — «сканируй и раскрашивай». Как обычно, аниматоры рисовали каждый кадр карандашом на стандартной бумаге для анимации. Разные персонажи в каждом кадре рисовались на отдельных листах бумаги, а фазировка между ключевыми кадрами создавалась отдельно вручную. С помощью сканера Гарланд оцифровывал каждый рисунок, созданный аниматорами. То есть он создавал цифровую версию каждого рисунка, делая выборку и сохраняя полученные таким образом пиксели в градациях серого в цифровых файлах на компьютере. Пиксели не создавались, а регистрировались. На кривых не было неровностей, потому что они не визуализировали геометрию с высокими частотами. Гладкость линий карандашных рисунков сохранялась при помощи сканера.

Рис. 7.27

Каждый рисунок помещался в кадровый буфер для отображения на дисплее компьютера. Обычно он содержал много шума и ложных точек, возникающих из-за пыли, например на бумаге или на стекле сканера. Пользователь SoftCel избавлял отсканированное изображение от шума и выполнял над ним другие операции, такие как повышение яркости и контрастности. Важной задачей было замкнуть все кривые. Аниматор мог думать, что нарисовал замкнутый овал, хотя на самом деле оставил в контуре небольшой зазор. Для следующего шага — заполнения области сплошным цветом — требовалось закрыть такие промежутки. Все операции, описанные в этом абзаце, фактически представляют собой цифровую версию контуровки тушью на прозрачном целлулоиде в традиционной анимации.

Затем наступает этап создания пикселей — то самое «раскрашивай» из «сканируй и раскрашивай». В первые месяцы работы в Нью-Йоркском технологическом институте я написал программу под названием TintFill для выполнения цифрового эквивалента заливки краской в традиционной анимации. Как я описал в главе о фильмах и анимации, классические заливщики закрашивали области внутри сделанных тушью на целлулоиде контуров. Как и в детской книжке-раскраске, цель заключалась в том, чтобы сплошной цвет оставался внутри линий, а не пересекал их.

Точно так же TintFill заполнял замкнутые области, такие как правая рука и пальцы римлянина, одним сплошным цветом. Пользователь выбирал цвет, а затем щелкал пером внутри области, которая будет им заполнена. TintFill делал все остальное. Если алгоритм TintFill находил пробел в окружающей область кривой, цвет просачивался наружу и заливал весь рисунок, поэтому требовалось закрывать все разрывы в кривых, определяющих площадь заливки.

Таким образом последовательно закрашивались все области персонажа. Результат сохранялся в цифровом файле на компьютере. На этом этапе для каждого финального кадра существовало несколько файлов. Если в сцене было три анимированных персонажа, то для каждого ее кадра сохранялись три отдельных цифровых файла, по одному для каждого персонажа.

Тем временем еще один художник рисовал фоновые сцены прямо в кадровом буфере с помощью программы для цифрового рисования и сохранял каждую из них в отдельном цифровом файле. Поскольку еще со времен работы с SuperPaint Дика Шаупа в Xerox PARC я знал, как писать программы для рисования, второй моей программой в первые дни работы в Нью-Йоркском технологическом институте стал Paint, 8-битная программа для рисования с 256 цветами. Существовало несколько ее аналогов, в том числе та, которую Гарланд Стерн написал в Университете Юты и привез с собой. Я разработал свою собственную, так как мне требовался другой пользовательский интерфейс, а затем работал с профессиональным художником по фонам классической анимации Полом Ксандером, чтобы сделать ее эффективным инструментом для реального использования.

На последнем этапе все цифровые файлы объединялись в окончательный кадр и он отправлялся на пленочный принтер или видеомагнитофон. Сначала в кадровый буфер из цифрового файла восстанавливалась фоновая сцена. Затем в правильном порядке поверх фона туда восстанавливался каждый из слоев персонажей. Прозрачные части позволяли просвечивать изображению, расположенному на нижних слоях, в частности фону. Такую «композицию» сделал возможной альфа-канал.

Все, чем мы занимались в Нью-Йоркском технологическом институте, было впервые. Однажды мы попытались составить список всего, что сделали первыми, но он вскоре получился настолько смехотворно длинным, что мы бросили это занятие. Однако самое долгоживущее изобретение с наибольшим количеством наследников было сделано почти случайно. Мы с Эдом Катмуллом изобрели альфа-канал. В самом начале существования лаборатории однажды поздно вечером к нам заглянул наш покровитель дядя Алекс и спросил: «У нас лучшая компьютерная графика в мире, верно?» Я заверил его, что он прав. «Как нам оставаться впереди?» В то время мы располагали только одним кадровым буфером, 512 на 512 пикселей, 8 бит на пиксель (256 цветов). Он обошелся Шуре в 80 000 долларов. Я сказал ему, что если он купит нам еще два 8-битных кадровых буфера, то мы объединим их и получим один 24-битный (более 16 миллионов цветов). Я объяснил, какова разница между 256 цветами и 16 миллионами цветов и что ни у кого в мире нет таких возможностей.

Я полагал, что дядя Алекс ничего не понял, но через несколько недель он объявил, что купил еще пять таких 8-битных штуковин, поэтому у нас будет две таких 24-битных штуки! Пять новых 8-битных кадровых буферов по 60 000 долларов каждый! Таким образом, первый настоящий RGB, или полноцветный, 24-битный кадровый буфер, обошелся ему в 200 000 долларов — 80 тысяч долларов за первоначальную покупку 8-битного плюс 120 000 долларов за два новых 8-битных, но второй стоил уже 180 000 долларов. И теперь у нас был не только первый в мире полноцветный кадровый буфер, но целых две таких штуковины. В пересчете на сегодняшние деньги он потратил на нас более 1 700 000 долларов просто потому, что я сказал, что это будет круто. По прошествии многих лет его щедрость удивляет еще сильнее, чем тогда. В то время мы пребывали в полном восторге.

Вскоре он купит нам еще 12 8-битных кадровых буферов примерно по 40 000 долларов каждый — закон Мура в действии. Он дополнительно потратил 480 000 долларов, или около 1 900 000 долларов в пересчете на сегодняшние деньги. Так что ориентировочно к 1978 году мы располагали бóльшим количеством полноцветных пикселей, чем кто-либо еще на планете. Нам завидовало все сообщество специалистов в области компьютерной графики. Если сравнивать с сегодняшним днем, то у вашего мобильного телефона больше пиксельной памяти, чем у всех 18 кадровых буферов лаборатории вместе взятых. Напомню, что закон Мура, непрекращающаяся движущая сила, с тех пор изменился на восемь порядков.

Полноцветный 24-битный RGB сводил нас с ума. Я переписал свой Paint с 8-битными пикселями, сделав из него в 1977 году полноцветный Paint3 с 24-битными пикселями. Название указывало, что там используется три кадровых буфера. Это была первая в мире «полноцветная», или 24-битная, программа для рисования. В нем было 16 мегацветов — так много, что художник мог рисовать кистями с мягкими краями, которые не создавали зазубрин. Цвета смешивались, как будто настоящие краски. «Это как рисовать рожком мороженого», — кто-то отпустил о моей программе незабываемую шутку.

Вскоре я переделал все пиксельно-ориентированные программы в 24-битные версии. И, располагая таким большим объемом графической памяти, мы с Эдом легко и беззаботно решали, как ее использовать. В один прекрасный день мы придумали добавить четвертый канал для каждого цифрового изображения. Мы назвали его альфа-каналом. Мы делали его для решения одной конкретной проблемы, даже не осознавая будущей значимости этого. От альфа-канала зависит весь современный мир цифровых изображений.

Эд пытался решить извечную проблему скрытых поверхностей, о которой я уже говорил ранее: какие поверхности в конкретной сцене видны с точки обзора виртуальной камеры? Если не визуализировать скрытые поверхности, экономится много вычислительного времени. Тогда уже существовало несколько доступных алгоритмов, направленных на решение этой проблемы.

Эд разрабатывал новый способ, предполагавший, что виртуальная камера видит двумерный мир, разделенный на множество маленьких квадратиков, как через москитную сетку на окне (подробнее об этом я расскажу позже). Обратите внимание, что маленькие квадраты здесь — это геометрически определенные области модели, а не пиксели.

Алгоритм Эда рассчитывал пересечение каждого геометрического объекта модели с каждой из маленьких квадратных областей. Если квадрат пересекали несколько объектов, то дополнительно определялось, какая площадь каждого объекта видна виртуальной камере. Другими словами, он решал задачу о скрытых поверхностях в каждой маленькой квадратной области и представлял результат одним пикселем. Каждый пиксель соответствовал квадратной геометрической области вокруг своего местоположения. Проблема заключалась в определении одного цвета, который наилучшим образом передаст всю сложность внутри одной квадратной области.

Окончательный цвет пикселя переднего плана для квадратной области определялся как средневзвешенное значение цветов всех объектов, каждый из которых имел «вес», пропорциональный площади, которую он занимает в квадрате. Площадь квадрата, закрытая объектами, оставалась непрозрачной. Если они полностью закрывали квадрат, то этот пиксель был полностью непрозрачным. Если в квадрат не попадал ни один объект, то этот пиксель был полностью прозрачным. В противном случае он был частично непрозрачным.

Эд хотел визуализировать трехмерные объекты переднего плана на любом двумерном фоне. Чтобы протестировать алгоритм, он начал с предустановленного фонового изображения, для которого знал окончательный цвет каждого маленького квадрата, не закрытого объектами переднего плана. Но он не хотел постоянно иметь дело с «предустановленным» фоном.

Он сказал мне: «Хотелось бы найти какой-нибудь простой способ для проверки моего алгоритма на различных фонах». Мы поболтали несколько минут и быстро придумали решение. В какой-то момент определения синтетического пикселя описанный выше алгоритм вычислял результирующий цвет объектов переднего плана и степень их непрозрачности. Сочетание этого с цветом фона составляло отдельную проблему. Поэтому мы решили рассмотреть ее как отдельную задачу.

Я написал программы, которые использовались в лаборатории и для сохранения цифровых изображений в компьютерные файлы, и для их восстановления из файлов, обычно хранившихся на цифровом носителе — тогда в этой роли выступали магнитные диски. Это были первые полноцветные 24-битные программы сохранения и восстановления, потому что именно у нас раньше всех появились 24-битные пиксели. Я сразу понял, как решить проблему Эда. Нужно просто добавить четвертый канал к каждому пикселю в программах. Он будет содержать непрозрачность пикселя.

Если пиксель непрозрачен, его 8-битный альфа-канал имеет значение 255 (все единицы). Если он прозрачен, его альфа-значение равнялось 0 (все нули). Между ними доступно 254 возможных градации непрозрачности. Таким образом, каждый пиксель изображения теперь имел 32 бита: по 8 для красного, зеленого, синего цветов и альфа-канала. Мы назвали их пикселями RGBA. Благодаря системе распределения кадровых буферов Кристин Бартон мы сконфигурировали 32-битный кадровый буфер из четырех 8-битных устройств в локальной сети.

Эду предстояло изменить алгоритм так, чтобы он вычислял только цвет переднего плана и его непрозрачность для каждого пикселя, сохраняя результаты в компьютерный файл и записывая непрозрачность в новый четвертый канал. Другими словами, цвет фона просто игнорировался до следующего шага. Я же собирался переписать программу восстановления так, чтобы она распознавала новый альфа-канал и использовала его для правильного комбинирования вычисленного Эдом цвета переднего плана с произвольным фоном, который уже отображался в кадровом буфере.

Почему мы назвали его альфа? Потому что так обозначалась переменная, которую мы использовали в формуле для объединения изображения переднего плана (foreground) с изображением фона (background). Для краткости я буду называть их f и b. Альфа — это греческая буква α, но мы произносили формулу так: «альфа f плюс один минус альфа b». Идея заключалась в том, что альфа была похожа на ручку, которую можно крутить, плавно изменяя значение от 0 до 1. Под «альфа f» мы подразумеваем альфа, умноженную на f. Таким образом, при повороте ручки управления вклад в результат плавно менялся от отсутствия изображения переднего плана до полного изображения переднего плана. А «один минус альфа b» означало значение «один минус альфа», умноженное на b. При повороте ручки этот вклад менялся от полного фонового изображения до отсутствия фонового изображения.

Идея состоит в том, что крутится только одна ручка управления, а вклад двух изображений суммируется. Таким образом, ручка в крайнем положении (альфа равна 0) приводит к отсутствию изображения переднего плана и полному фоновому изображению — только фон. В другом крайнем положении ручки (альфа равна 1) мы имеем дело с полным изображением переднего плана и отсутствием фонового изображения — только передний план. Значение альфы напрямую отражает непрозрачность изображения переднего плана.

Ручка, повернутая наполовину (альфа равна 0,5), приводит к изображению, состоящему наполовину из переднего плана и наполовину из фона. При повороте ручки на четверть (альфа равна 0,25) в результирующем изображении соединяются одна четверть изображения переднего плана и три четверти фонового изображения. Если повернете ручку из одного крайнего положения в другое, вы получите кино с плавным переходом от фонового изображения к изображению переднего плана. Одно изображение плавно сменяет другое. На рисунке 7.28 показан плавный переход от белого креста на синем квадрате до красного круга на белом квадрате при изменении альфа от 0 до 1 с шагом 0,25.

Я описывал весь процесс так, как будто для всего изображения существует одно значение альфы (непрозрачности). Собственно, это и показано на рисунке 7.28. Но, вводя альфа-канал в каждый пиксель, мы допускаем разную непрозрачность, то есть та же формула применима к каждому пикселю изображения. Некоторые пиксели переднего плана могут быть прозрачными, некоторые — непрозрачными, а некоторые — частично непрозрачными. Соответственно, фоновый пиксель может частично просвечиваться в этих местах. Таким образом, пиксель RGBA сохраняет цвет сцены в каналах RGB и указывает, насколько этот цвет имеет значение для общей картинки с помощью канала A, или альфа-канала. Так что 32-битные пиксели стали нашей нормой.

Альфа, используемая попиксельно, показана на рисунке 7.29. Объект переднего плана — это просто круглый красный диск без фона. Все пиксели за его пределами прозрачны (или частично прозрачны по краю диска). Крайнее правое изображение — это красный диск, наложенный на левое квадратное изображение. Это делается с помощью альфа-канала красного диска попиксельно. В остальном последовательность изображений аналогична приведенной выше: глобальная альфа используется для постепенного наложения одного изображения на другое — в данном случае изображения круга на квадратный фон.

Альфа-канал — идея довольно тривиальная. По крайней мере, так мы думали тогда. Мы додумались до нее первыми только потому, что у нас было сколько угодно пиксельной памяти. Идея оказалась настолько простой, что на следующее утро я полностью реализовал ее, добавив несколько страниц в наше общее руководство по программированию. Новый тип пикселей описывался как RGBA для красного, зеленого и синего цветов и альфа-канала — это название используется до сих пор. Эд тоже быстро выполнил свою часть работы, изменив программу расчета скрытых поверхностей, чтобы она сохраняла четвертое значение (непрозрачность) для каждого пикселя переднего плана в новом формате RGBA.

Чтобы запустить свои тесты, Эду пришлось выполнить лишь следующие шаги. (1) Использовать мою «старую» 24-битную программу восстановления, чтобы загрузить любое фоновое RGB-изображение b в кадровый буфер. Предполагалось, что фон везде непрозрачен. (2) Использовать мою новую 32-битную программу восстановления, чтобы получить в том же буфере RGBA-изображение f переднего плана, которое его программа сохранила в новом формате. Программа восстановления выполняла формулу «альфа f плюс один минус альфа b» для каждого пикселя, где A каждого пикселя на изображении переднего плана содержало значение альфа (непрозрачности), которое вычислила программа Эда. И фоновое изображение проступало в тех местах, где альфа-«ручка» меняла изображение переднего плана с непрозрачного на прозрачное.

Рис. 7.28

Рис. 7.29

Новый альфа-канал упростил размещение персонажей переднего плана поверх фоновых изображений. Части персонажа, заполненные сплошным цветом, непрозрачны. Отсканированные кривые, очерчивающие цветные области, имели «мягкие» края, то есть были частично прозрачны. Это позволяло им изящно сочетаться с задним планом. Все остальные части цифрового целлулоидного листа прозрачны — с альфой, равной нулю.

В программе «сканируй и раскрашивай» создать альфа-канал для карандашного рисунка не так уж и сложно. Сам рисунок и есть собственный альфа-канал (ну или, если быть точнее, негатив рисунка). Рисунок делается черным карандашом на белом фоне, поэтому его негатив будет белым на черном фоне. Предположим, отсканированный рисунок находится в 8-битном кадровом буфере, где 255 (все биты равны единице) соответствуют белому пикселю, а 0 (все биты равны нулю) — черному. Оттенки серого на отсканированном рисунке находятся в диапазоне от 254 до 1. Давайте выберем один из них, например значение серого 100. Чтобы получить альфа-канал для рисунка, нужно вычесть каждый пиксель из белого (255) — так и создается негатив изображения. Таким образом, белый пиксель в альфа-канале имеет значение 255–255, или 0. Он прозрачен. Черный пиксель в альфа-канале имеет значение 255–0, или 255. Он непрозрачен. А серый, например 100, в альфа-канале принимает значение 255–100, или 155, что соответствует частичной непрозрачности (разделим 155 на 255 и получим примерно 61 % непрозрачности). Любые области, залитые непрозрачным цветом, будут, конечно, полностью непрозрачными, с альфой 255.

Идея альфа-канала кажется тривиальной, но на самом деле очень глубока. Мне потребовалось много лет, чтобы осознать всю ее глубину. Следующий шаг в ее развитии несколько лет спустя сделали наши коллеги из Lucasfilm Том Портер и Том Дафф, которые добавили к новому каналу «алгебру» — нетривиальное расширение элементарной идеи. И еще они заметили, что, если сохранять в пикселе цвета, «предварительно умноженные» на альфу, вместо необработанных, получится сэкономить огромное количество умножений, которые не нужно будет делать каждый раз, когда изображение восстанавливается в кадровый буфер. Тогда умножение еще оставалось медленным и дорогим. Мы вчетвером получили премию Технической академии за совместный вклад в цифровое кинопроизводство — универсальный метод комбинирования цифровых изображений.

Многие популярные программы без альфа-канала не стали бы сегодня такими, какие они есть. На ум сразу приходят Adobe Photoshop и Microsoft PowerPoint. Но даже операционные системы вроде Windows и MacOS используют альфа-канал для создания всплывающих значков, закругленных углов и частично прозрачных окон.

Компания Altamira Software, которую я основал много лет спустя, после Pixar, строилась на идее, вытекающей из улучшенного алгоритма альфа-канала: цифровое изображение не обязательно должно быть прямоугольным. Предварительное умножение на альфу позволяет нам свергнуть тиранию прямоугольника. Рассмотрим красный диск на рисунке выше. Его форма определяется ненулевыми значениями пикселей его альфа-канала. Для любых практических целей пикселей с альфой, равной нулю, просто не существует. Диск — это круглый объект. Это спрайт (или фигурное изображение), состоящий из пикселей, а не из геометрии. Мы с коллегами написали программу для композитных изображений Altamira Composer, основанную на этой идее, и продали ее (и компанию) в 1995 году фирме Microsoft.

В альфе нет ничего, требующего подчинения Центральной Догме, хотя альфу, безусловно, часто используют и в ритуалах, связанных с ее почитанием. Однако программы для рисования и их родственники, такие как Photoshop, не подпадают под действие Центральной Догмы, равно как и Altamira Composer.

Неудивительно, что, обладая таким количеством сотрудников с университетским образованием, Лаборатория компьютерной графики в Нью-Йоркском технологическом институте напоминала академическую кафедру. Все решения принимались согласованно и коллегиально, а публикации и академическая слава заботили нас даже больше, чем зарплата или должность. Как и на университетской кафедре, никто не хотел быть заведующим, поэтому эту неблагодарную обязанность взял на себя Эд Катмулл. Сотрудники не получали указаний от руководства, хотя Эд время от времени ставил перед нами задачи. Как правило, каждый просто выяснял, какие проблемы наиболее актуальны, и самостоятельно искал пути их решения. Но все знали, что лаборатория — это подарок судьбы, хорошо финансируемый исследовательский рай, а потому все работали с максимально возможным усердием. Каждый день в этом райском саду распускались цветы новых открытий! Мы давали имена всем новым растениям и животным и собирали все низко висящие плоды.

Деликатный стиль управления Эда идеально подходил для небольшой группы самодостаточных интеллектуалов. Но с годами мы мало-помалу начали понимать, что он обладает талантом настоящего руководителя и предпринимателя. Он создал в лаборатории отдел аппаратной разработки и организовал небольшую группу, занимавшуюся цифровым звуком. Без управленческих талантов Эда ничего подобного точно бы не появилось. Он использовал свои связи в Университете Юты, время от времени привлекая в лабораторию новых людей, по крайней мере на лето. Лэнс Уильямс и Гарланд Стерн как раз были первыми из этих временных летних гостей в 1975 и 1976 годах. Многие, как Лэнс и Гарланд, задержались надолго, став постоянными сотрудниками.

Аспирант Университета Юты Джим Блинн был из тех, кто не задержался. Он присоединился к нам тем же летом 1976 года. Он, высокий и неуклюжий длинноволосый мужчина (таким остается и до сих пор), постоянно носил свитер особого зеленого цвета, который связала его мать. Он, настоящая звезда в сфере технологий, притворялся угрюмым и суровым, но тем самым лишь маскировал широту души и специфическое чувство юмора.

Прежде чем покинуть нас, Блинн сделал анимацию трехмерного сливочника (из знаменитого чайного сервиза Мартина Ньюэлла) с наложением текстуры и трехмерного «человечка», который бегал по кругу, с реалистичным затенением относительно фиксированного точечного источника света. Разрываясь между Университетом Юты и нашей лабораторией, он также экспериментировал с новой техникой затенения, которая называлась рельефная карта. Ее стоит обсудить подробнее, потому что она, как и наложение текстур, подразумевает потрясающее сочетание выборки и геометрии в Цифровом Свете. В обоих случаях пиксели становятся частью модели геометрического объекта из пространства Творчества. То есть в обоих случаях они совершают прыжок из пространства Отображения в пространство Творчества.

Как и при наложении текстур, от одного изображения зависит внешний вид другого. То есть один массив визуализированных отсчетов управляет видом геометрической поверхности, когда она визуализируется в другой массив. В данном случае управляющее изображение влияет на видимую форму поверхности. На рисунке 7.30 показано, как с помощью рельефной карты оранжевая сфера превращается в апельсин. На самом деле это лишь видимость, потому что геометрия объекта никак не меняется. Посмотрите на контуры «апельсина» и обратите внимание на ровный силуэт, совсем без бугорков. Перед вами еще один голливудский трюк с ложным фасадом. Он прекрасно работает, если видимые неровности малы по сравнению с общей геометрией. Разве вы бы заметили безупречный силуэт, если бы я не указал на него?

Рельефная карта продвигает методы затенения вперед на два порядка по закону Мура. Она доводит понятие множественных флагштоков (помните, как я рисовал их на треугольнике?) до предела. Пиксели контрольного изображения (показанного на рисунке 7.30 в центре) меняют направление воображаемого флагштока на геометрическом элементе для каждого пикселя при окончательном рендеринге сферы. В простейшем случае плоского затенения один флагшток ставится в центре каждого треугольника. Затем Гуро предложил разместить флагштоки под наклоном в углах каждого треугольника. Они определяли «поверхность затенения», которую вы можете представить парящей над треугольником. По мере того как каждый пиксель визуализируется на дисплее, значение для его правильного затенения берется из соответствующего места на этой воображаемой поверхности.

Рельефная карта увеличивает количество флагштоков. Теперь они располагаются не в некоторых точках по углам треугольника, а по одному в каждой точке. Каждый пиксель рельефной карты может иметь разное значение угла к направлению источника света. Используя классическую реконструкцию согласно теореме Котельникова (разбрасывайте и складывайте каждый отсчет), поверхность вершин флагштоков генерируется на основании карты рельефа, чтобы создавать настолько сложные поверхности, парящие над треугольниками, насколько вам нужно. Вы не можете увидеть саму парящую поверхность, но вы можете увидеть различные неровности — то самое воздействие, которое она оказывает на затенение.

Не вдаваясь в тригонометрические подробности, достаточно сказать, что из-за манипуляций с точками на поверхности мы видим на ней неровности, которых там на самом деле нет — в том смысле, что они не содержатся в геометрической модели поверхности.

Блинн начал разрабатывать свою идею в 1976 году в Юте и продолжил во время рождественского визита в нашу лабораторию, но довел ее до совершенства только к 1978 году, когда выступил с докладом о ней на Siggraph, ежегодной конференции по компьютерной графике. Тем временем в Университете Юты эта идея стала частью его докторской диссертации. На рисунке 7.31 показаны его анимируемые сферы с рельефным изображением (с силуэтами без выступов) в порядке растрового сканирования (1977).

В итоге Блинн выбрал работу в Лаборатории реактивного движения в Пасадене. Там он расцвел и прославился, создавая фильмы о полетах космического корабля «Вояджер». Каждый из них имитировал прохождение «Вояджера» мимо одной из планет, например Юпитера. Для текстурных карт Блинн использовал фотографии планет, полученные Лабораторией реактивного движения непосредственно с «Вояджера». Этой работой Блинн занимался на долгие годы, благодаря чему Лаборатория реактивного движения попала на карту важнейших мест в истории компьютерной графики.

Рис. 7.30

В 1977 году Эд привез с собой на Лонг-Айленд еще двух коллег из Юты. Официально ни Эфраим Коэн, ни Дуэйн Палика не учились в Университете Юты, но они продемонстрировали, что могут быть нам полезны, поэтому Эд взял их на работу в нашу лабораторию. Оба были художниками и программистами.

Художника Эфраима я уже упоминал в предыдущей главе. Он работал с Роном Беккером над анимационной программой Genesys на TX-2 в Массачусетском технологическом институте. Как художник, он восхищал нас проницательными карикатурами, такими как приведенная в начале подглавы карикатура на сотрудников лаборатории, датированная примерно 1977 годом (рис. 7.25). Он принес нашей лаборатории множество программ для работы с пикселями, в том числе еще одну программу для рисования. Спустя годы после работы в Нью-Йоркском технологическом институте его самым заметным вкладом в Цифровой Свет — настоящим храмом — станет многоэтажный фасад здания NASDAQ на Манхэттене, выходящий на Таймс-сквер. Эфраим внес значительный вклад в его проектирование и реализацию.[42]

Дуэйн Палика участвовал в выставке «Кибернетическая прозорливость» 1968 года и изображен на обложке книги «Художник и компьютер», где он рисует автопортрет с помощью компьютерной программы и зеркала. Он написал одну из немногих программ в нашей лаборатории, которая визуализировала трехмерные объекты. Она работала мучительно медленно и в большей степени напоминала, как сильно мы нуждались в законе Мура, чтобы реализовать свои намерения.

В нашей лаборатории в Нью-Йоркском технологическом институте уже зарождалось двумерное цифровое производство — с помощью Tween, TintFill и Paint3, — но наша среда разработки программного обеспечения застряла в средневековье. Мы бы никогда не добрались до Фильма такими темпами. Я имею в виду не слабость нашей техники по закону Мура, а наши неэффективные программные инструменты. Мы знали, что даже при нынешнем уровне развития компьютеров можно добиться большего. Нам нужен лишь «хороший» язык программирования.

Мы с Эдом Катмуллом отлично знали, что такое плохой язык программирования. Мы оба преподавали Фортран (как мы говорили, навязанный публике компанией IBM), и оба его ненавидели. Мы заранее решили, что откажемся от него в Нью-Йоркском технологическом институте и будем программировать на утомительном ассемблере (подробнее смотрите в главе о Тьюринге), ожидая появления хорошего языка программирования.

Рис. 7.31

И однажды наше терпение вознаградилось. Мы узнали о новом элегантном языке программирования под названием C (да, всего одна буква — произносится как «си»). Он появился как часть новой операционной системы Unix. И язык, и сама система показались нам красивыми и логичными, поэтому мы сразу же купили их по специальной цене для университетов, заплатив около 100 долларов. Эду о Unix рассказал Рон Беккер, тем самым сделав еще один ценный вклад в нашу работу.

Как я объяснял в главе о Тьюринге, операционная система — это постоянно работающая программа, такая как Windows, MacOS или Android (ОS — это сокращение от operating system, «операционная система»). Ее намеренно запускают в бесконечном цикле. Она заботится о множестве повседневных дел: какие приложения запущены? сколько памяти им нужно? какие устройства ввода или вывода необходимы? есть ли аварийная ситуация с электричеством, которая требует немедленного внимания? Она справляется и с другими, так сказать, «коммунальными» проблемами. Операционная система — это очень сложная программа, для написания которой нужно обладать особым склада ума. Системные программисты — именно такие люди.

Unix создали Кен Томпсон и Деннис Ритчи из Bell Labs, а Ритчи разработал язык программирования C. В 1983 году они получили за это премию Тьюринга. Unix сейчас является одной из основных операционных систем в мире. MacOS — это ее адаптация, а C — очень популярный язык программирования. Первую копию одной из самых ранних версий Unix C привез в Нью-Йоркский технологический институт сам Кен Томпсон. Он приехал к нам на желтом Corvette Stingray прямо из Bell Labs в Нью-Джерси.

Никто из нас в Лаборатории компьютерной графики тогда особо не интересовался системным программированием и не разбирался в Unix. Нам требовался эксперт по этой операционной системе. Рон Беккер предложил нам рассмотреть кандидатуру его студента из Университета Торонто. Так мы познакомились с Томом Даффом. Он приехал на собеседование в Нью-Йоркский технологический институт в 1976 году.

Он сильно отличался от нас. Не из Юты, не из E&S или Xerox PARC и даже не американец. До его появления единственным канадцем в нашей лаборатории был сам дядя Алекс.

Том оказался на удивление застенчив. Он почти ничего не говорил на собеседовании. Следовательно, его встречи с различными сотрудниками лаборатории оказались довольно короткими и малоинформативными. Вскоре мы поймали себя на мысли, что коллективно гадаем, чем занять нашего молчаливого кандидата в оставшиеся часы до его запланированного отъезда.

Тогда кто-то предложил Тому попробовать свои силы в Unix-игре, созданной Гарландом Стерном, — текстовой игре с несколькими вариантами ответов. Правильный ответ переводил вас на другой уровень сложности Unix. Цель игры состояла в том, чтобы научить остальных, как работает Unix. Ни у кого из нас не получалось ее пройти. Мы не особо разбирались в запутанных тонкостях Unix — даже сам Гарланд, честно говоря, знал немногим больше остальных.

Когда Том услышал об игре, он схватил клавиатуру и разобрался с ней примерно за пять минут. Он справился с ней, как с легкой детской головоломкой. Очевидно, мы нашли своего эксперта по Unix! Мы вцепились в него, и до 2021 года он проработал в Pixar, гуру хакеров и великий старик. Его гений в компьютерной графике простирается далеко за пределы Unix.

Несмотря на множество разных аспектов Цифрового Света, я решил сосредоточиться только на путях, ведущих к цифровому кино. То есть я концентрируюсь на их вкладе в Великую цифровую конвергенцию. Поэтому я игнорирую всю историю программ для обработки изображений, все симуляторы и игры в реальном времени, все интерфейсы приложений и всю компьютерную графику, не предназначенную для полнометражной кинематографической персонажной анимации. По практическим соображениям — из-за ограниченного объема одной главы и моего нежелания загромождать вашу память бесконечными списками имен — я придерживаюсь маршрута, ведущего к созданию трех компаний: Pixar, DreamWorks и Blue Sky. Соответственно, за некоторыми исключениями, я почти не упоминаю многие другие компании и отдельных исследователей, вовлеченных в развитие компьютерной графики в рамках революции Цифрового Света. Это также означает, что я слегка затрону историю DreamWorks и Blue Sky.

Поскольку мой личный опыт строится по оси «Нью-Йоркский технологический институт — Lucasfilm — Pixar», именно о них я буду рассказывать гораздо подробнее. Но, даже говоря об этих замечательных местах, я не смогу изложить их историю во всех подробностях. Скорее я пойду по тем тропам истории программного обеспечения, которые ведут к цифровому кино. И эта глава, безусловно, не содержит подробной истории двух других путей: Pacific Data Images — DreamWorks и MAGI — Blue Sky. Я в большей степени стремлюсь показать их взаимодействие и влияние друг на друга, а не представить всех людей и описания всех технологий на двух других основных путях цифрового кино в начале тысячелетия.

Надеюсь, кто-то еще напишет подробные исторические исследования. Ни для DreamWorks, ни для Blue Sky пока что ничего подобного не сделано. Что же касается лет, проведенных в Нью-Йоркском технологическом институте и Lucasfilm, я едва ли смогу превзойти книгу Майкла Рубина «Создатель дроидов» («Droidmaker») 2006 года. Рубин писал ее на основании интервью с теми, кто там работал, и добился невероятной точности во всех деталях. Точно так же я рекомендую «Магию Pixar», прекрасную историю чуть более позднего периода Lucasfilm и ранних дней Pixar, книгу, изданную историком Дэвидом Прайсом в 2008 году, которую он писал на основе архивных материалов, а не журналистских уток. Здесь же я перечисляю только самые важные события в Нью-Йоркском технологическом институте и Lucasfilm и только те, которые касаются людей, сформировавших киностудию по созданию цифровых фильмов Pixar.

В частности, Том Дафф, Эд Катмулл, Дэвид Ди Франческо и я перешли в Lucasfilm, а затем в Pixar. Двое других сотрудников из Нью-Йоркского технологического института тоже пошли по нашим стопам. Малкольм Бланшар, один из первых четырех всадников, ушел из Нью-Йоркского технологического института задолго до нас, но снова присоединился к нам в Lucasfilm. Новичок Ральф Гуггенхайм, пришедший в институт почти в самом конце, сыграл ключевую роль в последующем переходе в Lucasfilm. Эд и я вместе основали Pixar, а Дэвид, Малкольм и Ральф стали сотрудниками-основателями.

Но не только мы работали над Великой цифровой конвергенцией. Наши единомышленники исследовали границы технологий в Корнелле и в MAGI.

Лаборатория компьютерной графики Нью-Йоркского технологического института располагалась на Лонг-Айленде, в нескольких милях к востоку от Нью-Йорка. К северу от города, в округе Вестчестер, находился еще один центр компьютерной графики — Mathematical Applications Group Inc. (MAGI). В 1972 году компания добавила компьютерную графику в перечень своих математических предложений. Таким образом, Нью-Йоркский технологический институт и MAGI были графическими центрами на юге штата.

Одновременно с нами на севере штата компьютерной графикой занималась группа Дона Гринберга в Корнеллском университете. В нее входили Марк Левой и другие студенты Гринберга, которые создали «Корнеллский фильм» в 1972 году.

Мы, работавшие в Нью-Йоркском технологическом институте, в течение нескольких лет один или два раза побывали в MAGI, но более тесно сблизились с корнеллцами — академической группой, такой же, как и мы. Гринберг позаботился, чтобы либо мы посещали его учреждение в Итаке, либо он и его студенты приезжали к нам в лабораторию один или два раза в год.

У нас был богатый покровитель — дядя Алекс Шуре, — поэтому в плане первоклассного оборудования мы всегда опережали Корнелл, но и он никогда не отставал. У нас появился первый в мире 24-битный кадровый буфер. Год спустя или около того им обзавелся и Корнелл. Мы сотрудничали с аниматорами Нью-Йоркского технологического института. Вскоре Марк Левой из Корнелла начал работать с мультипликационной компанией «Ханна-Барбера», прославившейся «Флинтстоунами». Наконец, в 1978 году я опубликовал статью с описанием алгоритма преобразования цвета HSB (также известного как HSV), который реализовал в 1974 году в Xerox PARC. В том же журнале вышла статья про аналогичный алгоритм Джорджа Джоблова из Корнелла.

Отношения с MAGI тоже постепенно выстраивались. Все началось с Дэвида Ди Франческо, который искал для лаборатории записывающее устройство с качеством, подходящим для фильма. Вскоре круг его поисков сузился до двух компаний: Celco и Dicomed. По той же причине (компьютерная анимация) в MAGI интересовались видеомагнитофоном и рассматривали Celco. Получилось так, что Карл Людвиг, консультант Celco, назначил встречу в MAGI. Таким образом, примерно в 1975 или 1976 году у нас состоялся первый продолжительный контакт с MAGI. В конце концов Дэвид остановил выбор на Dicomed. Но он подружился с Карлом Людвигом на всю жизнь, и мы впервые увидели MAGI изнутри. А десять с хвостиком лет спустя Карл стал соучредителем Blue Sky Studios.

В Xerox PARC в 1974 году я сделал видеоарт с использованием цветной растровой графики. Я назвал его Vidbits. После моего возвращения из Калифорнии в Нью-Йорк он стал моей визитной карточкой. Я демонстрировал его в местном художественном сообществе — там никто прежде не видел ничего подобного.

Поэтому, когда известный художник Эд Эмшвиллер посетил Нью-Йоркский технологический институт, чтобы снять фильм, я ухватился за подвернувшийся шанс. Эмш начинал творческую карьеру в Париже с абстрактной живописи. В 1950-х годах он сделал себе имя, рисуя обложки для журналов Galaxy и The Magazine of Fantasy & Science Fiction. Затем он открыл для себя 16-миллиметровое кинопроизводство и занял лидирующие позиции в этой области. А потом и в видеоарте. И даже в видеодиск-арте.

Мы услышали об Эмше из телевизионной передачи PBS, посвященной искусству, — и с удивлением узнали, что он живет на Лонг-Айленде, в соседнем Левиттауне! Кто-то сказал: «Давайте пригласим его к нам», — а я ответил: «Кажется, нам не стоит утруждаться. Он сам нас найдет».

Так и получилось. Очевидно, Эмшвиллер следил за развитием высоких технологий и новых медиа. Однажды он, как и предполагалось, появился в лаборатории и объявил, что получил стипендию Гуггенхайма на создание трехчасового фильма. Он хотел разделить ее с нами, но по срокам требовалось уложиться в шесть месяцев. Мы покатились со смеху. Пришлось объяснять расстроенному и озадаченному художнику, что мы все еще на самом раннем этапе развития. Если повезет, то за шесть месяцев получится сделать примерно три минуты.

Но мы не боялись сложных задач. Так начался второй в моей жизни важный совместный художественный проект после нашей работы с Дэвидом Ди Франческо. Я, технарь с художественными наклонностями, обожал искусство. Эмш, художник с техническими наклонностями, обожал новые технологии. Я нашел с ним общий язык, как и с Дэвидом.

Наш рабочий процесс протекал следующим образом. Эмш описывал художественную концепцию. Например, сначала он предложил сделать человеческое лицо, пробивающееся сквозь каменную глыбу. Я ответил, опираясь на наши технические возможности и закон Мура: «Когда-нибудь мы сможем это сделать, Эмш, но не сейчас. Но если вы немного измените свою концепцию, тогда все получится». Я объяснил, что могу сделать двумерное изображение лица, возникающее из плоского камня, если смотреть только строго анфас. Тогда он сказал: «Ну, если ты можешь сделать это, тогда как насчет…» — и так далее. Мы перебрасывались идеями, пока не пришли к обоюдному варианту художественной концепции, доступной для реализации в эпоху мучительно медленных вычислений. Получился еще один джем-сейшн. На рисунке 7.32 (слева) мы за работой (Эмш справа) над «Sunstone». Изображение солнца магически зависло перед нами в пространстве за пределами цветного дисплея, потому что камеру слегка сдвинули в процессе съемки с двойной экспозицией — свет в комнате включали, чтобы заснять нас, а затем выключали, чтобы получилось изображение на экране. Мы оба пришли к выводу, что возникший «технический брак» идеально отражает ход нашего творчества.

В работе принимали участие еще двое моих коллег по лаборатории, Лэнс Уильямс и Гарланд Стерн. Лэнс добавил плавно плавающий по экрану язык, а Гарланд сделал двумерную оцифровку в реальном времени аналоговой видеозаписи, запечатлевшей сына Эмша, Стони (в его честь фильм и получил название). Гарланд использовал ту же методику оцифровки видеокадров и то же оборудование, которое применялось для работы с рисунками аниматоров в системе «сканируй и раскрашивай». Он взял пиксели из реального мира с монохромной видеокассеты, а не сделал их на компьютере. Но он прогнал набор из серых пикселей через 8-битную цветовую карту для получения эффекта псевдоцветной радуги. Таким образом, в фильме «Sunstone» смешивались обработанные изображения и компьютерная графика Цифрового Света.

«Sunstone» стал первым образцом цветной растровой графики в коллекции нью-йоркского Музея современного искусства. Это не цифровое видео (такового еще не существовало), но каждый кадр в нем — это растр из пикселей, а следовательно, Цифровой Свет. Только сам носитель еще не был цифровым. И не мог стать таким до Великой цифровой конвергенции, когда в 1998 году появился стандарт HDTV — телевидения высокой четкости.

Для создания «Sunstone» мы использовали три различные технологии Цифрового Света: двумерные интерактивно нарисованные пиксели, оцифрованное видео в реальном времени и трехмерную компьютерную графику, сделанную не в реальном времени.

Нарисованные пиксели создавались с помощью Paint3. Пиксели из видео оцифровывались в режиме реального времени с помощью системы, которую Гарланд Стерн сделал для аниматоров Нью-Йоркского технологического института. Но в 1979 году силы закона Мура еще не хватало для рендеринга полноценных длительных трехмерных анимационных сцен из нескольких объектов с удалением артефактов дискретизации. Конечно, нечто похожее уже появлялось, но еще не было полноценной реализации. Поэтому я написал программу под названием Texas (сокращение от Texture-Applying System — Система наложения текстур). Она упрощала наш воображаемый мир до двумерных плоскостей, встроенных в трехмерное пространство. Я называл каждую плоскость «планом», как в сценической постановке, а все вместе они образовывали «набор декораций». На каждом плане отображалась картинка в виде текстурной карты. При изменении текстуры в каждом кадре на плане отображалась двумерная анимация, перемещавшаяся в трехмерном пространстве. В трехмерной сцене допускается какое угодно расположение планов. В этом стилизованном мире действовала Центральная Догма: виртуальная камера располагалась за сценой, и все, что открывалось ее обзору, преобразовывалось с учетом линейной перспективы в окончательные кадры для видеоизображения.

Рис. 7.32

Чтобы вы осознали, какие мучения мы претерпевали (даже с ограничениями в виде плоских планов), скажу лишь, что рендеринг последовательности взрывающихся кубов в «Sunstone» занял 56 часов, хотя на экране она длилась всего 18 секунд. Но это была трехмерная растровая графика с текстурным отображением и полным сглаживанием. На трех гранях куба, вращающегося в пространстве, демонстрировалась двумерная анимация: одна грань содержала анимацию, нарисованную вручную Эмшем, другая — видео в реальном времени, снятое Гарландом Стерном, а третья — анимированное солнце, которое сделал я.

Эмш покинул лабораторию в конце 1979 года, чтобы стать ректором Калифорнийского института искусств, той самой первой частной высшей школы, которую Уолт Дисней специально основал, чтобы готовить аниматоров для своей студии. Вначале я ездил туда, чтобы повидаться с Эмшем, а в 1990 году приехал, чтобы поделиться воспоминаниями о нем и оплакать его смерть вместе с сотнями других людей. Калифорнийский институт искусств будет иметь огромное значение для нашей истории. И тот стиль работы, который практиковали мы с Эмшем, предвосхитил сочетание художественного и технического творчества, которое в итоге так замечательно сработает в Pixar.

На протяжении последних двух лет в Нью-Йоркском технологическом институте происходили тревожные события. Эд Катмулл пригласил на работу Джима Кларка, доктора наук из Юты, чтобы тот разработал в нашей лаборатории наголовный дисплей, такой же, как у Айвена Сазерленда. Благодаря присутствию Джима мы обнаружили, что наш покровитель дядя Алекс тоже был мелким тираном, хотя и не шел ни в какое сравнение с Наполеоном, Сталиным или Дядей Сэмом.

Появление Джима стало для меня большой неожиданностью. Он приехал из Техаса и говорил с тем же южным акцентом, что и я. Мы как земляки быстро нашли общий язык. Он вырос в Плейнвью, штат Техас, примерно в 80 милях к востоку от моего родного города Кловис, штат Нью-Мексико. Однако на этом наше сходство заканчивалось. Джима выгнали из средней школы Плейнвью за драку. Он поступил на службу в военно-морской флот, где результаты теста на интеллект показали, что он очень умный человек. Поэтому он продолжил учебу в вечерней школе, добился приглашений от нескольких колледжей, а в итоге получил докторскую степень по компьютерной графике в Университете Юты.

Но в Нью-Йоркском технологическом институте работа у него не задалась. Он почти сразу испортил отношения с Александром Шуре. По прошествии многих лет я понимаю, в чем причина. В отличие от остальных сотрудников нашей лаборатории, Джим обладал мощным предпринимательским даром. Шуре увидел в нем конкурента, а не сотрудника. Джим быстро обнаружил проблему, понял, что не найдет общего языка с Шуре, и приступил к поискам другой работы. Письма потенциальным работодателям он писал прямо в лаборатории на текстовом процессоре, который совсем недавно вошел в обиход.

Однажды утром Шуре ворвался в лабораторию, размахивая ворохом распечатанных писем, обвинил Джима в намерении украсть наши секреты и реализовать их в другом месте, после чего объявил о его увольнении. Нам все происходящее казалось какой-то чудовищной нелепицей. Джим ни от кого не скрывал, что ищет другую работу. И он был слишком умен, чтобы пытаться украсть наши технологии. Наш «секрет» заключался в лучшем на тот момент аппаратном обеспечении. Все идеи, реализованные на этом оборудовании, были общественным достоянием. Короче говоря, мы не поверили обвинениям дяди Алекса.

Мы также недоумевали, откуда взялись распечатки. Сам дядя Алекс вряд ли стал бы заниматься цифровым шпионажем. Напрашивался только один вывод: у нас в лаборатории завелся крот! Мы строили догадки, но так ничего точно и не узнали. Это, впрочем, уже не имело значения, поскольку увольнение Джима открыло для нас новую ипостась Александра Шуре — злую и мстительную. Он поступил с нашим другом несправедливо, поэтому у каждого в голове зажегся предупредительный красный сигнал. Что касается предпринимателя Джима Кларка, то он впоследствии стал сооснователем Silicon Graphics, компании по производству аппаратного обеспечения, сыгравшей важную роль в развитии компьютерной графики, а затем Netscape, компании-первопроходца в области интернет-браузеров.

Наши сомнения относительно Шуре и его способности снять цифровой фильм росли. Мы с Эдом и раньше почти каждый год бывали в студии Disney. Мы полагали, что лучше бы нас финансировал Дисней, а не Шуре. Все-таки его анимационная компания лидировала на рынке, мы оба обожали ее мультфильмы в детстве, и, конечно, там водились огромные деньги. Мы не сомневались, что сам Уолт, будь он жив, поддержал бы нас, не колеблясь ни минуты. Но каждый год в студии Disney повторялась одна и та же история. Сначала нас спрашивали: «Мальчики, а вы умеете делать мыльные пузыри?» Нет, тогда мы еще не умели, но на следующий год они обнаруживали, что мы не можем делать что-то еще, например пар или дым. В очередной поездке в январе 1977 года нас с Эдом сопровождал Дик Шауп.

Мы встретились с Доном Дакволлом (да! Дональд Дакволл!), руководителем отдела анимации, и провели для него семинар. Из моих заметок:

Но самое большое удовольствие во время визитов в студию Disney мы получали от общения с великими стариками: аниматорами Фрэнком Томасом и Олли Джонстоном. Им мы тоже показывали наши штуки.

Фрэнк и Олли оставались нашими преданными друзьями до самой смерти, когда им обоим было далеко за девяносто.

Однако технические специалисты Disney точно знали, что мы можем, а что не можем. Один из них, Дэйв Снайдер, посоветовал нам особо не рассчитывать на позитивные решения нынешних руководителей студии. Они нас не поддержат. С другой стороны, он уточнил: «Аб мог бы». Айверкс был в некотором смысле соучредителем Disney вместе с Уолтом, и Снайдер открыто восхищался им.

Самый неловкий из визитов в студию Disney произошел ближе к концу нашей работы в Нью-Йоркском технологическом институте. Александр Шуре отправился туда примерно через неделю после нас. «О, Эд и Элви только что были здесь», — сказал ему кто-то из сотрудников, о чем нам позже с тревогой сообщили по телефону. Дядя Алекс никогда не упоминал об этом, и мы тоже держали язык за зубами. Очевидно, что из обоих визитов ничего не вышло, но мы переживали после увольнения Джима Кларка.

Группе компьютерной графики из Нью-Йоркского технологического института удалось избежать участия в производстве «Табби Тубы» (1975) (рис. 7.33). Мы с Дэвидом Ди Франческо работали над концепциями титров, но, к счастью, они так и не пригодились. Однажды нас всех пригласили в кинозал MGM на Манхэттене на первый показ «Табби». Это было ужасно. Там наличествовало все, что могло пойти не так в классическом анимационном фильме, — например, пыль в кадрах и тени под нарисованными линиями.

Но «Табби» все же выполнил одну задачу — вдохновил ви́дением, которое долгие годы будет вести нас вперед. Конечно, не сам «Табби», а процесс его производства. Рутинные подробности технического процесса, когда мы вникли во все его детали, дали нам понять, что компьютеры станут прекрасными ассистентами кинопроизводства, ведь они облегчают рабочую нагрузку, отслеживают запутанную логистику и повышают качество. Отсюда мы закономерно перешли к мысли, что у нас есть шанс когда-нибудь стать первой командой, которая сделает полностью компьютерный фильм. Лэнс Уильямс вскоре предложил идею фильма под названием «The Works» с роботом по имени Ипсо Факто (латинское выражение, означающее «само по себе») в главной роли. Но мы с Эдом произвели предварительные расчеты по закону Мура и поняли, что на тот момент его задумка неосуществима. Никто из нас не догадывался, что до реализации идеи первого полностью цифрового фильма пройдет еще целых 20 лет.

Рис. 7.33

Почему она заняла так много времени? Основная загвоздка заключалась в недостаточном уровне развития техники по закону Мура. Но мы знали, что со временем проблема решится. С технической точки зрения нам предстояло преодолеть несколько ключевых трудностей. Самая важная из них — проблема размытия движения. С художественной точки зрения нам требовалось придумать, как наиболее деликатно связать художников с нашими машинами. На примере программы Tween мы убедились, что сложный интерфейс работает плохо. Нам пришлось освоить новый способ анимации трехмерных объектов. А еще мы искали художников, которые смогли бы работать с нашим оборудованием и программным обеспечением.

Затем внезапно Земля совершила оборот — больший, чем обычно. Однажды утром в начале 1979 года с Ральфом Гуггенхаймом из Нью-Йоркского технологического института связался Джордж Лукас из Lucasfilm. Ну, не сам Лукас, а его представитель, Боб Гинди.

Мы предполагали, что однажды нам позвонят из студии Disney, но этот звонок стал полной неожиданностью. О Лукасе мы знали лишь то, что его «Звездные войны» (1977) поразили всех — а особенно нас — своими визуальными эффектами. Ходили слухи, что при создании фильма использовались компьютеры, но мы точно не знали, как именно. Мы определенно заметили, что он использовал сгенерированную компьютером черно-белую каллиграфию нашего друга Ларри Кубы для планирования нападения на Звезду Смерти. Джордж Лукас достиг успеха в режиссуре, в отличие от Александра Шуре. Возможно, это был наш шанс?

По словам Ральфа, Гинди позвонил ему в январе или феврале 1979 года и, представившись начальником производственного отдел студии Lucasfilm, сказал, что Джордж Лукас хочет модернизировать киноиндустрию с помощью компьютерных технологий.

— У Джорджа есть четыре проекта, которые он хочет развивать.

— Хорошо, какие? — спросил Ральф.

Гинди упомянул компьютеризированный монтаж, компьютеризированную обработку и микширование звука, а также компьютеризированные спецэффекты.

— А четвертый? — спросил Ральф.

— Компьютеризированный бухгалтерский учет, — заявил Гинди так, будто речь шла о не менее сложной технологической задаче, чем три других. И он продолжал пересыпать разговор соблазнительными намеками о прекрасной жизни в калифорнийском округе Марин и высокой стоимости местной недвижимости.

— Извините, напомните, какая у вас должность? — уточнил Ральф.

— Ну, я возглавляю отдел недвижимости у Джорджа, — признался Гинди. — В нашей компании никто ничего не знает о компьютерах, поэтому я позвонил главе компьютерного отдела Стэнфорда, — продолжил он. — Когда я описал, чего хочет Джордж, он сказал: «На самом деле мы здесь таким не занимаемся, но вам следует связаться с Раджем Редди из Университета Карнеги — Меллона. Он увлекается графикой».

Ральф Гуггенхайм недавно выпустился из Университета Карнеги — Меллона, и Редди его хорошо знал. Именно он перенаправил Гинди в Нью-Йоркский технологический институт. Мы с Эдом сидели в одной из комнат Gerry House, особняка Нью-Йоркского технологического института, где располагалась лаборатория, когда Ральф ворвался с известием о звонке Лукаса (конечно, имея в виду звонок Гинди). Из-за недавнего инцидента с Джимом Кларком мы попросили Ральфа немедленно замолчать и закрыть дверь, прежде чем он успел сказать что-нибудь еще.

Лишь значительно позже мы узнали, что Лукас вовсе не собирался использовать в своих фильмах наш опыт и экспертизу в компьютерной графике. Он просто искал специалистов для модернизации парка машин, используемых Голливудом, и помощи с логистикой кинопроизводства. Но мы вообразили, будто Лукас хочет найти кого-нибудь, чтобы делать контент для его фильмов, как Ларри Куба. В конце концов, в списке Гинди «компьютеризированные спецэффекты» занимали такое же место, что и бухгалтерия.[43]

Немного позже установились официальные контакты, выражающие заинтересованность. Из-за потенциального наличия крота мы с Эдом не доверяли компьютерам в лаборатории. Мы отправились из кампуса в близлежащий городок Глен-Коув, где взяли напрокат одну из этих гигантских старинных черных пишущих машинок из чугуна, напоминающих немецкую «Энигму». Затем мы отправились домой к Эду, чтобы написать письмо в Lucasfilm.

Это самое важное письмо в нашей жизни. В течение нескольких часов мы с Эдом тщательно составляли текст, а я печатал. До сих пор жалею, что мы не сохранили копию этого письма. Но некоторые моменты я помню. Один был особенно необычным. Мы обладали самой продвинутой лабораторией в мире и не хотели оказаться в худших условиях. Поэтому мы настаивали, чтобы кто-нибудь из Lucasfilm посетил Нью-Йоркский технологический институт и посмотрел, как хорошо — даже роскошно — у нас все организовано. И мы дали понять, что визит должен быть анонимным. И люди со студии Lucasfilm действительно нанесли визит в лабораторию, но вряд ли он получился анонимным. К нам приехал управляющий недвижимостью Боб Гинди, человек довольно скромный, но его сопровождал Ричард Эдлунд, руководитель отдела спецэффектов Lucasfilm, обладатель премии «Оскар». Эдлунд носил ремень, на гигантской пряжке которого красовалась крупная надпись «Звездные войны». Эд и я насторожились, но продолжили демонстрацию. Естественно, по поводу пряжки каждый встречный отпускал остроумные замечания, но, кажется, никто не догадался сделать очевидный вывод.

Я спросил Эдлунда, как он собирается провести остаток этого важного дня. Был ли он когда-нибудь на Манхэттене? Нет, не был. Я собирался гулять весь вечер и пригласил его присоединиться. «У меня нет конкретного плана. Я просто хожу и смотрю, что происходит». Он принял мое предложение. Большую часть ночи мы бродили по Манхэттену. Стояла теплая погода, и на улицах было многолюдно. Орудовали шулеры, зазывавшие прохожих угадать одну из трех карт, и Эдлунд сфотографировал их за работой. Мы зашли в Гринвич-Виллидж и попали на концерт авангардной музыки. Мы болтали о разном и, наконец, около четырех утра завершили прогулку в кофейне, наслаждаясь аффогато. Я полагал, что возникшая в тот вечер симпатия приведет к теплому приему в Lucasfilm. Мне даже не пришло в голову, что Эдлунд не искал у нас контент, а изучал наш опыт работы с аппаратным и программным обеспечением.[44]

Вскоре нас с Эдом пригласили посетить штаб-квартиру Lucasfilm, The Egg Factory, в Лос-Анджелесе. Мы отправились туда и встретились с президентом Lucasfilm Чарльзом Уэббером. Мы не встретились с Джорджем Лукасом, но добились определенного прогресса. Впоследствии Эда пригласили во второй раз для встречи с самим Лукасом в округе Марин, недалеко от Сан-Франциско, — там вскоре разместится новая штаб-квартира Lucasfilm.

По итогам второй встречи Лукас пригласил Эда работать у него. По словам Эда, Лукаса впечатлило, что Эд перечислил всех наших конкурентов в качестве альтернативных кандидатов, в то время как ни один из них не упоминал ни нас, ни других. Эд ушел из Нью-Йоркского технологического института в середине 1979 года, чтобы начать реализовывать концепцию Лукаса, касающуюся аппаратного и программного обеспечения студии, а мы продолжали верить, что Лукас использует наши цифровые изображения в своих фильмах.

Итак, наш план был таков: устроить туда Эда. Сделано. Затем, как только получится, он пригласит туда меня, а также Дэвида Ди Франческо. Мы не собирались грабить Нью-Йоркский технологический институт или забирать с собой какие-либо технологии.

Чтобы выполнить наш план и избежать судебного преследования со стороны Шуре, мы с Дэвидом, как мы выражались, «отмыли» себя, покинув лабораторию в октябре 1979 года и устроившись работать к нашему старому другу Джиму Блинну в Лабораторию реактивного движения в Пасадене. Мы работали с ним над телесериалом Карла Сагана «Космос». С Нью-Йоркским технологическим институтом произошел окончательный рызрыв, и именно так все это и воспринимали. Мы открыто заявили Бобу Хольцману, начальнику Джима, что уволимся, как только Эд позовет нас в Lucasfilm. Он сказал: «Возможно, я смогу изменить ваше мнение». «Мы так не думаем», — ответили мы. Lucasfilm притягивала нас. Это была настоящая кинокомпания.

За несколько месяцев, на протяжении которых Эд в одиночку разбирался с ситуацией в Lucasfilm, он решил запустить три проекта по аппаратному обеспечению — компьютерную графику, цифровое аудио и видеомонтаж, — чтобы выполнить требования Лукаса (через год или около того Лукас попросил добавить четвертый проект — игры). Уже тогда нам стоило бы заметить, что вопрос о цифровом контенте даже не стоял. Опять же, мы просто решили, что это само собой разумеется.

Поскольку предполагалось, что я возглавлю отдел компьютерной графики, Эд начал присылать мне резюме кандидатов, когда я еще работал в Лаборатории реактивного движения. Просочилась информация о неких событиях, происходящих в Lucasfilm. Эд начал более серьезные переговоры с Дэвидом о разработке устройства для чтения и записи на кинопленку, которое бы очень пригодилось нам в Lucasfilm. Кинопленка по-прежнему оставалась незаменимым носителем киноизображения, и нам предстояло адаптировать под нее нашу цифровую технологию.

Долгожданный звонок от Эда наконец раздался в начале 1980 года, и я присоединился к нему в Lucasfilm. Через пару недель мы позвонили Дэвиду. Мы делили офис с Марсией Лукас, женой Джорджа, над небольшим антикварным магазином в городке Сан-Ансельмо, округ Марин, куда ведет мост Золотые Ворота из Сан-Франциско. Эд официально назначил меня директором Проекта компьютерной графики, входящего в компьютерное подразделение студии, которым он руководил в целом. Проект цифрового устройства записи на пленку, которым занимался Дэвид, тоже входил в состав Проекта компьютерной графики.

Мы с Эдом приступили к наполнению нашей части мира Lucasfilm сотрудниками. Это было несложно. Все хотели работать в кино. Например, когда мы приехали к Энди Муреру в Стэнфорд, чтобы предложить ему возглавить Проект цифровой звукозаписи, он вскочил со стула, как только мы вошли, и, прежде чем мы успели сказать хоть слово, объявил на всю комнату: «Если вы здесь по той причине, что я думаю, то ответ — да!»

Основная задача, стоящая перед Проектом компьютерной графики, заключалась в замене оптического пленочного принтера цифровым эквивалентом. В 1980 году оптический принтер был, пожалуй, самым недооцененным инструментом в Голливуде. Но он имел принципиально важное значение для создания спецэффектов. При помощи этого аналогового способа создавались композитные изображения в первых «Звездных войнах». Оптический принтер объединяет изображения с нескольких кинопленок в одну. Например, мчащийся в космосе звездолет снимается путем перемещения физической модели перед синим экраном. Затем в оптическом принтере синие части кадра меняются на кадр, изображающий звездный фон в космосе. Или несколько отдельных космических кораблей накладывались, скажем, на пояс астероидов на космическом фоне. Для их цифровой компоновки мы использовали альфа-канал — неудивительно, правда? Лазерный сканер-принтер Дэвида должен был стать устройством ввода-вывода для цифрового оптического принтера, который мы собирались построить.

Дэвид Ди Франческо нацелился на лазерный пленочный сканер, способный считывать и записывать пленку. Но никто никогда раньше не создавал ни сканера, ни лазерного принтера для 35-миллиметровой цветной кинопленки. Дэвид взялся за эту задачу со всей тщательностью, для страховки начав разрабатывать сразу два таких устройства, основанных на конкурирующих лазерных технологиях. Тем самым он заложил основу для своего волшебного превращения из художника и любителя мотоциклов в эксперта по сканерам, лазерным принтерам и цифровой фотографии.

И, конечно, в Lucasfilm нам были нужны кадровые буферы. Вскоре я заключил контракт на создание четырехканального кадрового буфера с Ikonas Graphics Systems из Северной Каролины — компанией, принадлежащей Нику Ингленду и Мэри Уиттон, крутой супружеской паре разработчиков графической аппаратуры. Так появился первый коммерческий графический компьютер с альфа-каналом в качестве стандартного оборудования. Он стал аппаратной основой для программы рисования в пространстве RGBA Тома Портера — той самой, со сплайнами, которая так поразила Рави Шанкара в главе 6.

Алекс Шуре сильно удивил меня, продав программу для рисования, разработанную Нью-Йоркским технологическим институтом, расположенной к югу от Сан-Франциско компании Ampex, где изобретены первые видеокассеты. Самое удивительное, что продал он не мою продвинутую 24-битную программу Paint3, а гораздо более простую 8-битную версию. Ее адаптацией к продукту Ampex под названием Video Art (AVA) занимался молодой программист Том Портер, получивший образование в Стэнфорде. Так что я нанял Тома, моего первого сотрудника Проекта компьютерной графики, чтобы написать программу рисования для Lucasfilm.

Программа для рисования создает цветные пиксели напрямую, в отличие от метода, основанного на Центральной Догме, который визуализирует их из трехмерной компьютерной модели, представленной в перспективе. Paint3 рисовал гораздо большим количеством цветов, чем Paint. Но гораздо важнее прямого доступа к миллионам оттенков возможность делать плавный переход между цветом, которым рисует кисть с мягкими краями, и любыми фоновыми цветами, уже находящимися в кадровом буфере. В результате между мазками краски и фоном не появлялось жестких зубчатых границ, как у Paint с его 8-битным кадровым буфером и всего 256 цветами, доступными в одном изображении.

Работая в Lucasfilm, Том вышел за пределы и 8-битной Paint, и 24-битной Paint3, чтобы написать первую в мире программу для рисования в пространстве RGBA. Она могла рисовать альфа-канал. Когда вы проводите 24-битный штрих с мягкими краями в цветных (RGB, то есть красный, зеленый, синий) каналах кадрового буфера, вы одновременно рисуете непрозрачность каждого пикселя в альфа-канале (A). В Paint3, как только штрих нарисован, он навсегда остается частью изображения. Но в системе RGBA он доступен для повторного использования на других фонах. Именно таким образом штрихи в форме сплайнов, как тот, что я демонстрировал Рави Шанкару, наносились на произвольный фон и могли использоваться повторно. Чтобы иметь полный контроль над цифровым изображением, мы должны иметь полный контроль над его альфа-каналом. RGBA Paint с 32-битными пикселями стал одним из таких важных инструментов, включающим новый альфа-канал в каждое изображение.

Разрабатывая наш цифровой оптический принтер в Lucasfilm в начале 1980-х годов, мы решили создать для него специализированный компьютер, который будет работать в четыре раза быстрее, чем компьютер общего назначения. Дело в том, что наши данные представляли собой пиксели RGBA, и, соответственно, мы могли проводить вычисления для всех четырех каналов пикселя одновременно и параллельно. Это был бы компьютер специального назначения только в том смысле, что он бы предполагал, что его данные представляют собой пиксели. В противном случае это был бы компьютер общего назначения, просто способный к вычислениям чего угодно параллельно в четырех каналах. Другими словами, наш компьютер будет компьютером общего назначения для пикселей. И именно его мы построили.

Фактор четырех каналов — это не увеличение на порядок, но все же существенное ускорение. Машину, вскоре получившую называние Pixar Image Computer, предполагалось использовать как временную замену при нехватке дополнительной вычислительной мощности, пока мы не получим ее в соответствии с законом Мура на любом обычном компьютере. Я не буду подробно останавливаться здесь на этом устройстве, потому что из-за действия закона Мура оно довольно быстро устарело. Однако на какое-то время оно обеспечило нам больше вычислительной мощности, чем любое другое средство компьютерной графики. Но откуда взялось это название?

Однажды, когда мы перекусывали гамбургерами во время обеденного перерыва, я предложил четверым моим сотрудникам из группы графики взять за основу слово лазер и назвать нашу новую машину словом, похожим на испанский глагол. Я, уроженец Нью-Мексико, объяснил им, что испанский глагол должен оканчиваться на — ir, — er или — ar. Я предложил слово pixer, означающее «нарисовать» или «сделать рисунок» (по-испански произносится как «пиикс эйр»). Лорен Карпентер, один из четверых участников беседы, сказал: «Знаешь, Элви, слово „радар“ звучит очень высокотехнологично». И я ответил: «Ну,[45]pixar — это тоже вполне испанская форма». Я произнес это слово как «пиикс ар». Вот и все. У машины теперь появилось имя, существительное, похожее на (несуществующий) испанский глагол, означающий «делать рисунки». Мы быстро перешли от псевдоиспанского произношения к привычному «пикс ар». Это слово, первоначально послужившее названием специализированного аппарата для Lucasfilm, сыграет важную роль в нашем будущем, как и Лорен Карпентер.

Лорен Карпентер прислал самое впечатляющее резюме из всех, которые я просмотрел, пока «отмывался» в Лаборатории реактивного движения. Он отправил даже не резюме — просто несколько цветных фотографий 8 на 10 с компьютерными изображениями горы, напоминающей гору Рейнир в Сиэтле, неподалеку от офиса Boeing, где он работал. Очевидно, что Лорен освоил мастерство создания фракталов, нового способа моделировать природные сцены (такие, как заснеженные горы) с убедительными естественными деталями. Лорен — очень умный парень. Он отлично знал, что ему нужно лишь показать нам фотографии, и мы сразу всё поймем. Конечно же, мы захотели заполучить его!

Я тут же позвонил ему, но Лорен отказался что-либо обсуждать, пока я не увижу компьютерный анимационный фильм, который он делал для предстоящей Siggraph, большой ежегодной конференции по компьютерной графике, которая намечалась в конце лета 1980 года в Сиэтле. Мы с Эдом сидели в первом ряду, когда Лорен показывал свой короткометражный фильм «Vol Libre». В нем демонстрировались фрактальные горы — с чайником, утопающим в огромном «естественном» ландшафте, — и, когда зажегся свет, аудитория взорвалась аплодисментами. Сразу после его короткого выступления я бросился на сцену и потребовал: «Сейчас?» «Сейчас», — ответил он. Мы сразу же взяли его в Lucasfilm.

Рис. 8.1

Фракталы — отличный способ использования Усиления для превращения одного треугольника графической модели в миллионы. Эта простая идея показана на рисунке 8.1. Единственный явный шаг, который делаем мы, жалкие человеческие существа, показан в верхнем ряду: мы берем точку на одной из сторон и смещаем ее в трех измерениях на небольшую величину. Например, мы поднимаем среднюю точку над плоскостью исходного треугольника на расстояние, незначительное по сравнению с длиной стороны. Точно так же смещаем точки на двух других сторонах. Фактическое смещение в каждом случае происходит в случайном направлении и на произвольное расстояние, а получившиеся точки соединяются друг с другом прямыми линиями. Другими словами, исходный треугольник заменяется четырьмя меньшими треугольниками, как показано на рисунке, и они оказываются в трехмерном пространстве вместо плоскости. Это шаг 1.

Наша человеческая работа завершена. Компьютер со своей потрясающей способностью Усиления вступает в игру и применяет тот же трюк к каждому из четырех треугольников, только что созданных на шаге 1. В результате получится первая картинка слева в нижнем ряду. Четыре треугольника превращаются в шестнадцать. Это шаг 2. Затем компьютер делает то же самое с каждым треугольником, созданным на шаге 2, чтобы получить второе изображение в нижнем ряду. И так далее, пока наш первоначальный треугольник не станет очень похож на гору. Усиление заменило один треугольник в нашей модели на 1024 треугольника всего за пять шагов. Каждый шаг становится все труднее для человека, но не создает проблем для компьютера. За десять шагов фрактальная техника превращает наш маленький треугольник в гору из более чем миллиона треугольников. А пятнадцать шагов дадут более миллиарда крошечных треугольников. Трудно найти более яркий пример потрясающей работы Усиления. Это также свидетельствует, как легко нас одурачить сложностью.

Лорен прислал мне фотографии фрактальной горы, созданной именно таким образом. Он раскрасил каждый треугольник в соответствующий цвет, чтобы рисунок выглядел как заснеженная гора землисто-коричневого и древесно-зеленого цветов. Было очевидно, что он мастер фрактальных технологий.

Теперь мы знали, как делать горы, но еще одна проблема заключалась в том, что поверхности объектов компьютерной графики всегда казались сделанными из пластика. Посмотрите на пример затенения Фонга с шагом 10X, примерно 1973 год (рис. 7.19). Шар блестяще-синий, с белым, резко очерченным бликом. Он похож на синий пластиковый мяч.

В то время бытовало немало предубеждений о том, как должны выглядеть компьютерные изображения. Люди полагали, что все, созданное на компьютере, будет выглядеть жестким, зубчатым или граненым — одним словом, «компьютерным». По мере устранения проблемных характеристик понятие «компьютерное» эволюционировало, и новым стандартом для внешнего вида компьютерных изображений стало «пластмассовое». Нашему стремлению сделать кино на компьютере вряд ли бы помогло то, что слово пластмассовое по отношению к компьютерной графике воспринималось как синоним примитивного или искусственного.

Однако Роб Кук, один из аспирантов Дона Гринберга в Корнелле, придумал, как преодолеть «пластмассовость». Его новая техника позволяла визуализировать поверхности, которые казались сделанными, скажем, из меди, дерева или алюминия, а не из пластика. Он включил в компьютерную графику больше физики, а именно взаимодействие света с материалами. Цвет светового блика и его форма дают людям представление о материале, отражающем свет. Матовый он или глянцевый — тоже имеет значение. Все это относится к факторам внешнего вида компьютерной модели. С появлением этого понятия затенение приобрело еще большее значение.

Этот парень тоже должен присоединиться к нам! Поэтому я позвонил Робу и предложил ему работу. Он уточнил, сможет ли на некоторое время остаться в Корнеллском институте и получить степень магистра. «Предложение в силе только сейчас», — ответил я, и он согласился. Позже я узнал, что Дон Гринберг собирался организовать бизнес, основанный на огромном таланте Роба. Однако он счел несправедливым лишать того возможности присоединиться к замечательной группе в Lucasfilm, хотя и очень сожалел об этом. Тем не менее Роб в итоге получил степень у Гринберга.

В Lucasfilm гений Роба Кука расцвел. Он довел процесс затенения до концептуального предела с помощью языка затенения, или шейдинга. То есть он создал грамматику для разговора о затенении. Переход от программ, написанных под конкретную задачу, к языку — это всегда значительный прогресс в компьютерных науках. С похожей идеей от Кука немного отстал Кен Перлин из Нью-Йоркского университета.

Компьютерные вычисления, как описано в главе о Тьюринге, — это список тщательно определенных шагов, выполняющих бессмысленные действия, такие как замена каждой единицы на 0 и наоборот или сдвиг всех битов на одну позицию вправо. Сам Тьюринг сделал первый шаг к компьютерному языку, предложив понятие подпрограммы: короткий список бессмысленных шагов, который часто используется, получает имя; тогда программист может думать о вычислениях как о списке таких подпрограмм, а не как о лежащих в их основе утомительных пошаговых инструкциях.

Я сравниваю понятие подпрограммы с разбиением книги на главы, глав на абзацы, а абзацев на слова. Такая иерархия помогает нам отслеживать огромное количество крошечных бессмысленных шагов — или слов в случае с книгой. Программист обычно знает и бессмысленные шаги, и подпрограммы, как автор знает и слова, и их организацию в абзацы и главы.

Следующий уровень — переход к языку — лишает нас необходимости знать о лежащих в его основе бессмысленных шагах. Мы можем мыслить терминами, имеющими значение для конкретной области, например для затененной или визуализированной компьютерной графики. «Термины» реализованы в виде подпрограмм с фиксированными именами. Но пользователям языка, состоящего из них, не обязательно знать механизм их реализации. Им достаточно уверенности, что она сделана правильно.

Рассмотрим популярную программу обработки текстов Microsoft Word, с помощью которой я пишу вот эту страницу. Как пользователю, вам достаточно символов на клавиатуре или значков в меню — терминов языка Word. У вас нет необходимости знать длинные последовательности бессмысленных шагов в вашем компьютере, которые вызывает каждый из них. Об этом вообще мало кто задумывается. Нажмем на клавишу с буквой «А». По сути, она запускает длинную последовательность шагов, которые помещают букву «А» нужного шрифта, нужного размера и нужного цвета в нужное местоположение на нужной странице и запускают рендеринг буквы, чтобы она отобразилась. Если вы вставите букву в уже напечатанное слово, то базовые инструкции переместят буквы в модели страницы, чтобы освободить место для новой. При вводе «А» происходит очень много операций, но вас, как пользователя, они не заботят. Вам достаточно знать, что, нажав на клавишу с буквой «A», вы получите букву «А» в нужном местоположении. Точно так же «Вырезать», «Копировать» и «Вставить» — это термины на языке Word, из-за которых происходят удивительные действия, скрытые от вас. По аналогичному принципу работают и такие термины, как «Вставить изображение», «Вставить гиперссылку» и так далее.

Кук и Перлин, создавая язык затенения, двинулись по магистральному направлению в информатике, которое возникало по мере того, как закон Мура позволял компьютерным вычислениям проникнуть во все новые и новые сферы. Суть в том, что поле исследований кристаллизуется созданием компьютерного языка, который фиксирует его формальные алгоритмизированные описания. В середине 1980-х Кук и Перлин применили идею языка описаний к обширной неизведанной территории: обобщили закономерности затенения, создав для него специальный язык.

Мы уже рассмотрели несколько методов затенения: наложение текстур, наложение рельефа, затенение по Гуро, затенение по Фонгу, прозрачность и факторы внешнего вида материала. Можно и дальше объяснять различные техники по отдельности. Прорывной характер идеи Кука и Перлина заключался в возможности воздействовать на затенение визуализируемой поверхности при помощи любого алгоритма компьютерных расчетов.

Предположим, я хочу наложить текстуру и рельефную карту на треугольник. Или, предположим, я хочу сделать поверхность неровной и придать ей окрас латуни. Или скомбинировать все вышеперечисленное. Язык затенения обобщил понятие затенения, или шейдинга. На нем можно написать бесконечное количество программ для затенения. В этом и заключается суть компьютерных вычислений — чудо Гибкости.

Пришло время разобраться, как виртуальная сцена, описанная с помощью трехмерной геометрии и подробно заданного затенения, преобразуется в двумерное цветное изображение, например в один кадр цифрового фильма. Мы уже рассматривали, как визуализировать треугольники, составляющие сцену, но при этом не говорили о цвете и ограничивались только их очертаниями.

Затем мы рассматривали визуализацию цветных треугольников, которые были значительно больше расстояния между пикселями. Здесь мы остановимся на практически современном случае с сотнями маленьких треугольников, способных провалиться в зазоры между пикселями.

Давайте придерживаться той же стратегии, что и раньше. Я покажу вам, насколько проста основная идея для каждого пикселя. Затем я позволю Усилению, волшебству Эпохи 2, позаботиться об огромном количестве вычислений, необходимых для реализации этой идеи для всего оставшегося кадра или в конечном итоге для всего полнометражного фильма. Здесь начинается нечеловеческая часть работы, но ее нетрудно понять, если вы разберетесь, как устроены основные вычисления.

Итак, представьте, что камера — это вы. Смотрите на мир, удерживая глаза в фиксированном положении. Вы видите мир в двух измерениях и в перспективе (для конкретности предположим, что у вас один глаз закрыт, поэтому камера — это только один глаз). Виртуальная камера в компьютерной графике делает то же самое. «Мир», который она видит, — это невидимая геометрия. Но она досконально изучена, и математика, которая проецирует ее на двумерный кадр, хорошо известна.

Другими словами, мы знаем достаточно, чтобы вычислить, какой треугольник находится перед другим треугольником в модели сцены, которую мы визуализируем. Следовательно, используя упрощение, согласно которому все модели — наборы из (возможно, миллионов) треугольников, мы можем вычислить, в каком порядке визуализировать треугольники.

Я не собираюсь излишне упрощать. Упорядочивание треугольников предполагает колоссальную вычислительную работу, но значительную ее часть выполняют наши верные компьютеры. Нам нужно лишь понять, что определить, какой из двух треугольников находится впереди, довольно просто, если смотреть из виртуальной камеры. Какие треугольники видит камера? Мы обсудили два подхода к поиску видимых поверхностей (из множества возможных): буферизация по глубине и геометрическая сортировка.

Основная проблема заключается в отображении того, что видит виртуальная камера, в геометрическом мире в виде кадра из цветных пикселей, которые становятся видимыми при визуализации. Вот простой способ осознать проблему: представьте, что вы смотрите на мир через окно с москитной сеткой. Она делит двумерный видимый мир на квадратики. Осторожно, еще раз напоминаю: это не пиксели! Но в качестве первого приближения к решению проблемы давайте предположим, что каждый из крошечных квадратиков действительно становится пикселем в итоговом изображении. Такое упрощение часто использовали в старые недобрые времена, из-за чего возникло заблуждение даже среди практикующих специалистов в области компьютерной графики, будто пиксель — это маленький квадратик.

Таким образом, проблема рендеринга общего вида сцены сводится к проблеме визуализации одного пикселя для каждой ячейки сетки-экрана. Какой один цвет представляет все треугольники или все части треугольников, попадающие в этот крошечный квадрат, видимый виртуальной камерой?

Я пишу эти строки, сидя на опрятной кухне в прекрасной квартире в Гамла-Стане, на острове в старинном центре Стокгольма. Я смотрю на мир и вижу бело-голубую посуду на синей полке, специи на другой, стаканы на третьей, черные сковородки и медную посуду над маленькой газовой плитой, сухие цветы, вешалку с блестящими ножами из нержавеющей стали, сушилку для посуды рядом с раковиной и так далее. Слева от меня есть большое окно. На широком подоконнике цветут белая герань и другие растения. Снаружи я вижу каштан, частично заслоняющий желтоватые здания старого Стокгольма, а за ним — голубое небо с кучевыми облаками.

Затем я представляю сетку-экран, отделяющую меня от сцены, которую я только что описал. Моя работа состоит в том, чтобы выбрать только один цвет для визуальной сцены, видимой через каждую ячейку. Представьте себе четырехгранную пирамиду с вершиной в моем глазу, которая проходит через ячейку, гранями касаясь ее границ, и расширяется по мере продвижения в бесконечность. Все, что попадает в эту пирамиду, должно передаваться всего одним цветом (!).

Иногда все довольно просто. Например, в некоторые ячейки попадает только далекое голубое небо. Именно такого цвета будут их пиксели. В другие ячейки попадает только пастельно-голубая стена кухни. Дальше пирамида пересекается с соседними зданиями, но это значения не имеет. Стена непрозрачная, поэтому она скрывает все цвета стен здания. Это всё скрытые поверхности. Цвет этих пикселей — это цвет кухонной стены.

Ячейки, в которые попадают стопки посуды, более сложные, но тут все понятно. Я смотрю на стопку сложенных друг на друга бело-голубых суповых тарелок. Пирамида, исходящая из моего глаза, пересекает несколько тарелок одновременно, но они непрозрачны, поэтому только поверхности, непосредственно видимые через ячейку, учитываются при выборе окончательного цвета. Цвет, который мне здесь нужен, — это взвешенная комбинация синего и белого в зависимости от пропорций каждого из них. Все остальные тарелки не имеют значения, синяя стена полки за тарелками не имеет значения, старые желтые здания Стокгольма за стеной не имеют значения, синее небо за ними не имеет значения. Хотя они попадают внутрь маленькой пирамиды, все они скрыты от моего взгляда.

С полкой, на которой стоят стаканы, дело обстоит сложнее. В некоторых ячейках через пять стеклянных стаканов видна пастельно-голубая стена, а значит, что ее синева видоизменяется, проходя через десять частично прозрачных стеклянных стенок, которые отделяют ее от меня.

По-настоящему сложные случаи — это ячейки, направленные на окно. В них видны кусочек герани, частично открытая оконная рама, каштан и либо здания Стокгольма, либо облака в небе за деревом, либо и то и другое. Но проблема остается прежней — определить для каждой ячейки, какие поверхности видны и какой цвет дает каждая из них пропорционально видимой области. Тогда окончательный и единственный цвет, выбранный для соответствующего пикселя, будет средним значением всех этих цветов. Маленькие пирамиды здесь пересекают десятки, а то и сотни поверхностей, каждая из которых вносит свой вклад в итоговое среднее значение.

Компьютерная графика существует не на красивой стокгольмской кухне, а внутри компьютера. Здесь нет ни герани, ни посуды, но есть геометрические модели дерева, стопки суповых тарелок, полки со стаканами и так далее. В остальном решается та же проблема: что видит виртуальная камера в каждой ячейке сетки-экрана и какой там средний цвет?

Оказалось, что один из самых важных методов, когда-либо разработанных для рендеринга компьютерной графики, используется обезьянами и людьми. Он называется случайная выборка (или распределенная трассировка лучей), но нам следует соблюдать осторожность со словом случайный. На рисунке 8.5 показано, как глаз макаки-резуса делает выборку реального мира. Это фото из номера журнала Science за 1983 год. Белые точки — это расположение фоторецепторов в сетчатке глаза обезьяны.

Рис. 8.3

Мы можем сделать вывод, что мать-природа использует не равномерную, а, скорее, зашумленную растровую сетку для взгляда на реальный мир. Создается впечатление, что расположение пикселей слегка и случайным образом смещено от фиксированных положений растра (здесь зашифровано важное сообщение — его нельзя упускать из виду, пока мы разбираемся с деталями: мать-природа использует выборку!).

Хорошее приближение получается, если мы смешаем идею случайной неравномерной «дрожащей» сетки с идеей субдискретизации. На рисунке 8.6 показан массив подвыборок 4 на 4, связанных с одним пикселем (большой точкой), без случайного «дрожания» слева и с таким «дрожанием» справа. То, что слева, мы видели раньше при обсуждении подвыборки (рис. 7.10). Сравните схему выборки справа с фотографией сетчатки обезьяны. Математика, используемая для смещений подвыборок, обеспечивает ограниченный тип случайности без слипания выборок или больших областей, где отсутствуют подвыборки.

Рис. 8.4

Математика показывает: это «обезьянье» решение заменяет неприемлемый регулярный алиасинг (например, зубцы по краям) допустимым шумом. Низкоамплитудный шум мы просто не видим. В нем нет заметной закономерности. Это «дрожание» применяется по-разному, и не только в компьютерной графике. Общая идея называется методом Монте-Карло (в честь знаменитого казино в Монако). Именно он использовался при моделировании взрывов водородных бомб и стал первой программой, выполненной на ENIAC+ (который соревновался за звание первого компьютера с Baby, во всяком случае по нашей версии).

Подумайте о дерзости подобного решения в компьютерной графике: только один цвет в итоге передает огромную сложность, существующую в визуальной сцене внутри одной ячейки воображаемой сетки-экрана. Чтобы лучше разобраться, посмотрите на рисунок 8.7, где показан знаменитый лохматый персонаж Джеймс П. «Салли» Салливан из мультфильма «Корпорация монстров» студии Pixar (2001) (здесь мы на мгновение отклоняемся от строгой временной шкалы закона Мура, чтобы подчеркнуть важный момент; дополнительную информацию о мехе читайте в комментариях на сайте). Рядом с его изображением — крупный план меха Салли из одной ячейки сетки-экрана. (Признаюсь честно: персонажи «Корпорации монстров» не моделировались в таком очень высоком разрешении! Это просто пример, что предложила бы базовая модель меха, если бы она рассчитывалась при таком разрешении.) Решение для компьютерной графики, которое мы ищем, — это один цвет (цвет пикселя, расположенного на месте большой белой точки), который передаст оптическую сложность этой мохнатой ячейки на изображении Салли слева. Согласно нашей идее, нужно использовать субдискретизацию с «дрожанием», потому что вычисление фактического среднего цвета окажется слишком сложным. Нам не нужно знать все цвета в каждой точке квадратной ячейки справа. Нам достаточно знать только цвета в 16 случайно выбранных точках.

Рис. 8.5

Рис. 8.6

Рис. 8.7

Давайте вернемся к приближению маленьких квадратиков, прежде чем двигаться дальше. Я утверждал, что окончательный цвет пикселя — это среднее значение цветов, видимых в каждой ячейке сетки-экрана. Другими словами, предположим, что этот ячеечный фильтр будет использоваться в качестве разбрасывателя для восстановления цветовой непрерывности из дискретных пикселей. Такой фильтр дает каждому отсчету из подвыборки равный вес. Но из главы о Котельникове мы знаем, что подобный фильтр — это худший разбрасыватель из всех, которые допускается использовать в теореме отсчетов.

Ячеечный фильтр и близко не достигает точности идеального фильтра или даже нескольких известных приближений к идеалу, таких как разбрасыватель Катмулла — Рома или B-сплайн с их средними пиками и плавными плечами. Они не назначают подвыборкам одинаковый вес и всегда учитывают вклад областей вокруг соседних пикселей. Тем не менее компьютерная графика десятилетиями использовала именно ячеечный фильтр как грубое приближение — главным образом потому, что закон Мура только недавно обеспечил достаточную вычислительную мощность для более качественной выборки и реконструкции. Более точные приближения к правильной выборке геометрически определенного мира с более подходящими разбрасывателями сейчас только изучаются, поскольку закон Мура продолжает работать. Цель по-прежнему заключается в улучшении качества изображения.

Я пропустил один очень важный шаг в приведенном выше обсуждении рендеринга фильма. В главе про кино и анимацию мы говорили, как размытие движения в кадре классического фильма на кинопленке подсказывает нашему мозгу, как воспринимать движение из неподвижных кадров, которые проецируются 24 раза в секунду. Мы быстро поняли, что анимация без размытия движений потерпит неудачу — классическим провалом обернулись дергающиеся скелеты Рэя Гаррихаузена в «Ясоне и аргонавтах» (1963), которые также обсуждались в той главе.

Эд Катмулл, еще в Нью-Йоркском технологическом институте, постоянно напоминал остальным сотрудникам лаборатории о необходимости размытия движения и сам начал работать над решением, позволяющим реализовать его в компьютерной анимации еще тогда, в середине 1970-х годов. Позже в Lucasfilm он подчеркнул актуальность проблемы и объявил конкурс на лучшее решение. Наверняка он считал, что сам одержит победу, потому что уже много лет занимался его поисками. Удивительно, но выиграл не он сам, а его лидерские качества. Роб Кук, Лорен Карпентер и Том Портер — гениальная троица сначала в Lucasfilm, а затем в Pixar — решили проблему.

Роб и Лорен придумали метод «дрожащей» подвыборки для сглаживания в пространстве. Потом Том понял, что та же идея сработает и с выборкой во времени. Так и получилось. Один прием решил обе проблемы. Идея заключается в разделении времени, в течение которого затвор виртуальной камеры открыт, на «подкадры». Например, предполагается, что каждая квадратная область, которая подвергнется субдискретизации массивом 4 на 4 «дрожащих» субдискретизаций в пространстве, разделена во времени на 16 субкадров, 16 интервалов времени между открытием и закрытием затвора (рис. 8.8). Затем каждая (пространственная) подвыборка берется в отдельном (временнóм) подкадре и случайным образом смещается в пределах временного интервала, занимаемого подкадром. Результаты усредняются в пространстве и времени, чтобы один цвет представлял ячейку с размытием движения. Пространственные подвыборки предыдущего изображения размером 4 на 4 со случайным смещением помещаются во временнýю область, по одной на каждый из 16 подкадров, и далее случайным образом распределяются в пределах временнóго интервала, занимаемого подкадром. Каждая пунктирная линия начинается с подкадра «затвор открыт». Подробно показаны пространственные и временны´е координаты для двух подвыборок, для седьмого и двенадцатого подкадров. Для ясности показаны только две пунктирные линии, продолженные до подкадра «затвор закрыт».

Том Портер создал зрелищную иллюстрацию, изображающую бильярдные шары, для этого прорывного момента Центральной Догмы (рис. 8.9). Естественно, он назвал ее «1984» и в том же году продемонстрировал ее на Siggraph. При ее создании использовалась подвыборка с «дрожанием» для имитации размытия движения, а также решались некоторые другие проблемы, такие как мягкие тени. Удивительная команда из Кука, Карпентера и Портера — я назвал их Пролетарин — преодолела множество трудностей с помощью одной прекрасной идеи. Иллюстрация Тома украсила обложку журнала Science в 1984 году под заголовком «Эта фотография — фальшивая».

Рис. 8.8

Центральная Догма предстала там во всей красе, за исключением одного момента. Отражения в шарах созданы не в результате оптически точной трассировки лучей от трехмерных объектов в геометрической модели. В геометрической модели нет ни окна, ни бильярдиста, ни пальмы, ни рекламы пива. На самом деле их нарисовал наш художник-аниматор Джон Лассетер с помощью написанной Томом программы рисования. Том наложил их на плоские стены бильярдной, которые были в модели. Таким образом, луч света, попавший в бильярдный шар после отражения от одной из них, получил цвет из текстурных карт.

Портер сделал «1984» с помощью трассировки лучей методом случайной выборки. Картинка, выполненная на стыке между приятным фотореализмом и гиперфотореализмом, лишь в нарисованных вручную текстурных картах на стенах бильярдной отклоняется от Центральной Догмы. Эти приемы сослужат нам хорошую службу при создании Фильма, хотя к фотореализму мы совсем не стремились.

Мы с вами проследили путь развития рендеринга в Lucasfilm. А между тем моделирование и анимация тоже не стояли на месте. Как ни странно, несколько ключевых сотрудников пришли к нам сначала как системные программисты Unix и только в процессе работы занялись компьютерной графикой. Путь от Unix к графике уже проделал Том Дафф, причем, как я уже упоминал ранее, еще когда мы работали в Нью-Йоркском технологическом институте. Том зарекомендовал себя там одновременно как гуру графики и системный эксперт. Он написал, например, программу для визуализации трехмерных объектов, составленных из эллипсоидов. Он назвал ее Soid и создал с ее помощью — в Нью-Йоркском технологическом институте — несколько коротких анимационных клипов. Я использовал Soid для создания анимированных ладоней.

Рис. 8.9

После того как мы с Эдом Катмуллом и Дэвидом Ди Франческо ушли из Нью-Йоркского технологического института в Lucasfilm, Том оказался единственным оставшимся там сотрудником, который понял, как последовать за нами. Из-за тиранических наклонностей Александра Шуре Эд проявлял осторожность, стараясь не переманивать сотрудников в открытую, но, когда Том объявил, что покидает Нью-Йоркский технологический институт, он действовал быстро и решительно. Предполагалось, что все оборудование на студии Lucasfilm тоже будет работать на Unix, следовательно, компания нуждалась в специалистах по этой системе. Но, что гораздо более важно, в Lucasfilm Том создал ключевую программу для трехмерного моделирования. Он стал одним из важнейших сотрудников в Проекте компьютерной графики.

Похожим образом складывалась карьера Билла Ривза, еще одного эксперта одновременно в Unix и компьютерной графике и, подобно Тому Даффу, тоже канадца из группы Рона Беккера в Университете Торонто. Он написал важнейшую анимационную программу для Lucasfilm. Эд взял его на работу как специалиста по Unix, но вскоре Билл оказался в группе компьютерной графики, где ему предстояло сыграть очень важную роль. Siggraph в 2018-м удостоил Билла награды за вклад в графический дизайн, сделав его первым лауреатом новой премии Practitioner Award.

И еще один выдающийся программист (хотя и не канадец), Эбен Остби, который присоединился к Lucasfilm позже, тоже проследовал по пути от Unix к графике. Эбен работал в легендарной Bell Labs, пока Билл не переманил его в нашу группу специалистов-системщиков. И вскоре Эбен проявил себя как прекрасный знаток программного обеспечения для моделирования, анимации и рендеринга.

Билл и Эбен войдут в число 40 сотрудников-основателей Pixar. Как ни странно, Тома Даффа среди них не было. Он ушел из Lucasfilm еще до создания Pixar. Прежде чем вернуться к нам, он провел несколько лет… ну конечно, в Bell Labs!

Некоторые объекты неудобно моделировать с помощью геометрии. Значительным вкладом Билла Ривза в Цифровой Свет стало то, что он назвал системами частиц. Возьмем, к примеру, облака, огонь и воду. Или фейерверки, галактики и дым. У них нет четких геометрических границ. В 1982 году, во время работы в Lucasfilm, у Билла возникла идея моделировать такие объекты с помощью множества крошечных частиц. Считайте каждую частицу точкой небольшого, но отличного от нуля размера. Система изменяется во времени, причем частицы в ней появляются, перемещаются, изменяются, а затем исчезают. Каждой частице отведено определенное время жизни, в течение которого она движется по запрограммированной траектории. У нее могут быть некоторые особенности, такие как цвет, прозрачность или размер, также способные изменяться в течение ее жизни. Частица перемещается или изменяется случайным образом в соответствии с потребностями моделируемого объекта. В определенный момент живые частицы преобразуется в изображение.

В первую очередь Билл опробовал новую технику на огне. Каждая частица имела цвет, обычно красный, но некоторые были случайным образом окрашены в зеленый. Каждая из них появлялась в случайном порядке на плоской поверхности и взлетала оттуда в произвольном направлении. Траектория частиц определялась воображаемым гравитационным полем, поэтому они возвращались к основанию по дуге. Размер и прозрачность каждой из них также определялись случайным образом. А еще у каждой частицы происходило размытие движения. То есть в каждом кадре рассчитывались начальное и конечное положения частицы на ее пути (обычно на небольшом расстоянии друг от друга). Во время визуализации кадра частица размазывалась вдоль траектории.

В этой модели системы частиц покадровая визуализация выполнялась при помощи упрощенного рендеринга прямой линии между начальным и конечным положениями каждой частицы в одном кадре со сглаживанием. Как мы уже говорили, Малкольм Бланшар продемонстрировал сглаженные (без ступенек) сегменты прямых линий примерно в 1976 году, а Дик Шауп визуализировал их еще раньше, в Xerox PARC в 1973-м. Таким образом короткий отрезок прямой линии с мягкими полупрозрачными краями, как правило, красного цвета, создает размытие частицы на траектории ее движения. Цвета линейных сегментов просто добавлялись в кадровый буфер. Случайное добавление некоторого количества зеленых частиц приводило к эффекту горячего желто-оранжевого свечения в центре горения, когда частицы взмывали вверх с поверхности. Затем, когда они опускались вниз и исчезали, свечение приобретало красный оттенок и казалось постепенно охлаждающимся.

Том Дафф, Билл Ривз, Роб Кук, Лорен Карпентер, Том Портер… Мы собирали в Lucasfilm команду звезд компьютерной графики мирового уровня. Даже Джим Блинн на некоторое время присоединился к нам, покинув Лабораторию реактивного движения, но, как и в предыдущий раз в Нью-Йоркском технологическом институте, он испытывал дискомфорт за пределами своего специфического программистского мира, а потому вернулся на прежнее место. Зато к нам присоединилась еще одна женщина-первопроходец Пэт Коул, перешедшая из команды Джима в Лаборатории реактивного движения.

Мы все ждали, что в один прекрасный день к нам постучится Джордж Лукас с заявкой на компьютерную графику для одного из его новых фильмов. Но он все не появлялся. Наконец до меня дошло. Джордж Лукас не знал, что у него есть мы! Он совершил классическую ошибку, полагая, что мы просто кучка «техногиков», занимающихся железками и программированием, в то время как он и его команда творцов созидали кино. Я-то думал, что мы ясно обозначили нашу принадлежность к числу творцов и созидателей, но, похоже, наше сообщение не дошло до адресата.

Потребовалось вмешательство Paramount Pictures, чтобы Лукас узнал о наших возможностях. Наш следующий счастливый билет выпал, когда Paramount обратилась к Industrial Light & Magic (ILM), отделу спецэффектов Lucasfilm, по поводу спецэффектов для фильма «Звездный путь 2: Гнев Хана» (1982). Представители Paramount хотели использовать во втором «Звездном пути» компьютерную графику, но в ILM ею не занимались. Но, как сказали сотрудники ILM, вот эти новые ребята «дальше по коридору» могут помочь. Тогда визитеры зашли ко мне.

Я выслушал, чтó люди из Paramount хотят добавить в фильм. Они рассчитывали увидеть нечто объясняющее ключевой повествовательный прием под названием «эффект Генезиса», который мгновенно превращал неживое в живое. Предложенная ими идея заключалась в следующем: плавающий в аквариуме камень каким-то образом стремительно покрывается зеленым мхом. Я озадаченно посмотрел на них и спросил: «Вы хоть представляете, что мы можем и чего не можем делать с компьютерной графикой в настоящее время?» Они признались, что нет. Поэтому я предложил взять паузу до завтра, чтобы подготовить предварительное предложение, которое удовлетворило бы их потребности в визуальном повествовании и соответствовало нашим вычислительным возможностям в начале 1980-х годов. Они согласились. Но тут я вспомнил о важной проблеме. «Мы пока не можем делать кадры в разрешении кинопленки. Мы можем делать только видеоразрешение». «Это не проблема! Предполагается, что это демонстрационное видео с адмиралом Кирком».

Я вышел из переговорной комнаты окрыленным. Вот оно! Нам только что дали шанс! Наконец-то у нас появилась возможность попасть на большой экран! Нас только что попросили сделать полноценный киноэпизод — самостоятельно! — для полнометражного кино, которому, несомненно, светит успех!

Я не спал всю ночь, обдумывая будущий эпизод. В нем предстояло задействовать — мы обязаны задействовать — все таланты нашей сборной команды вундеркиндов компьютерной графики, и он должен наглядно объяснить эффект Генезиса. Я подготовил раскадровку будущей «Демонстрации Генезиса». Она состояла всего из шести грубых набросков на зеленых блокнотных листах, которыми я постоянно пользовался в то время. Непосредственно перед тем, как показать их ILM и Paramount, мне пришла идея украсить раскадровку с помощью стандартного шаблона, который используют в ILM. На рисунке 8.10 показаны две панели окончательной версии раскадровки, которую я нарисовал для предложенного эпизода.

Я вдохновлялся фильмами, где космический корабль «Вояджер» облетал планеты, — их делал Джим Блинн в Лаборатории реактивного движения. В моей раскадровке (невидимый) космический корабль кружил над мертвой, похожей на Луну планетой, покрытой кратерами. Лорен Карпентер разработает звездное поле и траекторию космического корабля. Том Дафф сделает кратеры с помощью рельефных карт. Пэт Коул смоделирует снаряд, выпущенный космическим кораблем в направлении мертвой планеты. От взрыва снаряда разгораются пожары. Билл Ривз изобразит их, используя свои новые системы частиц. Стена огня быстро поглощает планету и расплавляет ее поверхность. На ней возникают горы, которые сделает Лорен с помощью фрактальной техники. Сформируются моря, а горы остынут и станут зелеными. По мере того как космический корабль удаляется, мертвая планета оживает и все больше напоминает Землю. Том Портер сделает финальную часть с помощью своей программы для рисования и наложения текстур. Эффект Генезиса продлится не мгновение, как предполагалось, но его объяснение займет всего минуту.

Несмотря на любительские раскадровки, мы получили работу. Собрав всю команду в комнате, я объявил: «Мы только что получили наш главный шанс» — и объяснил, что мы должны все сделать первоклассно: удовлетворить сюжетную потребность Paramount и порадовать зрителей «Звездного пути». Затем я сообщил самое главное: «Но на самом деле эпизод станет 60-секундным рекламным роликом для одного зрителя — Джорджа Лукаса! Чтобы он знал, что у него есть мы».

Меня проинформировали об одном секрете касательно Джорджа, и я планировал воспользоваться полученными сведениями на всю катушку: когда Лукас смотрит кино, он постоянно следит за камерой и операторскими решениями. Он не погружается в эмоции. Вообще, если у режиссера не выходит эмоционально вовлечь вас в происходящее на экране, значит, он потерпел творческую неудачу. Тем не менее Джордж Лукас избегал эмоций и следил за работой камеры. Я объяснил его особенность собравшимся. «Итак, нам нужно добавить в этот эпизод такую работу камеры, на которую больше никто не способен. И это не должно быть бессмысленным техническим фокусом. Нам нужен отличный повествовательный эффект. У Джорджа должно снести крышу!»

Рис. 8.10

Именно этим мы и занялись. Лорен Карпентер разработал сложный многомерный сплайн с десятками изгибов, чтобы описать движение камеры. Это еще один пример использования концепции сплайна из главы 6. Здесь сплайн интерполирует положение и ориентацию камеры в четырехмерном пространстве-времени (три измерения в пространстве, одно во времени). Камера смотрит на приближающуюся мертвую планету, поворачивается, чтобы отслеживать происходящее на ее поверхности, пролетая прямо над движущейся огненной стеной; вблизи фиксирует растущие горы, проносящиеся под ней, а затем снова отдаляется, наблюдая позади живую зеленую планету с атмосферой, когда наш космический корабль ускоряется, завершая свою миссию. Рисунок 8.11 представляет собой композицию из нескольких элементов «Демонстрации Генезиса».

На следующий день после премьеры фильма «Звездный путь 2: Гнев Хана» (1982) Джордж Лукас, довольно застенчивый человек, как мне показалось, заглянул в мой кабинет. «Отличный полет камеры!» — сказал он, даже не зайдя внутрь. И закрыл дверь. Он понял! В свой следующий фильм «Возвращение джедая» (1983) он включил короткий эпизод, созданный Томом Даффом и Биллом Ривзом из нашей группы. И, что немаловажно, он наверняка рассказал о нас своему хорошему другу Стивену Спилбергу. Тот включил компьютерную графику Lucasfilm в свой фильм «Молодой Шерлок Холмс» (1985). По Голливуду поползли слухи, что появился новый способ создания захватывающего киноконтента. К моменту выхода фильма «Терминатор 2: Судный день» (1991) созданные на компьютере растровые изображения уже ярко сияли на технологическом небосводе Голливуда. А мы сделали важный шаг к нашей цели — выполнили первую командную работу всей нашей группой, которая впоследствии станет студией Pixar.

Но «Демонстрация Генезиса» 1982 года еще не была Фильмом. Фильм все еще ждал Великой цифровой конвергенции, хотя работа уже шла полным ходом. «Звездный путь» стал первой тренировкой для команды, которая в конечном итоге основала студию Pixar и создала «Историю игрушек» (1995). Мы гордились «Демонстрацией Генезиса», но она сводилась лишь к спецэффектам. В этой области работали не только мы. Например, в том же 1982 году всего через месяц после «Звездного пути» вышел культовый киберпанк «Трон». Он выполнял ту же рекламную функцию для команды, которая позже превратилась в студию Blue Sky и сняла «Ледниковый период» (2002).

Рис. 8.11

Рост вычислительных мощностей по закону Мура в 1000 раз с 1980 по 1985 год ознаменовался появлением множества компаний, занимавшихся цифровыми спецэффектами. Disney использовал для создания «Трона» услуги четырех из них: Robert Abel and Associates и Triple-I (Information International Inc.) из Калифорнии и Digital Effects и MAGI (Mathematical Applications Group Inc.) из Нью-Йорка. Две из них для нас особенно интересны: Triple-I располагалась неподалеку от Голливуда, там работали Джон Уитни-младший и Гэри Демос. Они изрядно потрепали нам нервы, серьезно конкурируя с нами в гонке за создание Фильма. А из MAGI, как я только что упомянул, позднее возникла студия Blue Sky. В комментариях на сайте перечислены многие другие компании из той эпохи становления компьютерной графики.

Режиссер Стивен Лисбергер предложил студии Disney концепцию «Трона» по совету Алана Кэя, бывшего сотрудника Xerox PARC, который, как вы помните из эпиграфа к одному из разделов главы 6, приравнял наличие точки зрения к 80 баллам IQ. Сам Лисбергер пришел из классической анимации, но, по настоянию Кэя, в студии Disney он активно продвигал компьютерную анимацию. Но не компьютерную персонажную анимацию. Всех персонажей в «Троне» играли живые актеры, украшенные чем-то вроде красной или синей светящейся неоновой окантовки. Из-за нее они выглядели как светящиеся мультяшные персонажи, но на самом деле эффект возник в результате аналогового процесса постобработки. Проект оказался довольно неординарным для студии, которая обычно не обращалась к внешним подрядчикам. Рон Миллер, зять Уолта Диснея и один из топ-менеджеров студии, дал добро на съемки «Трона».

Цифровое производство анимации с компьютерными эффектами оборачивалось настоящим логистическим кошмаром. Оно требовало интеграции и синхронизации работы четырех компаний на Восточном и Западном побережьях с четырьмя разными подходами к работе и четырьмя разными системами аппаратного и программного обеспечения. Вместе им удалось создать примерно 15 минут компьютерной графики, которая вошла в окончательный вариант фильма. Заявление о столь значительном экранном времени трудно воспринимать серьезно, потому что оно, безусловно, включало все появления Бита, сделанного компанией Digital Effects. Бит — это крошечный летающий и пульсирующий многогранник, «персонаж», который существовал только в двух чередующихся цветах (синем и желтом) и занимал мало места на экране.

Самая запоминающаяся компьютерная графика в «Троне» — в сцене со «световым мотоциклом», созданной MAGI из округа Вестчестер, штат Нью-Йорк (рис. 8.12). Она длится около трех минут, включая как минимум одну минуту монтажных вставок из живых актеров. Важно отметить, что сцена со световым мотоциклом произвела огромное впечатление на молодого аниматора Джона Лассетера, тогда работавшего в студии Диснея: «Это просто поразило меня! Словно открылась маленькая дверь в моем сознании. Я посмотрел и сказал: „Вот оно! Это будущее!“» Позже, после того как он присоединился к нам в Pixar, он сказал: «Без „Трона“ не было бы „Истории игрушек“».

Компания Mathematical Applications Group Inc. основана в 1966 году для расчетов ядерной радиации с помощью трассировки лучей методом Монте-Карло. Вскоре специалисты, работавшие там, поняли, что с помощью своей техники могут имитировать световые лучи, а не только ядерное излучение. В 1972 году они создали подразделение компьютерной графики под названием MAGI/SynthaVision, чтобы, используя свою идею, делать телевизионные рекламные ролики. Поэтому в MAGI всегда применяли трассировку лучей в качестве технологии рендеринга, что отличало ее от других компаний. Судя по световым мотоциклам, вроде того, что фигурировал в «Троне», они еще не добрались до гиперфотореализма в трассировке лучей к 1981 году, когда Disney привлекла их для создания эффектов. MAGI наняла Криса Уэджа в качестве аниматора для своих эпизодов «Трона», и это решение оказалось очень важным для будущего цифрового кино.

Рис. 8.12

Исторические потоки снова переплелись в 1983 году, когда студия Disney заключила контракт с MAGI на создание пробного фильма по мотивам популярной детской иллюстрированной книги художника Мориса Сендака «Там, где живут чудовища». Согласно изначальной задумке, персонажей — Макса и его собаку — предполагалось создать средствами традиционной двумерной целлулоидной анимации, но на фоне трехмерной компьютерной графики. Крис Уэдж и другие сотрудники MAGI сделали трехмерные каркасные фоны. Аниматоры Диснея Джон Лассетер и Глен Кин вручную их анимировали. Таким образом, Крис Уэдж и Джон Лассетер, два аниматора, столь важных для дальнейшего развития цифрового кино, установили свой первый контакт друг с другом и с цифровым Голливудом.

Как показывает блок-схема из этой главы, три ключевые траектории привели непосредственно к трем студиям, создавшим первые цифровые фильмы в новом тысячелетии. MAGI вошла в бизнес в 1972 году со своим подразделением SynthaVision. Нью-Йоркский технологический институт открыл Лабораторию компьютерной анимации в 1974 году. Третьей в дело вступила Pacific Data Images (PDI) в Калифорнии.

Карл Розендаль занял у своего отца 25 000 долларов и в 1980 году основал PDI для коммерциализации компьютерной графики. Чтобы оценить, на какой риск он пошел, вспомните, что в 1980 году Эд Катмулл, Дэвид Ди Франческо и я только что устроились в Lucasfilm и сидели в офисе Марсии Лукас. Мы занимались исследованиями и даже не помышляли о самоокупаемости. Да нам и в голову не приходило, что можно зарабатывать на жизнь, занимаясь компьютерной графикой.

В марте 1982 года к Розендалю присоединились Ричард Чуанг и месяц спустя Гленн Энтис. Втроем они стали соучредителями анимационной компании PDI. Чуанг и Энтис написали программное обеспечение для системы анимации PDI, и в 1994 году все трое получили за нее премию Технической академии.

Чуанг изучал компьютерную графику по видеозаписям занятий, которые вели Эд Катмулл и другие будущие сотрудники Lucasfilm. Энтис, будучи студентом информатики в Бруклине и потом работая программистом на Манхэттене, осваивал компьютерную графику в соседнем Нью-Йоркском технологическом институте — на тех курсах, которые вели Эд и другие сотрудники Лаборатории компьютерной графики в конце 1970-х. Более того, Энтис сменил Тома Портера в проекте AVA компании Ampex, когда я переманил Тома в Lucasfilm.

Мы следили за коммерческим прогрессом PDI внимательнее, чем за другими компаниями, занимающимися компьютерной графикой, потому что, как выразился Лорен Карпентер, там «делали графику правильно». Кроме того, они сразу начали работать на Unix и писали на языке C. Но PDI пока не казалась нам конкурентом в плане Фильма. MAGI тоже — пока. Опасения вызывала только одна компания — Digital Productions.

Джон Уитни-младший и Гэри Демос работали в Triple-I, одной из четырех компаний, с которыми студия Диснея заключила контракт на создание спецэффектов для фильма «Трон». Но вскоре они разошлись с руководством во мнениях по поводу вычислительной мощности, необходимой для проекта. Они ушли из Triple-I в 1981 году и в 1982 году основали Digital Productions, в которую инвестировал Айвен Сазерленд.

Сазерленд еще в 1974 году безуспешно пытался совместно с Гленом Флеком организовать The Picture/Design Group и выйти на голливудский рынок. Эд Катмулл ждал, пока они достигнут стабильности, но потребности молодой семьи вынудили его искать работу в другом месте. Другие молодые парни — Гэри Демос, а возможно, и Джон Уитни-младший из талантливой семьи Уитни — также намеревались присоединиться к Сазерленду. Джон и Гэри кажется, всегда относились к той части нашей вселенной компьютерной графики, которая рвалась в кино.

Мы с Эдом неотрывно следили за ними. В отличие от всех остальных, они работали на очень мощных компьютерах и делали кадры с очень высоким разрешением. Их офис располагался недалеко от Голливуда, и они уже успели наладить связи с воротилами кинобизнеса. В 1981 году на званом обеде в Лос-Анджелесе в декорациях Фрэнсиса Копполы для фильма «От всего сердца» (1982) меня посадили за большим столом напротив актрисы Тери Гарр — исполнительницы главной роли — и Джона. Мое сердце замерло, когда я понял, что они выросли вместе и явно давно дружили. Есть ли у нас, пытающихся попасть в закрытый мир кино извне, хоть один шанс? Не опередят ли нас Джон и Гэри с созданием Фильма?

Мы всерьез опасались, и имели на то веские причины. Их уже задействовали при производстве нескольких полнометражных фильмов. Работая в Triple-I, Джон сделал двумерную цифровую графику для фантастического фильма студии MGM «Мир Дикого Запада» (1973), оказавшегося финансово успешным. Затем он вместе с Гэри создал трехмерную графику с тенями, изображающую лицо актера Питера Фонды в «Мире будущего» (1976), не столь коммерчески успешном сиквеле «Мира Дикого Запада». Мы особенно пристально следили за их работой в «Мире будущего», потому что этот фильм включал в себя еще два фрагмента трехмерной растровой графики с тенями — руку Эда Катмулла и лицо Фреда Парка, анимацию в градациях серого, которую они создали в Университете Юты в начале 1970-х годов.

Затем Джон и Гэри, все еще в Triple-I, работали над «Лукером» (1981), в котором использовалось трехмерное изображение полностью отсканированного тела актрисы Сьюзан Дей. По удивительному совпадению сюжет «Лукера» повествует о пластическом хирурге, докторе Ларри Робертсе, который вносит на удивление незначительные изменения в облик супермоделей, стремящихся к телесному совершенству. Майкл Крайтон, написавший сценарий, вероятно, не знал об основополагающей роли другого доктора, Ларри Робертса, члена триумвирата Массачусетского технологического института, в 1963 году добивавшегося совершенства других моделей (трехмерных и компьютерных) путем применения ренессансной линейной перспективы. Но «Лукер» обошелся минимальным количеством компьютерной графики, и он тоже не достиг высоких сборов.

Но вскоре пришел тот день, когда мы с Эдом подумали, что для нас игра окончена. По тесному миру компьютерной графики разнеслась шокирующая новость: Джон и Гэри приобрели суперкомпьютер Cray! Бенс Гербер, сотрудник отдела продаж Cray, работавший с Lucasfilm, пару лет пытался продать нам его за несколько миллионов долларов, но мы не видели смысла в такой неоправданно дорогой покупке. Суперкомпьютер Cray просто не подходил для наших задач. По крайней мере, так мы думали, пока не услышали о сделке Digital Productions. Мы с Эдом достали пресловутый конверт и снова произвели расчеты. Мы где-то ошиблись? Снова выходило, что нет. Покупка просто не имела экономического смысла.

Примерно так же вспоминал ситуацию и Ричард Чуанг, сооснователь PDI:

Джон и Гэри ввязались в рискованную авантюру, рассчитывая, что если получат доступ к Cray, то к ним будут охотно обращаться голливудские студии. Тем самым затраты распределятся между несколькими состоятельными клиентами. Но их ставка не сыграла. Покупка оказалась ошибкой и обрекла на гибель единственных конкурентов, которые действительно пугали нас в то время. Используя Cray, Digital Productions предприняла последнее благородное усилие в работе над фильмом «Последний звездный боец» (1984), но все же 12 минут фотореалистичной трехмерной графики были еще далеки от полнометражного фильма. Digital Productions фактически прекратила свое существование в том же 1986 году, когда мы основали Pixar. Впоследствии наших конкурентов в результате враждебного поглощения выкупила другая продюсерская компания.

Только значительно позже мы узнали, что Lucasfilm рассматривала Джона и Гэри в качестве кандидатов для сотрудничества, но вместо них выбрала нас. В 1978 году, еще работая в Triple-I, они сделали для Lucasfilm пробный эпизод с красивым космическим истребителем вроде X-wing из «Звездных войн», смоделированный в трех измерениях и визуализированный в очень высоком разрешении. Но они не стали делать антиалиасинг — не сгладили острые края на крестокрыльях. Они предположили, что высокое разрешение сделает зубчатость по краям слишком мелкой и практически невидимой. Но расчеты не оправдались. Ричард Эдлунд, тот самый мастер по спецэффектам из студии Лукаса, который приезжал к нам в Нью-Йоркский технологический институт с большой пряжкой «Звездные войны» на ремне, сразу же заметил огрехи. Идти на компромиссы он не желал.

Хотя мы визуализировали в гораздо более низком разрешении — более высокого не могли себе позволить из экономических соображений, — мы прилагали колоссальные усилия для сглаживания на всех видимых краях. С самого начала работы на Lucasfilm мы придерживались девиза «Никаких зубцов». Разница в подходах оказалась решающей. На самом деле наше стремление избавить цифровые фильмы от артефактов дискретизации как в пространстве, так и во времени и привело нас к успеху. На фотографии, сделанной в первые дни работы в студии Lucasfilm (рис. 8.13, слева направо), — Эд, я и один из первых гениев компьютерной графики студии, Лорен Карпентер, наш эксперт по фракталам. На мне футболка «Никаких зубцов», которая была у каждого из нас, этот логотип показан на рисунке 8.13 (справа).

Рис. 8.13

Ошибались ли мы тогда, считая Digital Productions нашими конкурентами? Джон и Гэри никогда не заявляли, что видят своей конечной целью создание полностью цифрового фильма. Они почти всегда занимались производством спецэффектов для чужих фильмов. Лишь в одной области они напрямую конкурировали с нами — по крайней мере, мы так считали. Когда мы предложили студии Disney систему производства компьютерной анимации (CAPS) — как я описывал в главе о фильмах и анимации, — сотрудники Disney сказали нам, что рассматривают и альтернативное предложение от Digital Productions.

Мы уловили сигнал, что они хотят заниматься полноценной персонажной анимацией. Правда это или нет, но Джон и Гэри вызвали уважение. Они были умны и готовы играть по-крупному. Много лет спустя, в конце 1990-х, когда Гэри обратился ко мне с просьбой о помощи в его борьбе с вашингтонской бюрократией за изменение стандарта цифрового телевидения HDTV, я с радостью поддержал его.

Работа Digital Productions в «Последнем звездном бойце» впечатляла, но обходилась без цифровых персонажей. Мы хотели сделать персонажную анимацию. Для достижения цели нам не хватало чего-то очень важного — настоящего аниматора персонажей, человека с мистической способностью вдохнуть жизнь в плоские линии эскизов или объемные визуализированные треугольники.

На самом деле такой великий мультипликатор уже посещал нашу студию у Джорджа Лукаса. Брэд Бёрд разыскал нас в 1980 году, когда мы с нашими компьютерами еще занимали этаж над антикварным магазином в Сан-Ансельмо и делили офис с Марсией Лукас. Он хотел сделать с нами мультфильм. Более забавного человека я никогда прежде не встречал (и до сих пор не встретил). Пока мы гуляли по улицам Сан-Ансельмо и оживленно болтали, он постоянно вызывал у меня приступы неконтролируемого хохота. Но я знал, что он слишком чувствителен к творческим условиям, чтобы мириться с суровыми требованиями, которые накладывали в те времена компьютерные технологии на пользователей. Компьютеры громко шумели, требовали холодного кондиционированного воздуха и часто выходили из строя. А еще они работали возмутительно медленно.

Но всего через несколько лет у нас появился второй шанс. Теперь у нас было достаточно инструментов и наконец-то достаточно вычислительных мощностей благодаря действию закона Мура, но нам не хватало аниматора. И тогда мы с Эдом Катмуллом встретили именно того человека, который требовался нам для создания Фильма, — Джона Лассетера. Мы познакомились с ним во время одного из наших ежегодных визитов в студию Диснея, которые продолжались и после нашего перехода в Lucasfilm. Джон ничуть не боялся нас, в отличие от большинства аниматоров в Нью-Йоркском технологическом институте. Напротив, Джон нами восхищался. Он уже работал с MAGI над коротким демороликом к фильму «Там, где живут чудовища». Он видел «Трон». Он понимал, что значит работать с компьютером.

Согласно нашим с Эдом записям, мы уже встречались с Джоном раньше: сначала на Lucasfilm 16 февраля 1983 года, а затем еще раз — 11 мая, но тогда он не произвел на нас особого впечатления. Однако после третьей встречи, которая состоялась в студии Disney, мы запомнили его имя навсегда. Он предложил нам сходить в архивы Disney и спросил, что бы мы хотели посмотреть. У меня сразу же вырвалось: «Танцующих бегемотов Престона Блэра из „Фантазии“!» И он отправился с нами, чтобы показать оригинальные рисунки Блэра! Большим пальцем он быстро перелистывал веер раскадровок, как это делают аниматоры, и Гиацинтовый Бегемот танцевал! Этот момент пронизывала мощная, удивительная магия. Затем я попросил показать сцену с розовым слоником из «Дамбо», и Джон принес нужные рисунки. Я чувствовал, что между нами образуется духовная связь.

Но для нас с Эдом Джон оставался неприкасаемым. Он работал на Disney. Тем не менее тогда он произвел на нас сильное впечатление. Несмотря на свою молодость, он уже дважды получал студенческую премию Академии за лучшую анимацию в Калифорнийском институте искусств — школе персонажной анимации, которую основал сам Уолт.

В самолете по пути с конференции Siggraph 1983 года мы с Эдом решили, что на следующей Siggraph, в 1984 году, мы объявим миру, что занимаемся персонажной анимацией. Это будет нашим уникальным отличием. Еще в самолете, снова на тех же зеленых листах, я набросал раскадровку для проекта, который первоначально назвал «Мой завтрак с Андре», в честь фильма «Мой ужин с Андре» с Андре Грегори и Уоллесом Шоном 1981 года, которым особенно восхищались в нашем кругу.

Итак, в нашей анимации андроид по имени Андре просыпался, вставал и сильно потягивался. Поднималось солнце, освещая богатый и красивый природный ландшафт (отъезд камеры). Персонажная анимация! Не скажу, что это очень хороший сценарий, но тогда ничего подобного я еще не видел.

К счастью, пару месяцев спустя Эд побывал на конвенте, проходившем на лайнере Queen Mary, который навсегда пришвартован в Лонг-Бич и превращен в локацию для проведения различных мероприятий. Мы беседовали по телефону, обсуждая наши ежедневные коммерческие дела, когда Эд удивил меня: «Кстати, я только что видел Джона Лассетера. Он больше не работает на Disney». «Клади трубку ПРЯМО СЕЙЧАС, — заорал я, — снова найди его и возьми на работу!» Эд, конечно же, знал, что это отличная идея, и именно так он и сделал.

Возникла только одна загвоздка. Джордж Лукас сказал Эду, что группа компьютерной графики не должна заниматься персонажной анимацией. Он настаивал, что ею может заниматься только Disney. Поэтому в конце 1983 года Джон устроился к нам «разработчиком пользовательских интерфейсов», а не «мультипликатором», чтобы Джордж ничего не заподозрил. Долгие годы мы даже не подозревали, что Джона уволили из Disney именно из-за желания заниматься компьютерной мультипликацией.

Джон посмотрел мои раскадровки «Завтрака с Андре» и деликатно спросил: «Могу ли я внести несколько предложений?» — «Конечно, ради этого ты здесь!» И он приступил к спасению проекта. Во-первых, он сделал андроида более круглым и симпатичным. Эд разработал для него более податливое тело каплевидной формы. Оно было гораздо более гибким, чем набор сфер. Тогда Джон предложил добавить еще одного персонажа — пчелу. Каплевидные модели Эда стали ее ногами. Чтобы окончательно отдать дань уважения «Моему ужину с Андре», пчелу пришлось назвать Уолли в честь Уоллеса Шона. В конечном счете она стала пчелкой Уолли. Мы изменили название на «Приключения Андре и пчелки Уолли». Это была первая работа Джона с группой, известной теперь как студия Pixar, и мой второй опыт в качестве режиссера.

Пока не появился Джон, роль аниматора отводилась мне. В конце концов, я ведь сделал восхитительные хлопающие ладоши. Я еще не понимал, какой удивительный талант нужен настоящему персонажному аниматору, — я таковым определенно не обладал. Я заставлял треугольники двигаться, но не знал, как заставить их проявлять эмоции. Я не мог вдохнуть в них жизнь. Я заставлял ладоши хлопать, но мне не под силу убедить вас, что они принадлежат сознательному существу. Джон делал все это легко и непринужденно.

Наша команда не совсем успела закончить «Приключения Андре и пчелки Уолли» к Siggraph 1984 года в Миннеаполисе, но руководители конференции все же разрешили нам показать, что у нас получилось. Нет ничего приятнее, чем наблюдать, как тысячи ваших коллег, которые точно понимают, чего вы достигли, кричат, топают, аплодируют и одобряют вашу работу. Теперь мы занимались персонажной анимацией и отчетливо об этом заявили под гордо развевающимся флагом.

«Приключения Андре и пчелки Уолли» совершили настоящий художественный прорыв и воспринимались именно так. Это не просто подвижные объекты в форме неких существ. Это два героя, которые выражали эмоции. Они хулиганили! И там присутствовал сюжет. Конечно, незатейливый и немного агрессивный: гигантская пчела угрожала маленькому мальчику Андре, он пытался отвлечь ее внимание, потом начиналась погоня; гигантская пчела догоняла маленького мальчика и жалила его до чертиков, — но все-таки это была история. И всем этим управлял профессиональный персонажный аниматор.

Прорыв мы совершили и в технологической сфере. Короткий мультик продемонстрировал, что у нас есть программы для моделирования, анимации, рендеринга и записи фильмов, достаточно сложные, чтобы воплотить мечту о созданных полностью на компьютерах трехмерных персонажах на экранах кинотеатров. И он отличался двумя конкретными технологическими достижениями.

Билл Ривз модифицировал свою идею системы частиц, которая имитировала плавящий планету огонь в «Демонстрации Генезиса». Придайте частице зеленый цвет и сделайте так, чтобы она оставляла за собой визуализированную траекторию движения, и вы получите… траву. Он также разработал версию своей системы для генерации деревьев. Она создавала облака частиц, которые имитировали листья, прикрепленные к стволам и ветвям, — желтые и оранжевые для лиственных деревьев и темно-зеленые для хвойных. Как и в случае с фракталами, несколько несложных вычислений, повторенных миллионы раз, усилили простой набор числовых данных, превратив его в сложное изображение «настоящего» леса. Впервые.

Но, что самое важное, «Андре и пчелка Уолли» продемонстрировали миру на Siggraph в 1984 году, что мы решили проблему размытия в движении. Крылья пчелки Уолли были размыты. Быстрое бегство Андре размазало его по всему кадру. Компания Cray выделила нам время на одном из своих суперкомпьютеров, чтобы мы успели закончить фильм к началу конференции Siggraph (и, возможно, чтобы уговорить нас наконец сделать у них заказ). На рисунке 8.14 показаны четыре последовательных кадра. По словам Лорена Карпентера, руководившего расчетами на Cray, количество вычислений в одном из кадров было настолько велико, что оно «поставило Cray на колени». Он решил, что никто не заметит, что размытие персонажа не просчитано до конца, и ограничился неполным кадром. Никто не заметил.

Рис. 8.14

Мы очень обрадовались и удивились, что Джордж Лукас посетил просмотр «Андре и пчелки Уолли». На самом деле он приехал в Миннеаполис на концерт кантри-певицы Линды Ронстадт, но не упустил возможности заглянуть на нашу премьеру на Siggraph. Лукас наконец увидел, на что мы способны! И увидел, что мы собрали и привели в восторг большую аудиторию. Много лет спустя, читая замечательную книгу Майкла Рубина «Создатель дроидов» об истории студии Lucasfilm, я узнал, что Лукас ненавидел эту нашу работу. К счастью, он нам он ничего не сказал. Это разбило бы нам сердца.

Нашу работу нельзя было назвать законченной и еще по одной причине, хотя она обсчитывалась на суперкомпьютере Cray. В одной сцене на переднем плане все еще фигурировали каркасные персонажи, хотя вряд ли кто-нибудь из тех, кто присутствовал на просмотре, обратил на это внимание. Кроме того, она не достигла той степени безупречности, как более поздние анимации Лассетера. Это был его первый опыт создания полностью компьютерного фильма с трехмерными анимированными моделями. Почти все, кто находился в зрительном зале — тысячи человек, — оценили огромный прогресс, которого мы достигли, и увидели будущее. Но Лукас, по-видимому, видел только то, что находится прямо перед ним в настоящий момент. Итак, перед вами еще один пример того, как человек с отличным от нашего ви´дением непреднамеренно помог нам реализовать наше. Но и мы помогли ему реализовать его собственное — четко спланированное и не менее важное — видение применения компьютеров в кинопроизводстве. Более того, несколько лет спустя он все же изменил свои воззрения. Лукас более плотно, чем любой другой кинематографист того времени, насытил созданными с помощью компьютеров образами вторую серию саги «Звездные войны».

А Джон Лассетер и Билл Ривз впервые отработали принципы своего сплоченного художественно-технического дуэта во время работы над «Андре и пчелкой Уолли». Джон занимался художественной стороной, а Билл — технической. Они бы не справились друг без друга.

Я очень горжусь, что среда, созданная нами в Lucasfilm и позже перенесенная в Pixar, не допускала пагубных стычек между технарями и художниками. Мы сформировали команду из взаимно восхищающихся друг другом творческих людей — и технарей, и художников, — равных по престижу, зарплате, карьерным перспективам, льготам, а главное, достоинству и уважению.

Одно малоизвестное «почти» произошло в последние годы нашей работы в Lucasfilm. Несмотря на сопротивление Джорджа Лукаса нашему стремлению заниматься компьютерным анимационным кино, мы чуть не сделали первый фильм, тот самый Фильм, с японской компанией.

В 1984 году представители наследника основателя крупной японской полиграфической компании Shogakukan («Сёгакукан») обратились к нам с масштабной идеей: снять первый цифровой фильм на основе легенд про озорного Царя обезьян (Сон Гоку), любимца японских детей (на самом деле — большинства детей в Восточной Азии). В этой концепции мне чудилось какое-то волшебство, так как Сон Гоку сопровождал нас на протяжении многих лет. Лэнс Уильямс рассказал нам о нем еще в Нью-Йоркском технологическом институте. Не возникало даже сомнений, что именно мы отлично подходим для этой работы. Все знаки указывали на это. Джон Лассетер немедленно приступил к изучению характера героя (рис. 8.15).

Но сколько мы должны запросить за производство такого фильма? Еще не существовало никакой методики расчета стоимости полнометражного цифрового фильма, поэтому я создавал ее с нуля. Я крутил цифры так и сяк, пытаясь принять во внимание все, что знал о логистике анимации, пиксельном разрешении, стоимости и скорости компьютеров, необходимом дисковом пространстве, расходах на съемку, персонал и оборудование, — всё, кроме расходов на рекламную кампанию и дистрибуцию копий. Результаты выходили не очень хорошими. В 1985 году заказчику все это обошлось бы в 50 миллионов долларов (около 120 миллионов в пересчете на сегодняшние деньги). Получившаяся сумма в два-три раза превышала разумную смету, особенно с учетом рискованности всей затеи — первого цифрового фильма с трехмерными персонажами и декорациями. Но черт с ними, с деньгами, — главная проблема заключалась в другом: по моим расчетам выходило, что на все вычисления нам потребовалось бы три года. Лорин Херр, наш переводчик и организатор делового взаимодействия с японцами, сразу поняла, что три года — это решающий фактор. Поэтому мы максимально изящно поблагодарили за предложение и отказались от сделки.

И усвоили ценный урок: у нас все еще слишком мало вычислительной мощности, чтобы экономически эффективно делать цифровые фильмы. Нам требовалось улучшение еще на один порядок. В 1985 году мы с кристальной ясностью, основанной на законе Мура, осознали, что нужно ждать еще пять лет, чтобы создать Фильм.

Отказавшись от проекта «Царь обезьян», мы погрузились в размышления, будет ли достаточно наших программных технологий в том виде, в каком они уже существовали в 1985 году, для создания Фильма, когда закон Мура наконец обеспечит аппаратную производительность нужного порядка. Будет ли это просто вопросом времени? Мы поставили правильный вопрос, но дать на него точный ответ было очень трудно.

Когда мы впервые задумали Фильм в 1970-х годах, еще работая в Нью-Йоркском технологическом институте, мы полагали, что у нас уже достаточно технологий, таких как программа Tween Эда Катмулла и моя программа TintFill для переднего плана, моя программа Paint3 для фона, опыт съемок Дэвида Ди Франческо и альфа-канал для создания композитных изображений. Что касается оборудования, мы имели в своем распоряжении 18 кадровых буферов, первый управляемый компьютером покадровый видеорегистратор вещательного качества для тестов и несколько мощных компьютеров. Также мы располагали цифровым аудио и зачатками системы логистики мультипликации, работе с которыми научились в классической анимационной студии в нашем кампусе. И в некотором смысле мы имели доступ к персонажным аниматорам, таким как Джонни Гент, работавший над «Табби Тубой» для дяди Александра Шуре. Нас окружали люди, которые уже обладали опытом съемки полнометражных мультфильмов и работали над новыми. Так что нам Фильм казался вовсе не маловероятной возможностью.

Рис. 8.15

Но мы в своих прогнозах допустили несколько просчетов. Самое главное: мы быстро поняли, что работа над двумерной полностью компьютерной анимацией слишком сложна для настоящих художников-мультипликаторов (тех, кто обучен классической целлулоидной анимации) из Нью-Йоркского технологического института. И мы со временем осознали, что студия Александра Шуре не справляется с продюсерскими задачами.

Кроме того, наша концепция Фильма на тот момент не соответствовала Центральной Догме компьютерной графики. Это кажется удивительным, поскольку Pixar прославилась созданием первого полнометражного цифрового фильма в «симфонической» форме Центральной Догмы — персонажной анимации, основанной на трехмерных евклидовых геометрических моделях, действующих в мире ньютоновской физики, видимых в линейной перспективе через виртуальную камеру и визуализируемой в пиксели для отображения.

В то время подобная симфоническая форма не была чуждой нам концепцией, но цифровой фильм на ее основе по-прежнему оставался недостижимым. В конце 1970-х годов, когда Лэнс Уильямс предложил сделать «Роботов» в качестве первого фильма в форме, отвечающей концепции Центральной Догмы, время еще не пришло. Он с Диком Ландином и несколькими другими сотрудниками Нью-Йоркского технологического института сняли несколько секунд довольно впечатляющих кадров. Но мы с Эдом проверили цифры на соответствие закону Мура и поняли, что производство полнометражных «Роботов» обойдется в сотни миллионов. Другими словами, время еще не пришло.

Но что, если бы закон Мура нас не ограничивал? Предположим, что нам бы хватило вычислительной мощности по разумной цене, чтобы снять полнометражный цифровой фильм. Далее предположим, что аниматоры персонажей работали бы с нами. В какой момент у нас оказалось бы достаточно технологических знаний, чтобы снять Фильм?

Удивительный ответ заключается в том, что в таком случае нам бы ничего не мешало сделать Фильм, за исключением одного технологического момента. По сути, всегда требовались программы для моделирования, анимации и рендеринга, но их качество росло по мере роста коэффициента, определявшегося законом Мура, как серфер взлетает все выше по вздымающейся волне. Гениальность художественно изобретательных аниматоров, собственно, и состоит в том, что они всегда способны воплотить захватывающую историю с учетом текущего уровня технологий. В конце концов, в 1937 году аниматоры Диснея превратили рисунки карандашом и заливку в полнометражную «Белоснежку».

Один из необходимых технологических скачков для создания цифровых фильмов, отвечающих Центральной Догме, — это размытие движения. Его значимость мы осознали — еще не зная, как его достичь, — после того как испытали неприятные ощущения при просмотре знаменитой покадровой съемки битвы скелетов в «Ясоне и аргонавтах» Рэя Гаррихаузена. Единственный технологический барьер, сдерживающий, скажем, реализацию «Роботов» (конечно, без учета закона Мура), заключался в отсутствии подходящего решения для размытия движения. Но вернемся к реальности: размытие движения не имело эффективного решения до тех пор, пока трио Пролетариев (Кук, Карпентер и Портер) не использовало эту технологию при создании «Андре и пчелки Уолли» в 1984 году, как показано на захватывающей картинке Портера «1984» (рис. 8.9). Так что в 1985 году у нас было отличное решение для размытия движения.

Ранее я подробно описал несколько технологических приемов: использование фракталов, системы частиц и патчей-лоскутов при моделировании сложных поверхностей, а также наложение текстурных и рельефных карт, затенение по Фонгу и трассировка лучей при рендеринге. Но я утверждаю, что для Фильма не требовалось ничего из этого, кроме размытия движения. Строить прогнозы задним числом так же сложно, как и строить предположения о будущем, — если только вы сами не присутствовали там и тогда. Нам сейчас почти невозможно представить существование мира без этих методов и без сопутствующего уровня вычислительной мощности.

В качестве аргумента отмечу, что, по моему наблюдению, с каждым пятилетним поворотом рукоятки закона Мура становится возможным использовать все больше и больше изощренных технологических приемов. И их часто используют, чтобы еще более драматическим образом продемонстрировать приверженность Центральной Догме. Хотя это и не обрело статуса закона, можно сформулировать гипотезу, что в природе существует некая закономерность «постоянства объема кинопроизводства». По мере того как закон Мура экспоненциально сжимает время вычислений, необходимых для уже известных технологий, методы моделирования, анимации и рендеринга становятся все более изощренными, чтобы поглотить высвободившиеся вычислительные мощности и поддерживать неизменным постоянное общее время кинопроизводства на уровне года или около того. Это «постоянство» иногда называют законом Блинна, приписывая его формулировку Джиму Блинну.

На практике это означает, что сообщество компьютерной графики непрерывно изобретает новые алгоритмы и совершенствует старые. И что производственный процесс совершенствуется еще более эффективными способами. Следовательно, в погоне за созданием Фильма мы поддерживали технологический прогресс на постоянно высоком уровне, пока ждали, когда сработает закон Мура.

Джордж и Марсия Лукас развелись в 1983 году. Поскольку по законам Калифорнии супруги владеют совместно нажитой собственностью в равных долях, Джордж фактически потерял половину своего состояния за одну ночь. В течение следующих нескольких лет компьютерное подразделение студии разделилось на несколько отдельных компаний, предназначенных для продажи. Первыми ушли Проект обработки звука и его продукт SoundDroid, а также Проект редактирования видео и его продукт EditDroid. Они стали частью спин-оффа под названием The Droid Works. В Lucasfilm Джордж обязательно хотел оставить игровой проект. Впоследствии он превратился в игровую студию LucasArts. Джорджу оставалось только решить, что делать с Проектом компьютерной графики.

Я зашел в кабинет Эда Катмулла, расположенный рядом с моим, и объявил: «Эд, Лукас собирается нас уволить. Он никогда по-настоящему не понимал, кто мы такие и чем занимаемся, и он больше не может позволить себе содержать нас». Затем я употребил религиозное слово, значимое для нас обоих: «Если мы позволим нашей группе мирового класса распасться, то совершим настоящий грех. Давай создадим компанию, которая станет домом для всех нас». Это был разговор двух компьютерных ботаников. Никто из нас не имел никакого предпринимательского опыта с соответствующей ответственностью за бюджет и ресурсы. Максимум, нам доводилось работать менеджерами среднего звена. Мы даже не догадывались, насколько сложно привлекать деньги под проект.

Эд, конечно, сразу же согласился со мной, и мы первым делом отправились в «Чистое, хорошо освещенное место для книг» — популярный книжный магазин в близлежащем городке Ларкспур-Лэндинг, по соседству с Сан-Рафаэлем, откуда отправляются паромы в Сан-Франциско. Каждый купил по две книги (мои — на рис. 8.16) о создании компаний. Вы, наверное, уже составили представление о минимальном уровне нашего опыта в бизнесе в те времена.

Рис. 8.16

«Что будет делать компания?» — резонно спросил Эд, поскольку мы оба знали, что из Проекта компьютерной графики не получится отдельная киностудия, по крайней мере сейчас. Или, что гораздо важнее, у нашей компании пока что не выйдет извлечь выгоду из подобной перспективы. Проект «Царь обезьян» убедил нас, что нужно дождаться еще одного скачка согласно закону Мура. Снять настоящий фильм, который окупит все затраты, можно будет не ранее чем через пять лет, когда компьютеры станут на порядок лучше. Тем временем мы должны были заниматься чем-то еще, чтобы не потерять команду. Расчеты показывали, что ни компания — разработчик программного обеспечения, ни компания, занимающаяся цифровыми эффектами и рекламой, не принесет доходов, достаточных для содержания сорока человек. Мы решили сосредоточиться на аппаратном обеспечении.

У нас имелся прототип специального компьютера Pixar Image Computer, который группа сделала для Джорджа Лукаса как часть системы оцифровки — оптического принтера. Мы собирались следовать стандартной практике Кремниевой долины, привлекая капитал для создания прототипа и запуская его в производство. Других идей у нас не возникло. Пусть это будет наш компьютер. Серийный выпуск оборудования для цифрового кино обеспечит выплату зарплат всем сотрудникам нашей группы и позволит сохранить ее в течение тех пяти лет. Конечно, если бы мы не спешили и задумались, то наверняка бы вспомнили, как мало знаем о маркетинге, продажах, аппаратной инженерии, производстве, финансах, человеческих ресурсах и так далее. Наши знания находятся на уровне наемных сотрудников исследовательского отдела. Предполагалось, что мы всему научимся из четырех тоненьких книжек. Мы отчаянно хотели сохранить группу, которую собрали с таким трудом, сделать первый Фильм и при этом получать зарплату, пока не сработает закон Мура.

Поэтому мы с Эдом составили бизнес-план по разработке, выпуску и продаже Pixar Image, «суперкомпьютеров для пикселей», а также по сохранению небольшой группы экспертов по компьютерной анимации, собранной вокруг Джона Лассетера и Билла Ривза. Конечно, при условии, что они согласятся с планом, а ведь его предстояло исполнять в течение следующих пяти лет и готовиться сделать Фильм, как только придет время. Теперь мы приступили к поиску средств на создание компании.

Но сначала нам пришлось продать эту идею 38 другим членам Проекта компьютерной графики студии Lucasfilm. Мы с Эдом водили каждого из них, обычно по одному, в наш любимый тайский ресторан в центре Сан-Рафаэля. Мы описывали наш план, подчеркивая, что все сотрудники станут совладельцами новой компании. Мы, закоренелые коллективисты, действительно подразумевали всех, независимо от должностных обязанностей.

И, конечно, новой компании требовалось имя. Тут мы тоже выступали за равноправие. Каждый получил возможность придумать название и попытаться убедить других, что оно прекрасно. Однажды мы уже потерпели неудачу в этом вопросе. Мы неоднократно пытались придумать компьютерному подразделению Lucasfilm какое-нибудь крутое название, вроде того, что было у Industrial Light & Magic. Даже сам Джордж Лукас поучаствовал. Но мы не добились, чтобы хотя бы два человека из нашей команды согласились на какой-либо из предложенных вариантов, так что переименование не состоялось. И вот мы снова столкнулись с той же проблемой. В первых документах, относящихся к проекту нашей компании, мы ставили местозаполнитель. Какое-то время в качестве названия использовалось GFX (произносится как graphics — «графика»), но оно не устроило никого, а потом выяснилось, что и все равно уже занято. Наконец, пришло время подавать учредительные документы в регистрационную палату Калифорнии. Эту формальную процедуру нельзя было выполнить без названия. В отчаянии я обратился к команде: «Знаете, теперь все ассоциируют нас со словом Pixar — кратким названием нашего компьютера. Почему бы нам просто не использовать его в качестве названия всей компании?» Раздался общий стон разочарования и неодобрения, но время уже поджимало, а лучшего варианта никто не предложил. Так компания Pixar получила свое название. Я уже рассказывал, как мы назвали компьютер фальшивым (или, скажем, «выдуманным») испанским глаголом pixar, якобы означающим «рисовать картинки». Итак, Pixar — это компания, которая делает изображения. Если подумать, она создает фальшивые изображения — они как будто не основаны на реальности и не взяты из нее.

Но вместо того чтобы говорить «фальшивые» изображения, давайте лучше назовем их нереальными.

В середине 1985 года мы с Эдом Катмуллом начали методичную работу по поиску финансирования для нашей новой компании. Бизнес-менеджеры Джорджа Лукаса стремились помочь нам, поскольку Lucasfilm получила бы часть дохода от любой сделки. Но мы не знали, через какое время они просто перекроют нам финансовый кран.

Первая идея заключалась в том, чтобы обратиться к венчурным капиталистам, которые, как известно, финансировали большинство стартапов в Кремниевой долине. С помощью студии Lucasfilm и ее бизнес-менеджеров мы разослали бумаги 36 венчурным инвесторам или инвестиционно-банковским фирмам. Но мы не соответствовали их представлениям о стартапе с начальным капиталом, а потому от всех получили отказы.

Затем мы попытались создать «стратегическое партнерство» с крупной корпорацией. Из десяти человек, с которыми мы серьезно поговорили, восемь нам отказали. Но мы почти заключили сделки с двумя крупными корпорациями, General Motors и Philips, — в то время General Motors была крупнейшей по капитализации компанией в мире.

Мы взаимодействовали с подразделением General Motors, которое раньше было отдельной компанией Electronic Data Systems. Ее возглавлял Генри Росс Перо. Спустя несколько лет он баллотировался в президенты США. General Motors рассматривала нашу технологию как способ заменить их дорогостоящую и трудоемкую методику лепки из глины для визуализации новых моделей автомобилей.

Затем с General Motors решила сотрудничать компания Philips, чтобы разделить финансовую нагрузку. Мы предлагали новую технологию визуализации, позволяющую получать трехмерные изображения внутренних органов человека с помощью компьютерной томографии без хирургического вмешательства — потенциально революционное достижение в области медицины.

В конце концов дело дошло до решающей встречи в зале заседаний советов директоров Philips в их штаб-квартире в центре Манхэттена, возвышающейся над Центральным вокзалом. Мы подписали договор о намерениях между General Motors, Philips и Lucasfilm 7 ноября 1985 года.

Но сделка так и не состоялась. Человек, которого никто из нас и, возможно, никто из присутствовавших в тот день в зале заседаний не знал лично, мистер Росс Перо, тремя днями ранее устроил разнос совету директоров General Motors за покупку компании Hughes Tools более чем за 5 миллиардов долларов. Такого, чтобы один член правления устроил разнос другим, в General Motors не было со времен Великой депрессии! Произошло нечто невероятное. Прошел еще год, прежде чем Перо фактически выгнали из General Motors, вручив 700 миллионов долларов в качестве компенсации. Но когда в Wall Street Journal появилась новость о скандальном инциденте, сразу же стало ясно, что все проекты, связанные с Перо, в General Motors обречены. Наша сделка провалилась в образовавшуюся пропасть.

Здесь самое время напомнить, что основная идея моей книги — Цифровой Свет, а не только цифровые фильмы. Обратите внимание, что ни визуализации автомобильных кузовов для General Motors, ни медицинская визуализация для Philips не имели ничего общего с цифровыми фильмами. Однако и то и другое относится к Цифровому Свету. Моделирование кузова автомобиля — это часть автоматизированного проектирования (САПР), хотя в нашем случае General Motors больше интересовались изображениями автомобилей, которые мы визуализировали из внутренних компьютерных моделей, чем самими объектами. Медицинская визуализация принадлежит к области обработки изображений — фотографирование (человеческого тела), а не их создание. Мы также исследовали еще несколько направлений Цифрового Света: визуализация нефтяных скважин для геологоразведки, разведывательные спутниковые снимки, испытания механических деталей на тепловые нагрузки, газодинамика. Мы готовились использовать любой шанс, чтобы получить финансирование и сохранить команду для достижения главной цели — Фильма.

Сорвавшаяся сделка с General Motors — Philips стала нашей сорок шестой попыткой получить финансирование. Мы с Эдом очень разозлились. А у студии Lucasfilm окончательно лопнуло терпение. В лимузине из аэропорта, на обратном пути в Калифорнию, мы решили совершить отчаянную попытку — вернуться к обсуждению сделки со Стивом Джобсом.

Тремя месяцами ранее, 4 августа 1985 года, Стив пригласил Эда, меня и Аджита Гилла, нашего финансового менеджера, в свой особняк в Вудсайде, недалеко от Пало-Альто. Стива только что выгнали из Apple. Он предложил купить нас у Lucasfilm и возглавить нашу новую компанию. Мы отказались, так как хотели сами управлять компанией, но согласились принять его деньги. Его устроил наш вариант.

Но когда Стив представил студии Лукаса свое финансовое предложение, его сразу отвергли. Он был готов заплатить в диапазоне от 7 до 14 миллионов долларов. На переговорах с General Motors и Philips шла речь о цене от 20 до 36 миллионов долларов. И сделка должна была вот-вот состояться.

Но теперь, когда переговоры с General Motors — Philips сорвались, мы с Эдом решили позвонить Стиву и попросить его снова сделать Лукасу то же самое предложение — на сумму меньше половины той сделки, которая только что потерпела крах. Мы полагали, что студия Lucasfilm, пребывающая в тяжелом финансовом положении, умерит свои запросы. Стив откликнулся на нашу просьбу, Lucasfilm пошла на снижение запрашиваемой суммы, и именно так Стив Джобс стал тем венчурным капиталистом, который профинансировал создание студии Pixar. Обратите внимание: он не купил студию Pixar, как очень часто и совершенно неправильно пишут об этой сделке. Он вложил свои средства в компанию, которая выделилась из более крупной компании — студии Лукаса — и частично принадлежала своим сотрудникам.

Сделку заключили практически на тех же условиях, которые мы обсуждали еще в августе. Мы с Эдом будем управлять компанией: он — в качестве президента, я — в качестве исполнительного вице-президента. Стив будет мажоритарным акционером, и мы втроем войдем в состав правления корпорации. Все наши сотрудники получат долю в компании. Стиву будет принадлежать 70 %, а сотрудникам — 30 %. Мы с Эдом получили по 4 % каждый, а 38 других сотрудников-основателей — соответствующие меньшие доли по градуированной шкале. Стив обеспечил компании капитализацию в 10 миллионов долларов. При подписании соглашения мы получили от него первый чек на 5 миллионов, и Эд немедленно передал его студии Lucasfilm как оплату за покупку прав на технологию, которую мы разработали там, включая Pixar Image Computer. Мы получили исключительные права, но Lucasfilm оставила за собой возможность использовать все эти технологии в том виде, в каком они существовали на момент нашего ухода.

Итак, студия Pixar родилась 3 февраля 1986 года в Сан-Рафаэле, к северу от Сан-Франциско. Нам удалось сохранить всю команду, включая наших самородков-аниматоров. И, как и положено всем начинающим предпринимателям, мы верили, что у нас есть замечательный продукт — компьютер Pixar Image. Тем временем Стив продолжал руководить компанией NeXT, еще одним проектом по производству мощного компьютерного оборудования, примерно в полутора часах езды к югу от Сан-Франциско. Это физическое расстояние оказалось для нас Божьим даром.

В течение следующих пяти лет мы сохраняли возможности для создания Фильма путем выпуска серии короткометражных мультиков, сделанных Лассетером, Ривзом и их командой. Таким образом они оттачивали свои навыки, а все мы развивали наши алгоритмы моделирования, анимации и рендеринга и просто поднимали себе настроение. Среди этих короткометражек был «Люксо-младший» (Luxo Jr., 1986), первый компьютерный анимационный фильм после «Голода» (Le Faim, 1974), номинированный на премию «Оскар». Безусловно, он первым из трехмерных анимационных фильмов, соответствующих Центральной Догме, удостоился такой чести. Затем «Оловянная игрушка» (Tin Toy, 1988) получила в 1989 году премию «Оскар» за лучший анимационный короткометражный фильм не потому, что была компьютерной, а потому, что это был превосходный короткометражный мультик. Лассетер и Ривз разделили за это достижение «Оскар» — первый из множества будущих наград, полученных студией. Также Pixar в тот период выпустила короткометражки «Звезда цирка» (Red’s Dream, 1987) и «Безделушка» (Knick Knack, 1989). Эти четыре жемчужины поддерживали нас в трудные годы.

Каждый из наших мультиков демонстрировал улучшения базовых внутренних технологий. Например, «Люксо-младший» включал первые сочлененные объекты, которые сами затенялись от нескольких источников света. Два источника света, две лампы, участвовали в самой сцене — еще одно достижение, которое мы реализовали первыми.

С художественной точки зрения посредством мультфильма «Люксо-младший» Джон Лассетер пытался убедить своих коллег-аниматоров не считать компьютер тупой, негибкой, прямолинейной, арифметической машиной для расчетов, противоречащей искусству. Со своей задачей он справился блестяще. Все, а особенно художники-аниматоры, воодушевленно отметили, насколько живыми выглядели лампы. У них, правда, еще возникал вопрос: какого они пола? Отец и сын? Мать и дочь? Правдоподобность лежащих в основе геометрических моделей и точность затенения аудиторию заботили гораздо меньше. Джон намеренно не обозначил гендерную принадлежность ламп, оставляя это на усмотрение зрителей.

Еще одна жемчужина — «Звезда цирка» — разрабатывалась, чтобы продемонстрировать наш аппаратный продукт — компьютер Pixar Image. Действие разворачивается в велосипедном магазине — этот фон стал самой сложной сценой трехмерной компьютерной графики, которую кто-либо пытался визуализировать в те времена.

Наша пятая жемчужина — это CAPS, компьютерная система для производства анимации, которую мы создали для Disney. Она позволяла поддерживать взаимно уважительные отношения между Pixar и Disney, а еще приносила нашей развивающейся компании основной доход. Все классические анимации Disney в течение многих лет выполнялись в системе с использованием компьютеров Pixar Image с программным обеспечением, написанным сотрудниками Pixar (и логистическим программным обеспечением, созданным сотрудниками Disney). Disney впервые использовал CAPS для одной сцены в «Русалочке» (1989). Первым фильмом, полностью сделанным с помощью нашей системы, были «Спасатели в Австралии» (1990). В итоге CAPS использовался для производства 18 художественных фильмов студии Disney, которая оставалась основным заказчиком Pixar Image Computers. Это было частью сделки CAPS.

Но как компьютерная компания Pixar была довольно паршивой. Нет, не компьютеры, а именно сама компания. Даже знаменитый производитель оборудования Стив Джобс, владеющий большей частью компании и входивший в правление, не сумел сделать ее успешной. За пять лет мы неоднократно терпели неудачи. Они обычно выражались в следующем: у нас заканчивались деньги и мы не могли оплатить наши счета или выдать зарплату сотрудникам. Будь у нас какой-нибудь другой инвестор, а не Стив, мы бы уже давно пошли ко дну. Но при каждой неудаче (по-видимому, Стив не мог смириться, что его очередное предприятие после изгнания из Apple потерпит крах) он ругал нас, руководителей… и выписывал очередной чек. Однако он не забывал эффективно обесценивать капитал своих сотрудников. После нескольких таких «рефинансирований» оказалось, что он вложил в Pixar около половины своего 100-миллионного состояния, полученного от Apple. В пересчете на сегодняшние деньги он вложил в Pixar около 115 миллионов долларов. На пятом году существования компании он наконец выкупил ее целиком, но выкупил у сотрудников 6 марта 1991 года, а не у Лукаса в 1986-м, как многие полагают. Теперь он стал единоличным владельцем компании. У нас, сотрудников, больше не осталось ни одной акции.

Но компания по-прежнему переживала серьезные финансовые проблемы. Мы пробовали заниматься всевозможными побочными проектами, например телевизионными коммерческими роликами, которые делала небольшая команда Джона Лассетера и Билла Ривза. Но все это не приносило достаточной прибыли, чтобы окупить нашу компанию. Джобс рассматривал идею объединения нас с NeXT, но его соучредители не поддержали такую инициативу. На самом деле оставался только один выход. Нас мог спасти только закон Мура, сделав наконец производство Фильма экономически оправданным. Только полнометражный фильм принесет достаточно денег, чтобы спасти нас.

Часы закона Мура неумолимо тикали, и наконец наш час пробил: компьютеры преодолели новый рубеж — шаг в 100 000 раз. И тогда — через пять лет после создания Pixar, в 1991-м, — на сцену вышла студия Disney, руководство которой предложило: «Давайте сделаем тот фильм, о котором вы всегда мечтали». Да, они профинансировали создание этого фильма и спасли репутацию (и инвестиции) Стива Джобса и компанию Pixar. Идея Фильма не принадлежит Стиву Джобсу, как иногда ошибочно считают. Джобс занимался компанией NeXT. Он никогда не говорил с нами о кино. Это была идея Disney, наша мечта и цель с 1970-х годов.

Мы пять мучительных лет ждали возможности начать работу над Фильмом. Но возникла серьезная проблема. Наш ведущий аниматор Джон Лассетер отказывался работать со студией Disney. Ведь его оттуда выгнали. И он полагал, что Джеффри Катценберг, возглавлявший отдел анимации Disney, — тиран, с которым невозможно работать. Итак, мы с Эдом снова ужасно разозлились.

Но нам повезло. Катценберг понял проблему и сам сделал шаг нам навстречу. В 1991 году он организовал совещание в штаб-квартире студии Disney в Бербанке — специально чтобы убедить Джона в возможности работать со студией и с ним самим. Мы с Эдом отправились на примирительную встречу, вместе с нами поехали Джон Лассетер и Билл Ривз, наш дружный дуэт из аниматора и программиста. Приехал туда и Стив Джобс — по-видимому, чтобы оценить коллегу-тирана Катценберга.

Совещание вел Катценберг. Он начал с сюрприза для нас с Эдом: «Я пытался переманить у вас Джона, но он оказался верен вам и не захотел вас покинуть». Мы этого не знали. Джон ничего не сказал нам. «Поэтому, чтобы использовать его талант, над созданием фильма студия Disney будет работать совместно с компанией Pixar». Я перефразирую Катценберга: «Джон, я знаю, что считаешь меня тираном, поэтому сегодня я собираюсь сделать следующее. Мы со Стивом покинем переговорную. Тогда остальные смогут сколько угодно общаться друг с другом, если захотят, и задавать самые откровенные вопросы, какие только смогут, о том, как здесь все устроено на самом деле и каков я в работе». Так, собственно, и получилось. В частности, остаток дня Джон провел в беседах с аниматорами и режиссерами студии Disney.

После совещания, когда мы шли к нашей арендованной машине, чтобы ехать в аэропорт Бербанка, я догнал Джона, и мы оказались немного впереди всех остальных. Наш разговор никто бы не услышал. «Ну и что ты думаешь?» — нервно спросил я его. «Я могу этим заняться», — ответил Джон. Я сразу понял, что сделка состоялась. Неважно, что нам предстояло обсудить и заключить контракт, решить технические и организационные вопросы, — все по-настоящему существенные препятствия уже устранены.

Но уйти пришлось мне — из-за конфликта со Стивом Джобсом. Примерно годом ранее на одном из рутинных совещаний совета директоров студии Pixar в ходе обычного спора он вдруг начал вести себя по отношению ко мне совершенно издевательским образом, что обернулось печально известным «инцидентом с презентационной доской». Более подробно об этом можно прочитать в книге Уолтера Айзексона «Стив Джобс».

Теперь, когда наш визионерский Фильм, о котором мы мечтали 15 лет, вот-вот воплотится в жизнь, мне предстояло покинуть Pixar. Поэтому я договорился об условиях своего ухода, чтобы основать новую компанию Altamira Software (в честь пещеры с рисунками первобытных людей и опять с испанским словом). Она занималась программой с альфа-каналом для редактирования пикселей. Программа появилась на рынке в 1994 году, а пару месяцев спустя компанию купила корпорация Microsoft.

Эд Катмулл подписал контракт с Disney в июле 1991 года. В студии Pixar, где я продолжал занимать свой кабинет до сентября того же года, мы отпраздновали сделку шампанским.

И вот это наконец случилось! За четыре года компания Pixar с помощью студии Disney завершила работу над полнометражным, полностью компьютерным анимационным Фильмом, и в 1995 году состоялась его премьера. Прошло 20 лет с тех пор, как костяк группы впервые собрался вместе в Нью-Йоркском технологическом институте, и 15 лет с тех пор, как эта группа в расширенном составе снова собралась в студии Lucasfilm. Приближалось десятилетие с момента основания компании Pixar. В «Истории игрушек» сконцентрировался мощный поток технического и художественного творчества тех талантов, о которых я рассказывал в этой главе и которые, в свою очередь, опирались на достижения талантов и гениев из предыдущих глав. Этот фильм наглядно показал, что значит Великая цифровая конвергенция. Хотя поначалу технологии Цифрового Света сконцентрировались в области цифровой анимации, вскоре их влияние распространилось и на другие области, такие как видеоигры и виртуальная реальность. Через несколько лет трехмерная компьютерная анимация практически заменила классическую двумерную. Цифровой Свет не просто ввязался в гонку — он одержал победу.

«История игрушек» имела бешеный успех почти сразу, как только над ней завершилась работа, как только фильм оказался «в банке» — так говорят киношники, имея в виду большие круглые жестяные коробки с кинопленкой. Когда Pixar и Disney привезли его в Нью-Йорк на премьерный показ, кинокритики встретили его восторженно.

Джобс не упустил момента и сделал блестящий ход, который помог ему поправить деловую репутацию и превратиться в миллиардера. Опираясь на довольно призрачные перспективы успеха цифровой анимации, Джобс решил, что на фоне премьеры «Истории игрушек» в ноябре стоит сделать Pixar публичной компанией. Pixar практически не приносила постоянной выручки, за исключением доходов от продажи не слишком успешной аппаратной продукции, процентов от продажи моей компании Altamira и лицензионных сборов за патент на размытие изображения, которые выплачивали Microsoft и Silicon Graphics, первая компания Джима Кларка. Выпуск акций Pixar состоялся 29 ноября 1995 года и оказался очень успешным, став самым крупным публичным размещением за год, превзойдя даже триумф второй компании Джима Кларка, Netscape.

Об успехах Pixar после «Истории игрушек» написано так много, что здесь я ограничусь лишь небольшим дополнением. Примерно к началу нового тысячелетия Pixar выпустила еще три успешных цифровых фильма: «Приключения Флика» (1998), «Историю игрушек 2» (1999) и «Корпорацию монстров» (2001). На момент написания этой книги (2020 год) Pixar выпустила уже 23 цифровых фильма. Студия Disney выкупила компанию — наконец-то! — в 2006 году более чем за 7 миллиардов долларов. Сумма особенно поражает, если учесть, что в 1970-х они могли заполучить нас бесплатно, когда мы молились на них, в середине 1980-х — купить за 10 миллионов долларов у Джорджа Лукаса, когда Джобс стал нашим последним шансом на спасение, в конце 1980-х — приобрести за 50 миллионов долларов у Джобса, когда он собирался продать нас кому угодно, чтобы избежать позора и сохранить репутацию компьютерного гения и предпринимателя.

Ребята из Pacific Data Images талантливо управляли своей компанией. Они не первыми начали заниматься компьютерной графикой, но пережили всех, кто стартовал примерно тогда же — в конце 1970-х и начале 1980-х годов. Они работали на готовых компьютерах и никогда не совершали ошибок вроде разработки собственных или покупки суперкомпьютеров. Они добились финансовой устойчивости, выполняя сотни заказов для телевизионных каналов, например делая трехмерные вращающиеся логотипы. В 1985 году они хотели снять цифровой фильм, но не нашли финансирования. Неудивительно, если учесть, что примерно в то же время мы констатировали невозможность снять «Царя обезьян» по финансовым соображениям. Но это также говорит о том, что Pixar, вероятно, стоило рассматривать их как конкурентов нашему Фильму.

PDI сделала несколько короткометражных фильмов в конце 1980-х годов, примерно тогда же, когда и Pixar свои «жемчужины». Мне сразу приходят на ум «Индустриальная опера» (Opéra Industriel, 1986), «Пылающая любовь» (Burning Love, 1988) и «Паровозик» (Locomotion, 1989).

Не отказываясь от идеи снять полнометражный фильм, PDI сформировала в 1991 году группу персонажной анимации, чтобы получить навыки и художников, необходимых для цифрового кино. Затем к ним присоединился Эрик Дарнелл, аниматор, только что закончивший основанный Диснеем Калифорнийский институт искусств, где обучались Джон Лассетер и Брэд Бёрд (хотя Дарнелл получил диплом по экспериментальной, а не персонажной анимации). Вскоре он создал свою жемчужину «Газовая планета» (Gas Planet, 1992).

В 1994 году Джеффри Катценберг покинул студию Disney после ожесточенной борьбы за власть с президентом компании Майклом Эйснером и племянником Уолта Роем Э. Диснеем. Затем в конце 1994-го он вместе со Стивеном Спилбергом и Дэвидом Геффеном стал соучредителем DreamWorks SKG (название — по именам основателей), получив существенное финансирование от одного из создателей Microsoft Пола Аллена.

DreamWorks SKG, в свою очередь, вложила довольно большие деньги в Pacific Data Images в 1995 году, получив в ней миноритарную долю. Новую компанию назвали PDI/DreamWorks, а переименовали в DreamWorks Animation, когда основатель PDI продал свою оставшуюся долю. Я дальше буду использовать название DreamWorks. 2 октября 1998 года компания выпустила свой первый цифровой полнометражный фильм «Муравей Антц», режиссером которого выступил Эрик Дарнелл.

После «Муравья Антца» Эрик работал в качестве сюжетного художника над «Шреком» (2001), вторым цифровым фильмом DreamWorks. В 2001 году Американская академия киноискусства учредила новую категорию премии «Оскар» — за лучший полнометражный анимационный фильм. «Шрек» стал первым цифровым фильмом, получившим ее, обойдя «Корпорацию монстров» студии Pixar (2001).

На момент написания этой книги (2020 год) DreamWorks выпустила множество полнометражных цифровых фильмов, в том числе четыре из франшизы «Мадагаскар», пять из франшизы «Шрек», шесть из франшизы «Кунг-фу Панда» и три из франшизы «Как приручить дракона».

PDI и DreamWorks заслуживают гораздо больше внимания, чем я могу уделить им в этой главе. Я упомянул их историю, чтобы вы поняли, какое они имеют отношение к событиям, переплетение которых привело к созданию Pixar. Многие технологические достижения, сделанные этой группой, заслуживают подробного и всестороннего изучения, как и каждый из тех, кто внес свой вклад в успех этой компании. То же самое следует сказать о MAGI и Blue Sky, о которых я вкратце упомяну дальше.