Deja Vu #05 31 мая 1998

PC

ANOTHER WORLD - Мультимедия - синтез трех стихий.

SoundTrack:  TEHNO-TREK OT RLA            
__________________________________________


Edition: Ze Pagan/PGC/BD
__________________________________________


     МУЛЬТИМЕДИА - синтез трех стихий
    ├════════════════════════════════┤


   ... Мультимедиа быстро стала  одним  из
ведущих направлений развития  информацион-
ных технологий. Многие  эксперты  считали,
что 90-е годы станут  годами  мультимедиа,
подобно тому, как 80-е стали годами персо-
нальных компьютеров. Я предлагаю вам, ува-
жаемые читатели DEJA VU, совершить неболь-
шой экскурс в совсем еще  недалекое  прош-
лое,в начало 90-х,и поглядеть на суть это-
го  термина. Статья написана по материалам
издания "Компьютер Пресс",предоставленными
для публикации Стрельниковым Андреем.Преж-
де всего,давайте выясним что означает этот
таинственный термин...

                  * * *


   "Мультимедиа" (multimedia) - это  инте-
рактивные системы, обеспечивающие работу с
неподвижными  изображениями  и  движущимся
видео, анимированной компьютерной графикой
и текстом, речью и высококачественным зву-
ком. Термин "мультимедиа" даже в  английс-
ких журналах характеризуется как  "ill-de-
fined" - неудачно определенный, в  русском
же языке это слово выглядит  совсем  чуже-
родным и попытка выразить понятие "мульти-
медиа" с помощью уже существующих  в  рус-
ском языке  терминов  приводит  к  чему-то
длинному, например, "интерактивные  видео-
звуковые компьютерные системы", что  неиз-
бежно породит очередную непроизносимую аб-
бревиатуру.
   Появление систем мультимедиа, безуслов-
но, производит революционные  изменения  в
таких  областях, как  образование, компью-
терный тренинг, во многих сферах професси-
ональной деятельности  науки, искусства, в
компьютерных играх и т.д., однако оно яви-
лось логическим эволюционным  продолжением
развития ряда направлений  в  компьютерной
теории и практике.
   Так, разработка технологии  гипертекста
и применение ее к созданию электронных ру-
ководств, энциклопедий естественно  поста-
вили  вопрос  об  иллюстрировании  статей,
включении графических карт и фотографий. С
развитием технических возможностей в  сос-
тав систем гипертекста стали  включать  не
только неподвижные изображения, но  и  ко-
роткие видеоролики, звуковые и речевые ил-
люстрации. Появились также системы "гипер-
изображений"  (hiperimage), обеспечивающие
"нелинейную" работу с  массивами  хранимых
изображений, т.е., позволяющие  рассматри-
вать фрагменты изображений  в  укрупненном
масштабе, устанавливать связи  между  раз-
личными изображениями, их элементами и то-
му подобное. Такого рода системы  зачастую
называют "гипермедиа".
   Пользователям баз данных также стало не
хватать традиционных текстовых и  числовых
типов данных и появились multimedia  data-
bases (далее "MM-базы"). MM-базы позволяют
хранить факсимильные изображения, исходные
и объектные коды программ,оцифрованные ви-
део и звук - т.е. фактически любую  инфор-
мацию,которая может быть занесена в память
компьютера.
   Развитие графического  интелектуального
пользовательского интерфейса, с одной сто-
роны, и методов  объектно-ориентированного
программирования - с другой,породили поль-
зовательские  среды, типа HyperCard и NeXT
step, которые уже фактически являлись сис-
темами мультимедиа и содержали необходимый
аппарат для представления разных типов ин-
формации.
   Со стороны рабочих станций и  специали-
зированных компьютеров к появлению мульти-
медиа вело развитие  систем САПР, теле-  и
видеостудий,управляемых компьютером,а так-
же музыкальных компьютерных центров.
   Развитие компьютерных тренажеров и ком-
пьютерных игр, требующих анимации  сложных
изображений в реальном времени и звукового
сопровождения для имитации или моделирова-
ния поведения объектов и окружающей среды,
также логично приводит к системам  мульти-
медиа.

             СОСТАВНЫЕ ЧАСТИ


   Итак, появление систем мультимедиа под-
готовлено как требованиями практики, так и
развитием теории. Однако  резкий  рывок  в
этом направлении, происшедший за последние
несколько лет, обеспечен прежде всего раз-
витием технических  и  системных  средств.
Это и прогресс в развитии ПЭВМ: резко воз-
росшие память, быстродействие, графические
возможности и характеристики внешней памя-
ти, и достижения в  области  видеотехники,
лазерных дисков - аналоговых  и  CD-ROM, а
также их массовое  внедрение. Важную  роль
сыграла также разработка методов  быстрого
и эффективного сжатия/развертки данных.
   Рассмотрим некоторые технические вопро-
сы построения систем мультимедиа. Пожалуй,
основная  проблема - совместная  обработка
разнородных данных цифровых и  аналоговых,
"живого" видео и неподвижных изображений и
т.п. В компьютере все данные (если  кто-то
еще не знает;)) хранятся в цифровой форме,
в то время как теле-, видео- и большинство
аудиоаппаратуры имеют  дело  с  аналоговым
сигналом. Однако, выходные устройства ком-
пьютера - мониторы (в большинстве) и дина-
мики имеют аналоговый вход. Поэтому  прос-
тейший и наиболее дешевый путь  построения
первых систем мультимедиа состоял  в  сты-
ковке разнородной аппаратуры с компом,пре-
доставлении компьютеру возможностей управ-
ления этими устройствами,совмещении выход-
ных  сигналов  компьютера  и  видео- и/или
аудио-устройств и обеспечение их  нормаль-
ного  совместного  отображения. Пожалуй, к
таким системам больше всего подходит  тер-
мин "мультимедиа", т.к. в  них  объединены
хесколько независимых сред, систем - носи-
телей данных. Дальнейшее  развитие  систем
мультимедиа проходит в направлении  "моно-
медиизации" - объединения разнородных  ти-
пов данных в цифровой форме на одной  сре-
де-носителе, в рамках одной системы.
   А теперь, я полагаю, самое  время  кос-
нуться некоторых фирм-производителей и по-
смотреть какие же шаги были ими предприня-
ты в вопросах развития мультимедиа...

             Commodore: CDTV


   Еще несколько лет назад,когда о мульти-
медиа никто ничего не знал, достаточно бы-
ло познакомиться с компьютером Amiga фирмы
Commodore, посмотреть на гиперреалистичес-
кие анимированные картинки  ее игр, послу-
шать  синтезированную  речь,  полнозвучную
многоканальную стереомузыку, нисколько  не
влияющую на скорость анимации и  работы  с
диском - и становилось ясно, что следующим
шагом должно быть что-то вроде интерактив-
ного  кино. С  появлением  же  мультимедиа
вдруг оказалось, что Amiga от рождения бы-
ла именно мультимедиа-компьютером,и теперь
дождалась своего часа.
   Три спецпроцесора  Amiga: Agnus, Denise
и Paula - обеспечивают  чрезвычайно  изощ-
ренную работу с изображением и звуком. Так
графический сопроцессор - коппер, входящий
в состав Agnus, управляет всеми  аспектами
вывода изображения на экран; он  действует
полностью независимо от ЦП, по собственной
программе. Paula управляет работой систем-
ной шины  компьютера, обеспечивая  быстрые
пересылки больших  обьемов  данных (видео,
звуковых, текстовых) в  промежутках  между
работой ЦП и видеочипов, т.е. не  замедляя
их работы. Кроме того, Paula содержит схе-
мы синтеза звука и речи, в том числе  пол-
ный набор английских фонем. Вот  она, про-
думанная до мелочей  архитектура! Вообщем,
можно долго перечислять достоинства  этого
компьютера.
   Очень важна для мультимедиа изначальная
ориентированность архитектуры Amiga на со-
ответствие телевизионным  стандартам. Час-
тоты развертки у Amiga совподают со  стан-
дартом NTSC (у европейской версии  компа -
с PAL). Поддерживается интерлейсный режим.
Amiga - едва ли не единственный из  персо-
нальных компьютеров, который работает, по-
добно телевизору, в режиме оверскана: пол-
ный горизонтальный и вертикальный ход луча
(752x482) больше области, используемой для
вывода графической информации.
   В 1990 году фирма Commodore сделала но-
вый серьезный шаг в направлении  мультиме-
диа: представила первую домашнюю и обучаю-
щую систему  мультимедиа - CDTV (Commodore
Dynamic Total  Vision). CDTV  не  является
компьютером  в  традиционом   смысле - это
комбинация CD-ROM и центрального устройст-
ва компьютера Amiga в корпусе  размером  с
видеомагнитофон. Он не имеет в стандартной
конфигурации ни клавиатуры,ни флоппи-диска
(однако, они могут  быть  подключены). Уп-
равление работой CDTV  производится  мышью
или дистанционным  инфрокрасным  блоком. Я
лишь коротко остановлюсь на некоторых  мо-
ментах работы этого девайса.
   В момент разработки CDTV  еще  не  было
микросхем  сжатия  видеоданных  достаточно
дешевых, чтобы  оставить  цену  устройства
приемлемой для домашнего применения (вот и
забота о пользователе!); поэтому использо-
ванны программные методы сжатия. CDTV спо-
собна воспроизводить 14 кадров в секунду в
видео-окне, занимающем 40% площади экрана.
Система CDTV позволяет смешивать звук, за-
писанный на CD-ROM, с музыкой и речью, ге-
нерируемой компьютером.

             Apple: HyperCard


   Фирма Apple известна как лидер в облас-
ти "настольных типографий" и  графического
интерфейса. Последние модели  MacII (в  то
время,  of  coz), оснащенные  процессорами
M68030, могут содержать  до 8 Мбайт  прямо
адресуемого ОЗУ. Используются  мультискан-
мониторы с аналоговым RGB-входом. В  отли-
чии от Amiga не поддерживаются  интерлейс-
ный режим и оверскан, что усложняет задачу
работы с видео; нет в  архитектуре  Mac  и
специальных видеопроцессоров-вся работа  с
графикой обеспечивается программами Quick-
Draw. Собственные звуковые возможности Mac
также бедноваты по сравнению с Amiga; хотя
они и обеспечивают довольно внятный синтез
речи, потребности мультимедиа должны обес-
печиваться  дополнительным  оборудованием.
Выбор такого оборудования  достаточно  ши-
рок, но я остановлюсь лишь на HyperCard.
   HyperCard - это оболочка,надстройка над
операционной системой, уже довольно  давно
входящая в комплект  стандартной  поставки
машины. Фактически, это первая широко рас-
пространенная система мультимедиа. За  это
время (4 года) созданы  тысячи  приложений
для HyperCard, она стала образцом для под-
ражания, заложенные в ней идеи реализованы
в более поздних системах на  разных  типах
компьютеров.
   Система HyperCard сочетает свойства ги-
пертекста,позволяющего создавать среду ок-
ружения с помощью механизма связей, и объ-
ектно-ориентированного языка; она опериру-
ет с такими  объектами, как "карты", "сте-
ки",  "кнопки",  "поля",  "фон". HyperCard
представляет пользователю электронный  эк-
вивалент "карточек", логических  объектов,
которые могут содержать информацию различ-
ных  типов - текст,  графику, речь, видео.
Система чрезвычайно проста  в  использова-
нии.

         Next Step в мультимедиа?


   КОмпьютеры семейств  NeXT, "родившиеся"
позже остальных и потому вобравшие в  свою
архитектуру многие новые идеи и  техничес-
кие достижения, пожалуй, наилучшим образом
соответствуют технологии мультимедиа. В то
время, как IBM и Microsoft уже десять  лет
навешивают все новые гроздья  усовершенст-
вований на изначально примитивные IBM PC и
MS-DOS, как будто создавая гоночный супер-
автомобиль на базе  старого  трехколесного
велосипеда - Джобс не  побоялся  в  третий
раз начать все с нуля и создать  компьютер
сегодняшнего дня. NeXT - компьютер,у кото-
рого базовые средства  систем  мультимедиа
заложены в архитектуру и аппаратных,и про-
граммных средств.
   Применение в  NeXT  мощных  центральных
процессоров (68030 и 68040),процессора об-
работки сигналов (DSP), который  обеспечи-
вает обработку звуков, сигналов, изображе-
ний, синтез и  распознование  речи, сжатие
изображений, обеспечение средств работы  с
цветом (NeXTstation Color), большой  объем
оперативной и  внешней  памяти, стандартно
встроенные сетевые контроллеры - обеспечи-
вают разработчикам мультимедиа необходимую
аппаратную поддержку. Дополнительная плата
NeXTdimension позволяет работать с 16 млн.
цветов (24 бита)и еще 8 битов остается для
аппаратного обеспечения  прозрачности; для
ускорения работы графики добавляется Intel
i860; дополнительный JPEG Image Compressi-
on Processor CL550 обеспечивает сжатие ви-
део в реальном времени и позволяет хранить
на винчестере большой емкости свыше 60 ми-
нут видеоизображения.
   NeXTstep  стандартно  включает  систему
речевых аннотаций: пользователь может ком-
ментировать текстовые документы, используя
микрофон вместо клавиатуры. Входит  в  его
состав также NeXTmail - система  электрон-
ной "мультимедиа" почты, позволяющая обме-
ниваться  сообщениями, включающими, помимо
текстов, речевую и графическую информацию.
   Возможности, предоставляемые NeXT, соз-
дают хорошую платформу для быстрого  роста
количества продуктов  мультимедиа  и, воз-
можно, появление нового их качества.

          IBM и другие: AVC, DVI


   Компьютеры типа IBM PC в  своем  "нату-
ральном" виде наименее  приспособлены  для
целей мультимедиа - наихудшие (до  появле-
ния SuperVGA) графические возможности,при-
митивный  одноголосный  звук, только  640К
прямо адресуемой памяти (не вмещающие даже
одного кадра оцифрованного  видеоизображе-
ния), отсутствие удобного пользовательско-
го  интерфейса. Однако, благодаря  высокой
модульности, наращиваемости  архитектуры -
компьютер IBM путем установки дополнитель-
ных плат легко превращается в  специализи-
рованную станцию любой направленности.
   Рынок мультимедиа IBM начала  осваивать
еще в 1986 году, объявив систему  InfoWin-
dow, позволяющую компьютеру управлять ана-
логовыми аудио- и видеоустройствами; в ка-
честве диалогового устройства в InfoWindow
был применен сенсорный экран  (touch-scre-
en).
   Другое направление развития мультимедиа
поддерживаемое IBM - это AVC - Audio-Visu-
al Connection (звуко-визуальная связь),ко-
торое фирма объявила в 1989  году. Система
ориентирована в основном на старшие компь-
ютеры семейства PS/2,с 386 или 486 процес-
сором и не менее 2.5М RAM. Графические об-
разы могут быть получены с  помощью  платы
Video Capture Adapter.Она производит оциф-
ровку отдельных кадров с  видеокамеры, ви-
деодиска или видеоленты, обеспечивая  раз-
решение 640x480 с 16 бит/пиксель, а  также
может демонстрировать  на  экране  "живое"
аналоговое видео или совмещать его с  ком-
пьютерным изображением. На  середину  1990
года максимальная скорость передачи  оциф-
рованных кадров составляла только 3 кадра/
сек для полноцветных кадров (размером 614К
каждый); однако, поскольку VGA может рабо-
тать только в режимах  4 и 8  бит/пиксель,
изображение может  быть  конвертировано  и
количество данных уменьшится.
   Звуковое  сопровождение  обеспечивается
дополнительной  платой Audio Capture/Play-
back Adapter, построенной на базе сигналь-
ного процессора  TI 320C25  производитель-
ностью около  10  Mips, которая  позволяет
производить оцифровку данных  с  линейного
выхода различных  аудиоустройств, редакти-
рование их и воспроизведение с очень высо-
ким качеством (в том числе стерео).
   В последнее время  стратегия  фирмы IBM
все более  смещается  в  сторону  цифровых
систем мультимедиа. Прежде всего это  свя-
зано с успехами  в  разработке  линии  DVI
(Digital Video Interactive), которую  сов-
местно ведут фирмы  Intel  и  IBM. Система
DVI была разработана фирмами RCA  (Sarnoff
Research Center) и General Electric; затем
права на  DVI-технологию  приобрела  фирма
Intel. Первоначально платформа DVI базиро-
валась на ассиметричной  схеме, ориентиро-
ванной на CD-ROM. В конце 1990 года  выпу-
щены первые коммерческие  хардверные  про-
дукты DVI-две платы Action Media 750 (фир-
мой IBM - для архитектуры Micro Channel, а
Intel - для архитектуры ISA).
   Ядром плат DVI является набор чипов ви-
деобработки i750 фирмы Intel.Эти чипы про-
изводят сжатие/расширение видео- и  аудио-
файлов в реальном времени, в процессе  за-
писи или считывания с диска. Основные чипы
набора: Pixel Processor  82750PA, работаю-
щий со скоростью 12.5 Mips и Output  Disp-
lay Processor (ODP) 82750DA. ODP  способен
воспроизводить цифровое видео в  диапазоне
разрешений от 256x200 до  1024x512, с 8, 9
или 16-ю битами под цвет пикселя (в насто-
ящее время разрабатывается вариант с 24-мя
битами). Кроме того,i750 обеспечивает раз-
личные видеоэффекты благодаря  возможности
перепрограммирования микрокодов  чипов, не
прерывая и не замедляя операций. Плата DVI
содержит библиотеку функций видеоэффектов,
преобразований и т.п.,доступ к которым мо-
жет осуществляться из  программ  на  языке
Си.
   DVI объединяет телевизионную и  компью-
терную технологию, что позволяет компьюте-
ру, оснащенному VGA, воспроизводить полно-
ценное движущееся видеоизображение. Цифро-
вой выход Action Media смешивается с  ана-
логовым выходом VGA; окно DVI может распо-
лагаться в любом месте  экрана, сжиматься,
растягиваться, двигаться;  сгенерированные
компьютером текст и графика могут распола-
гаться в этом окне или  накладываться  по-
верх него. Согласно оценкам Intel, при за-
поминании движущегося видео  коэффициента,
сжатия достигает почти  160 к 1. Благодаря
этому стандартный компакт-диск вмещает  72
минуты видео и стереозвуковых данных  (без
сжатия он вмещал  бы  только  28  секунд);
средний размер сжатого кадра - около 4.5К,
и даже при скорости передачи данных  150К/
сек CD-ROM успевает считывать 30 кадров  в
сек. При хранении наборов неподвижных изо-
бражений (картин, фотографий)  коэффициент
сжатия падает до 25 к 1. Посколько DVI яв-
ляется цифровой системой, она, в принципе,
может быть настроена на любое  разрешение,
так что возможно создание  DVI-систем  для
HDTV - телевидения высокой четкости  (раз-
решение 1050 или 1125 строк) и  для  кино-
фильмов (разрешение около 4000 строк).
   В настоящее время DVI обеспечивает  ка-
чество "near-VCR" - "почти-видеомагнитофо-
на" (разрешение 240 строк) для  продуктов,
изготовленных на Action Media (их называют
RTV - Real Time Video или, по-русски, "ви-
део реального времени"). Однако, можно по-
слать подготовленные данные на  фирму  In-
tel, где их сожмут по асимметричной  схеме
PLV (Production Level Video); при  воспро-
изведении данных PLV, Action Media обеспе-
чивает качество видеомагнитофона. К 1992г.
предполагается достичь качества  выше  ТВ-
-вещания, но ниже HDTV для продуктов PLV и
качества "почти-ТВ" для RTV.
   DVI стала первой технологией, позволяю-
щей использовать для  полнофункционального
мультимедиа не оптические диски фабричного
производства, а имеющийся в любом  компью-
тере винчестер, что значительно  расширяет
круг разработчиков и пользователей мульти-
медиа.
   Фирма Microsoft, хотя  и  задействована
как  соисполнитель  в  различных  проектах
мультимедиа (DVI, CD-ROM-XA и др.), прово-
дит ежегодные конференции по CD-ROM, одна-
ко явно запаздывает с  объявлением  собст-
венной линии, выпуском собственого продук-
та. Лишь в конце 1991 года она  собирается
выпустить мультимедиа-расширение  Windows,
включающее в себя интерфейс MCI-Media Con-
trol Interface, который, судя по объявлен-
ным свойствам,будет представлять собой от-
вет Microsoft на AMCA фирмы Apple (Apple's
Media Control Architecture,архитектура уп-
равления носителями информации). В резуль-
тате, фирмы, лидирующие в разработке инст-
рументов и продуктов мультимедиа для  ком-
пьютеров линии IBM, вынуждены  действовать
с оглядкой на возможные будущие шаги  Mic-
rosoft,чтобы вдруг не оказаться вне "стол-
бовой дороги" после того,как Microsoft на-
конец объявит свои планы по поводу мульти-
медиа. Такая политика Microsoft не новость
-  вспомним  многолетнюю  многострадальную
историю системы Windows,лишь в прошлом го-
ду, в версии 3.0, обеспечивающей пользова-
телей сервисом, которым от рождения  обла-
дал Macintosh, от версии к версии DOS,обе-
щания многозадачности.

              И в заключении


   Ну что ж, уважаемые читатели, я полагаю
надо подвести итог  всему  вышеизложенному
материалу. Очень хочется надеяться,что эта
статья вызвала у вас определенный интерес,
хотя она по сути является перепечаткой...
   Итак, в мире явно наблюдается бум муль-
тимедиа. При таких темпах  развития, когда
возникают новые направления, а другие, ка-
завшиеся весьма перспективными, вдруг ста-
новятся неконкурентоспособными,трудно сос-
товлять какие-либо обзоры: их выводы могут
стать неточными или вообще устареть.
   Выглядят весьма интересными  работы  по
внедрению элементов  искусственного интел-
лекта в системы  гипермедиа. Системы  типа
"Knowledge Navigator" фирмы Apple, "интел-
лектуальные"  электронные  книги  обладают
способностью "чувствовать" среду  общения,
адаптироваться к ней и оптимизировать про-
цесс общения с пользователем.Еще одна быс-
тро развивающаяся область применения  ком-
пьютеров, в  которой  важную  роль  играет
мультимедиа - это системы виртуальной  или
альтернативной  реальности. Не  путайте  с
Virtual'но  Amig'ным  синдромом:)! А также
близкие к  ним  системы  "телеприсутствия"
(telepresence).С помощью специального обо-
рудования -шлема с двумя миниатюрными сте-
реодисплеями (eye-phones), квадронаушника-
ми, специальных  сенсорных перчаток и даже
костюма (ну  прям  Газонокосильщик  какой-
-то;)) вы можете "войти" в сгенерированный
или смоделированный компьютером мир повер-
нув голову, посмотреть налево или направо,
пройти дальше, протянуть  руку  вперед - и
увидеть ее в этом виртуальном  мире, можно
даже взять какой-либо виртуальный  предмет
(почувствовав при этом его тяжесть)и пере-
ставить в другое место; можно таким  обра-
зом строить, создавать этот мир изнутри.
   Вполне возможно, что технология мульти-
медиа настолько интегрируется в идеологию,
архитектуру ПК, что сам термин  "мультиме-
диа" постепенно отомрет...