Звук является наиболее выразительным элементом мультимедиа. Мир звуков окружает человека постоянно. Мы слышим шум прибоя, шелест листвы, грохот водопадов, пение птиц, крики зверей, голоса людей. Всё это – звуки нашего мира.

История этого элемента информации для человека такая же древняя, как и предыдущие (текст, изображение). Первоначально человек создал устройства, с помощью которых он пытался воспроизвести природные звуки для своих практических целей, в частности для охоты. Потом звуки в его голове стали складываться в некую последовательность, которую захотелось сохранить. Появились первые музыкальные инструменты (один из древнейших – китайский крин). Постепенно шел процесс формирования языка, на котором можно было бы записать и тем самым надолго сохранить рожденные мелодии. Первые попытки разработки такого «музыкального алфавита» были предприняты ещё в Древнем Египте и Месопотамии. А в том виде, в котором мы знаем её сейчас (в виде нотной записи), система фиксации музыки сложилась к XVII веку. Её основы были заложены Гвидо д’Ареццо.

Одновременно шло совершенствование систем записи и хранения звука. Человек научился сохранять и воспроизводить не только музыку, но и любые окружающие звуки. Впервые звук был записан в 1877 году на фонографе, изобретенном Томасом Эдисоном. Запись имела вид углублений на бумажном листе, закрепленном на вращающемся цилиндре. Эдисон первым научил свою машину громко отвечать «алло» в микрофон. Это слово раздавалось, когда игла, соединенная с микрофоном, повторяла сделанную на бумаге запись. Механико-акустический метод звукозаписи просуществовал вплоть до 1920-х годов, пока не были изобретены электрические системы. Практическому применению звукозаписи способствовало также два революционных изобретения:

· изобретение пластмассовой магнитной ленты в 1935 году;

· бурное развитие микроэлектроники в 60-е годы.

Бурное развитие вычислительной техники придало этому процессу новый импульс для развития. Мир звуков постепенно соединялся с цифровым миром.

В звуковых платах существует два основных метода синтеза звука:

таблично-волновой синтез (WaveTable, WT), основанный на воспроизведении сэмплов – заранее записанных в цифровом виде звучаний реальных инструментов. Большинство звуковых плат содержит встроенный набор звучаний инструментов, записанных в ПЗУ, некоторые платы допускают использование записей, дополнительно загружаемых в ОЗУ. Для получения звука нужной высоты применяют изменение скорости воспроизведения записи, сложные синтезаторы применяют для воспроизведения каждой ноты параллельное проигрывание разных сэмплов и дополнительную обработку звука (модуляцию, фильтрацию).

Достоинства : реалистичность звучания классических инструментов, простота получения звука.

Недостатки : жесткий набор заранее подготовленных тембров, многие параметры которых нельзя изменить в реальном времени, большие объёмы памяти для сэмплов (иногда до сотен Кб на инструмент), неодинаковое звучание разных моделей синтезаторов из-за различающихся наборов стандартных инструментов.

частотная модуляция (Frequency Modulation, FM) – синтез, основанный на использовании нескольких генераторов сигнала с взаимной модуляцией. Каждый генератор управляется схемой, регулирующей частоту и амплитуду сигнала и представляющей собой базовую единицу синтеза – оператор. В звуковых платах применяется двухоператорный (OPL2) и четырехоператорный (OPL3) синтез. Схема соединения операторов (алгоритм) и параметры каждого оператора (частота, амплитуда и закон их изменения во времени) определяют тембр звучания. Число операторов и схема управления ими задают максимальное количество синтезируемых тембров.

Достоинства : не надо заранее записывать звуки инструментов и хранить их в ПЗУ, велико разнообразие получаемых звучаний, легко повторить тембр на различных платах с совместимыми синтезаторами.

Недостатки : трудно обеспечить достаточно благозвучный тембр во всем диапазоне звучания, имитация звучания реальных инструментов крайне грубая, сложно организовать тонкое управление операторами, из-за чего в звуковых платах используется упрощенная схема с небольшим диапазоном возможных звучаний.

Если в композиции нужен звук реальных инструментов, лучше подходит метод волнового синтеза, для создания же новых тембров более удобен метод частотной модуляции, хотя возможности FM-синтезаторов звуковых плат достаточно ограничены.

Мультимедиа представляет собой совокупность аппаратных и программных средств, обеспечивающих создание звуковых и визуальных эффектов, а также влияние человека на ход выполнения программы, предусматривающей их создание.

Первоначально компьютеры умели "работать" только с числами. Немного позднее они "научились" работать с текстами и графикой. И лишь в последнем десятилетии XX века компьютер "освоил" звук и движущееся изображение. Новые возможности компьютера получили название мультимедиа (multimedia - множественная среда, то есть среда, состоящая из нескольких компонентов различной природы).

Ярким примером применения мультимедийных возможностей являются различные энциклопедии, в которых вывод текста той или иной статьи сопровождается показом связанных с текстом изображений, фрагментов кинофильмов, синхронным озвучиванием выводимого текста и т.д. Мультимедиа широко применяется в обучающих, познавательных, игровых программах. Эксперименты, проводившиеся над большими группами обучаемых, показали, что в памяти остается 25% услышанного материала. Если материал воспринимается зрительно, то запоминается 1/3 увиденного. В случае комбинированного воздействия на зрение и слух доля усвоенного материала повышается до 50%. А если обучение организовано при диалоговом, интерактивном (interaction - взаимодействие) общении обучаемого и мультимедийных обучающих программ, усваивается до 75% материала. Эти наблюдения свидетельствуют об огромных перспективах применения мультимедийных технологий в области обучения и во многих других аналогичных областях применения.

Одной из разновидностей мультимедиа считается так называемое кибернетическое пространство .

Развитием гипертекстовых и мультимедийных систем являются

Компоненты мультимедиа

Что такое мультимедиа? Multi – много, Media – среда. Это человеко-машинный интерфейс, в котором используются различные, естественные для человека каналы коммуникации: текст, графика, анимация (видео), аудиоинформация. А также более специализированные виртуальные каналы, обращающиеся, к различным органам чувств. Рассмотрим подробнее основные составляющие мультимедиа.

1. Текст . Представляет собой знаковую или вербальную информацию. Символами текста могут быть буквы, математические, логические и другие знаки. Текст может быть не только литературным, текстом являются компьютерная программа, нотная запись и пр. В любом случае это последовательность символов, написанная на каком-то языке.

Слова текста не имеют никакого видимого сходства с тем, что они обозначают. То есть они адресованы к абстрактному мышлению, а в голове мы их перекодируем в те или иные предметы и явления.

При этом текст всегда обладает точностью и конкретностью, он надежен как средство коммуникации. Без текста информация перестает быть конкретной, однозначной. Такимобразом, текст является абстрактным по форме, но конкретным по содержанию.

На текстовой информации основаны научная статья, рекламное объявление, газета или журнал, Web-страница глобальной сети Интернет, интерфейс компьютерной программы и многое другое. Убрав текст из любого из указанных информационных продуктов, мы этот продукт фактически уничтожим. Даже в рекламном объявлении, не говоря уже о проспектах, периодике, книгах главное – текст. Главная цель подавляющего числа печатных материалов – это донести до человека определенную информацию в виде текста.

Текст может быть не только визуальным. Речь – это тоже текст, понятия, закодированные в виде звуков. И этот текст намного древнее, чем письменный. Человек научился говорить раньше, чем писать.

2. Визуальная или графическая информация. Эта вся остальная поступающая через зрение, статичная и не закодированная в текст информация. Как средство коммуникации изображение более многозначно и неопределенно, оно не обладает конкретностью текста. Но обладает другими достоинствами.

а) Богатство информации. При активном просмотре адресат одновременно воспринимает множество значений, смыслов, нюансов. Например, на фотографии много могут сказать выражения лиц людей, из позы, окружающий фон и т.д. И каждый может воспринять одно и то же изображение по-разному.

б) Простота восприятия. На просмотр иллюстрации затрачивается намного меньше усилий, чем на чтение текста. Нужный эмоциональный эффект может быть достигнут намного легче.

Графику можно разделить на два вида: фотографию и рисунок. Фотографически точное отображение реального мира придает материалу достоверность и реалистичность и в этом его ценность. Рисунок – это уже преломление реальности в человеческом сознании в виде символов: кривых, фигур, их окраски, композиции и прочего. Функции у рисунка могут быть две:

а) наглядное уточнение и дополнение информации: в виде чертежа, схемы или в виде иллюстрации в книге – цель одинакова;

б) создание определенного стиля, эстетического облика публикации.

3. Анимация или видео , то есть движение.Компьютерная анимация чаще всего используется для решения двух задач.

а) Привлечение внимания. Любой движущийся объект сразу же привлекает внимание зрителя. Это инстинктивное свойство, т.к. движущийся объект может быть опасен. Поэтому анимация важна как фактор привлечения внимания к самому главному.

При этом достаточно бывает простых средств привлечения внимания. Так, для баннеров в Интернете обычно используют элементарные, циклически повторяемые движения. Сложная анимация даже противопоказана, поскольку Веб-сайты часто и так бывают перегружены графикой. А это раздражает и утомляет посетителя.

б) Создание различных информационных материалов: роликов, презентаций и пр. Здесь монотонность не годится. Необходимо управлять вниманием зрителя. А для этого требуются такие вещи, как сценарий, сюжет, драматургия, пусть даже и в упрощенной форме. У развития действия во времени существуют свои стадии и свои законы (о чем будет сказано далее).

4. Звук. Звуковая информация обращена к другому органу чувств – не к зрению, а к слуху. Естественно, что там имеется своя специфика, свой дизайн и технические особенности. Хотя в восприятии информации можно заметить много сходного. Аналогом письма служит речь, изобразительное искусство до некоторой степени можно сопоставить с музыкой, используются также природные, необработанные звуки.

Существенная разница состоит в том, что статического звука не существует. Звук – это всегда динамичные колебания среды, обладающие определенными частотой, амплитудой, тембровыми характеристиками.

Человеческое ухо обладает высокой чувствительностью к гармоническому спектру звуковых колебаний, к диссонансу обертонов. Поэтому получение высококачественного оцифрованного компьютерного звука до сих пор является технически сложной задачей. И многие специалисты считают аналоговый звук более «живым», естественным по сравнению с цифровым звуком.

5. Виртуальные каналы , которые обращаются к другим органам чувств.

Так, виброзвонок в мобильном телефоне обращается не к зрению и слуху, а к осязанию. И это не экзотика, а распространённый канал информации. О том, что кто-то хочет поговорить с абонентом. Тактильные (осязательные) ощущения применяются и для других целей: имеются различные тренажёры, специальные перчатки для компьютерных игр и для хирургов и пр.

В появившихся в последнее время 4D кинотеатрах эффекта присутствия зрителя в фильме добиваются разными, не применяемыми раньше средствами: подвижные кресла, брызги в лицо, порывы ветра, запахи.

Есть даже каналы связи и управления, в которых задействованы непосредственно нервные клетки, мозг человека. Они разрабатываются для инвалидов, людей с ограниченными возможностями. Человек после тренировки способен силой мысли управлять движением точек на экране. А также (что важнее) мысленно отдавать команды, приводящие в движение специальную инвалидную коляску.

Таким образом, виртуальная реальность из фантастики постепенно превращается в часть повседневной жизни.

На сегодняшний день термин «мультимедиа» вполне понятен - это сочетание внутри себя известных способов передачи информации, таких как изображение, речь, письмо, жесты. Данное сочетание является, как правило, глубоко продуманным, собранным из разных элементов, дополняющих друг друга, для создания общей внятной картины. Все это можно наблюдать почти на каждом информационном ресурсе, например, новостная лента с фотографиями или прикрепленными видео. Проект может быть, как четко сформированным, когда история строится создателем и идет линейно, а также бывает еще несколько видов, таких как интерактивность и трансмедийность, что делает сюжет нелинейным и создает для пользователя возможности для своего собственного сценария. Все это является дополнительными расширенными возможностями для создания более интересного контента, к которому пользователь захочет возвращаться снова и снова.

Главное в понятии «мультимедиа» - это то, что сочетание основных медиа элементов строит на базе компьютера или любых цифровых технологий. Отсюда вытекает, что стандартные составляющие мультимедиа имеют более расширенное значение Vaughan, T. Multimedia: Making it work (7th ed.). New Delhi: Mac-Graw Hill. 2008. pp.1-3, 25-40, 53-60:

1. Текст. Письменный язык является наиболее распространенным способом передачи информации, являясь одним из основных компонентов мультимедиа. Первоначально это были печатные средствах массовой информации, такие как книги и газеты, которые использовали различные шрифты для отображения букв, цифр и специальных символов. Несмотря на это, мультимедийные продукты включают в себя фотографии, аудио и видео, но текст при этом может быть наиболее распространенным типом данных, найденных в мультимедийных приложениях. Кроме того, текст также предоставляет возможности для расширения традиционной власти письменности, связывая его с другими СМИ, что делает его интерактивным.

a. Статический текст. В статическом тексте слова раскладывают, чтобы хорошо вписаться в графическое окружение. Слова встроены в графики так же, как графики и объяснения располагаются на страницах книги, то есть информация хорошо продумана и есть возможность не только посмотреть фотографии, но и прочитать текстовую информацию Kindersley, P. (1996). Multimedia: The complete guide. New York: DK..

b. Гипертекст. Система гипертекстовых файлов состоит из узлов. Он содержит текст и ссылки между узлами, которые определяют пути, которые пользователь может использовать для получения доступа к тексту непоследовательно. Ссылки представляют ассоциации смысла и могут рассматриваться как перекрестные ссылки. Эта структура создается автором системы, хотя и в более сложных гипертекстовых системах пользователь может определить свои собственные пути. Гипертекст обеспечивает пользователю гибкость и возможность выбора при перемещении через материал. Хорошо отформатированные предложения и параграфы, интервал и пунктуации также влияют на читаемость текста.

2. Звук. Звук является самым чувственным элементом мультимедиа: это прямая речь на любом языке, от шепота до крика; это то, что может обеспечить удовольствие от прослушивания музыки, создать поразительный фоновый спецэффект или настроение; это то, что может создать художественный образ, добавив эффект присутствия рассказчика в текстовый сайт; поможет научится произношению слова на другом языке. Уровень звукового давления измеряется в децибелах, что должно находится в рамках достаточного восприятия громкости звука человеческим ухом.

a. Цифровой интерфейс музыкальных инструментов (Musical Instrument Digital Identifier - MIDI). MIDI является стандартом связи, разработанным в начале 1980-х годов для электронных музыкальных инструментов и компьютеров. Это стенографическое представление музыки, сохраненной в числовой форме. MIDI это самый быстрый, самый простой и гибкий инструмент для составления партитур в мультимедийном проекте. Его качество зависит от качества музыкальных инструментов и возможностей звуковой системы. Vaughan, T. Multimedia: Making it work (7th ed.). New Delhi: Mac-Graw Hill. 2008. pp.106-120

b. Оцифрованный и записанный звук (Digital Audio). Оцифрованный звук -- это выборка, в которой каждая доля секунды соответствует звуковому сэмплу, хранящемуся в виде цифровой информации в битах и байтах. Качество этой цифровой записи зависит от того, как часто берутся семплы (частота дискретизации) и сколько чисел используются для представления значения каждого семпла (битовую глубину, размер выборки, разрешение). Чем чаще берется семпл и чем больше данных хранится о нем, тем лучше разрешение и качество захваченного звука при его воспроизведении. Качество цифрового звука также зависит от качества исходного источника звука, устройств захвата, поддерживающих программное обеспечение и возможностью воспроизведения окружающей среды.

3. Изображение. Оно представляет собой важный компонент мультимедиа, так как известно, что человек большую часть информации о мире получает через зрение, а изображение всегда является тем, что визуализирует текст Дворко, Н. И. Основы режиссуры мультимедиа - программ. СПбГУП, 2005. ISBN 5-7621-0330-7. - с. 73-80. Изображения генерируются компьютером двумя способами, как растровые изображения, а также как векторные изображения Vaughan, T. Multimedia: Making it work (7th ed.). New Delhi: Mac-Graw Hill. 2008. pp.70-81.

a. Растровое изображение (Raster or Bitmap images). Наиболее распространенной формой хранения для изображений на компьютере является растр. Это простая матрица из крошечных точек, называемых пиксели, которые и формируют растровое изображение. Каждый пиксель состоит из двух или более цветов. Глубина цвета определяется количеством данных в битах, используемых для определения количества цветов, например, один бит - это два цвета, четыре бита означают шестнадцать цветов, восемь бит показывают уже 256 цветов, 16 бит дают 65536 цветов и так далее. В зависимости от аппаратных возможностей, каждая точка может отображать более двух миллионов цветов. Изображение большого размера означает, что картинка будет выглядеть более реально в сравнении с тем, что видит глаз или исходным продуктом. Это означает, что пропорции, размер, цвет и текстура должны быть как можно более точными.

b. Векторное изображение (Vector images). Создание таких изображений базируется на чертеже элементов или объектов, таких как линии, прямоугольники, круги и так далее. Преимуществом векторного изображения является относительно небольшой объем данных, необходимых для представления изображения и, следовательно, не требуется большого объема памяти для хранения. Изображение состоит из набора команд, которые выполняются, когда это необходимо. Растровое изображение требует определенное количество пикселей, чтобы произвести соответствующую высоту, ширину и глубину цвета, в то время как векторное изображение основано на относительно ограниченном количестве команд рисования. Ухудшением качества векторных изображений является ограниченный уровень детализации, который может быть представлен в картинке. Для уменьшения размера файла изображения, что полезно для хранения большого количества изображений и увеличения скорости передачи изображений, используется сжатие. Форматы сжатия, используемые для этой цели, GIF, TIFF и JPEG Hillman, D. Multimedia: Technology and applications. New Delhi: Galgotia. 1998..

4. Видео. Оно определяется как отображение записанных реальных событий на экране телевизора или монитора компьютера. Вложение видео в мультимедийные приложения является мощным средством для передачи информации. Оно может включать в себя личностные элементы, в которых другие средства массовой информации испытывают недостаток, например, отображение личности ведущего. Видео могут быть классифицированы на два типа, аналоговое видео и цифровое видео.

a. Аналоговое видео (Analog Video). Такого типа видеоданные хранятся на любых некомпьютерных носителях, как видеокассеты, лазерные диски, пленки и т.д. Они делятся два типа, композитные и компонентные аналоговые видео:

i. Композитное видео (Composite Analog Video) имеет все видео компонентов, включая яркость, цвет и синхронизацию, объединенные в один сигнал. Из-за композиции или комбинирования видео компонентов качество видео в результате теряет цвет, снижается четкость и идет потеря производительности. Потеря производительности означает потерю качества при копировании для редактирования или для других целей. Этот формат записи был использован для записи видео на магнитной ленте, таких как Betamax и VHS. Композитное видео также восприимчиво к потере качества от одного поколения к другому.

ii. Компонентное аналоговое видео (Component Analog Video) считается более продвинутым, чем композитное. Оно берет различные компоненты видео, такие как цвет, яркость и синхронизацию и разбивает их на отдельные сигналы. S-VHS и HI-8 являются примерами этого типа аналогового видео, в котором цвет и яркость хранятся на одной дорожке, а информация на другой. В начале 1980-х, компания Sony выпустила новый портативный, профессиональный видео формат, в котором сигналы хранятся на трех отдельных дорожках.

b. Цифровое видео (Digital Video) - это наиболее интересное мультимедийное средство, которое является мощным инструментом для привлечения компьютерных пользователей ближе к реальному миру. Цифровое видео требует большое количество места для хранения, так как если неподвижное цветное изображение высокого качества на экране компьютера требуется один мегабайт или больше памяти для хранения, то для того, чтобы обеспечить видимость движения, изображение должно быть изменено, по крайней мере, тридцать раз в секунду, и памяти для хранения требуется тридцать мегабайт в течение одной секунды видео. Таким образом, чем больше раз картина заменяется, тем лучше качество видео. Видео требует высокой пропускной способности для передачи данных в сетевой среде. Для этого существуют схемы сжатия цифрового видео. Есть видео стандарты сжатия как MPEG, JPEG, Cinepak и Sorenson. Помимо сжатия видеоданных есть потоковые технологии, такие как Adobe Flash, Microsoft Windows Media, QuickTime и Real Player, которые обеспечивают воспроизведение видео в приемлемом качестве при низкой пропускной способности в Интернете. QuickTime и Real Video являются наиболее часто используемым для широкого распространения. Цифровые форматы видео можно разделить на две категории, композитного видео и компонентного видео.

i. Композитные цифровые форматы записи кодируют информацию в двоичной системе (0 и 1). Она сохраняет некоторые слабости аналогового композитного видео, как цвет и разрешение изображения, а также потери качества при создании копий.

ii. Компонентный цифровой формат является несжатым и имеющим очень высокое качество изображения, что делает его очень дорогим.

iii. Видео может во многих областях. Видеозаписи могут улучшить понимание предмета при соответствии объяснению. Например, если мы хотим показать, танцевальные шаги, используемые в различных культурах, то видео отразит это проще и эффективнее. Vaughan, T. Multimedia: Making it work (7th ed.). New Delhi: Mac-Graw Hill. 2008. pp.165-170

Сегодня мультимедиа очень быстро развивается в области информационных технологий. Способность компьютеров для обработки различных типов носителей информации делает их пригодными для широкого круга применений, а главное все больше людей имеют возможность не только смотреть на различные мультимедийные проекты, но и создавать их самим.