Архив Галактики

Визуализация звука в среде Scratch

natyanikova / 08.02.2015

Размышления Лоры Кравченко о том, как можно увидеть звук, заставили меня задуматься. Я сразу же вспомнила о визуализации классических произведений с помощью Music Animation Machine. Однажды мы открыли с сыном эти видео и восхищались в течение целого вечера тем, как красивая музыка может стать ещё красивее, если её увидеть. Вот пример визуализации токкаты и фуги ре-минор И.С. Баха. Согласитесь, впечатляюще.

Благодаря статье Лоры и её поворотом к ученическим исследованиям звуковых явлений, я решила попробовать, можно ли реализовать идею визуализации звука в Скретч. Далее о том, что у меня получилось.



Для работы я взяла сонатину Д.Штейбельта, мелодия которой уже была использована в одном из скретч-проектов моего сына. Проект я скачала на компьютер и редактировала в среде Scratch2, поскольку работа в онлайне была немного замедленной - это зависит и от скорости соединения с интернетом, но в большей степени от того, насколько громоздкий проект вы редактируете. Мне предстояло добавить в проект эффект визуализации. Итак, что для этого необходимо было сделать.

Шаг 1. Определить звуковой диапазон, используемый в мелодии. У меня он включил полторы октавы. В Скретче это оказались ноты, закодированные числами от 67 до 88. Необходимо условиться с кодами для каждой ноты (имя спрайта).

Шаг 2. Для каждой ноты подобрать изображение-спрайт, который будет иметь свой цвет. Я использовала семь цветов радуги от красного до фиолетового, начиная с "до", но, поскольку используемых нот в сонатине больше семи, пришлось разбавить эту радугу малиновыми, коричневыми и другими оттенками. Я использовала радугу нот подсознательно, и уже потом прочитала об обозначении нот цветами. Как оказалось, это целая теория, используемая в обучении музыке и нотной грамоте.


(изображение из статьи "Визуализация музыки: от традиционных подходов к современным интерфейсам")

Шаг 3. Располагаем ноты-спрайты на сцене, продумываем их движение на фоне композиции. Мои нотки в виде кружочков разного цвета проплывают справа налево (для этого используется команда Плыть 1 секунду в точку x _ y _). Они разлетаются веером, то есть в процессе перемещения изменяется не только координата x (от 170 до -240) но и координата y (у всех по-разному).



Шаг 4. Теперь каждый звук следует соотнести с движением спрайта. Это реализовано через функции управления Передать и Когда я получу... . Исходный проект стал "толще" в два раза. Возможно, читатель предложит иные способы наложения изображения на звук.



Шаг 5. Подбор фона. Я остановилась на чёрном, поскольку в результате экспериментов выяснила, что именно на чёрном фоне намного меньше рябь в глазах от перемещения цветных кружочков.

Шаг 6. Слушаем, смотрим, экспериментируем дальше (старт по флажку). Можно менять темп, инструменты, форму и цвет спрайтов-ноток. В моём проекте реализована только визуализация высоты тона, которая отражается на цвете и вертикальной координате спрайтов. Можно подумать и о том, как представить длительность нот с помощью формы спрайта.

Конечно, скретч-проект не настолько лаконичен, как результаты работы Music Animation Machine, однако, самое главное достоинство такой работы в том, что она доступна для ребят и позволяет глубже понять, что такое звук и как соотносятся высоты тонов разных нот. Попробуйте провести подобные эксперименты со звуком в Скретч с детьми. Видеть то, что мы слышим - это здорово.