l 引言
音乐作为一种听觉艺术形式，在社会生活中扮演着重要角。从符号学的角度说，音乐是一种抽象艺术；而从联觉角度看，听觉与视觉在物理性质与心理机制上十分相似，因此视觉艺术与听觉艺术常常相互影响，存在密切的联系。近代心理学也认为，音乐感知是多感知系统协同的认知活动，并不仅仅局限于听觉。因此，人们总是试图通过音乐表现某种视觉场景，又反过来是用绘画、摄影等视觉艺术表现音乐内涵。
随着计算机技术的发展，音乐的形象化有了新的手段，这就是音乐可视化技术。作为一种全新的视听技术，音乐可视化在计算机平台上将听觉与视觉结合起来，在教育、艺术、商业等领域具有广阔的应用前景。近年来，音乐可视化也引起了科研人员的密切关注。本文探讨了音乐可视化的概念及其研究内容，综述了这一领域目前的研究进展，指出了亟待解决的问题。音乐可视化研究方兴未艾，它正向人们展现出美好的应用前景。
2相关概念及研究内容
2．1信息可视化与音乐可视化。“信息可视化”这个术语第一次出现在Robertson Card和Mackinlay 在198
9年发表的文章《用于交互性用户界面的认知协处理器》中。该文认为，信息可视化是利用2D和3D 动画对象来表示信息和信息结构的技术。北京大学冯艺东教授在《信息可视化》怛。一文中把信息可视化定义为从数据到可视化形式再到人的感知系统的可调节的映射。究竟何为信息可视化，学术界仍无定论，但一般认为，信息可视化是以计算机技术为核心，将抽象数据信息转化为直观视觉形式的过程。
音乐可视化是信息可视化的一个分支。Wikipedia网站对它的解释是，音乐可视化是基于已记录的乐曲产生动画影像的计算机技术，这种影像通常实时产生并与音乐同步播放。事实上，这是音乐可视化的一种初步应用，如Windowsmedia player播放音乐时生成的几何图形、火焰、烟雾、水波等可视化效果。一般而言，音乐可视化是利用计算机模拟人类音乐联觉中音乐与图像的关系，将音乐信息映射为可视化形式的新技术。
(a)box滤波器(b)高斯函数
生活大爆炸主题曲图1.高斯函数
2．2音乐可视化的研究内容对音乐可视化的研究一般从以下几个方面展开：
1)可视化系统结构。研究音乐可视化系统的组成模块及系统结构”，如可视化音乐认知模型、可视化视觉传达模型、硬件组成与软件结构等。
2)音乐感知模型与特征提取。研究人对音乐的感觉与认识机制，建立描述模型。研究提取音乐的哪些表情特征元素进行分析及如何检测、分析这些元素。
3)音乐情绪检测。研究如何按照人的认识和思维方式对提取的音乐特征加以归类和理解，分析出音乐所传达的情绪哺汁，如快乐、惊奇、恐惧、悲伤等。
4)实时计算。研究如何提高数据分析的时效性，减少延时，解决分析音乐情绪带来的大计算量与显示实时性之间的矛盾，从而实现音乐与动画的同步播放。
5)沉浸感的显示。研究如何用曲线、二维图形、三维体图形、动画、图像等方式来表达音元素、音乐
结构及音乐情绪，增强受众对音乐的沉浸感。
6)交互式图形界面。研究如何通过用户的可视化控制来改变变换过程中的参数，提高用户与系统交互的反应速度，使系统能按照用户需求更好地表达可视化效果。
7)音乐可视化应用研究。研究音乐可视化技术的各种具体应用，如音乐焰火、音乐喷泉、舞台表演、音乐教育(业余音乐欣赏、专业乐曲分析、环境艺术(音乐彩灯、医疗(如精神疾病的音乐)等。基于计算机技术的音乐可视化在这些领域大将有作为。
3音乐可视化研究现状
音乐可视化研究是一个典型的多学科交叉问题。它是结合了信息可视化、音乐理论、音乐美学、情绪心理学、图像技术、图形学、平面设计、人机交互等诸多学科的理论和方法，逐步发展起来的综合性学科。以下从可视化音乐模型、可视化视觉模型、可视化系统、可视化的交互性四个层次评述国内外研究进展。
3．1可视化音乐模型研究
最初，研究人员从PCM编码入手，研究音频数据的基本物理特征，如频率、响度等，通过图形方式直接表达这些物理特征的变化实现可视化。这种方式简单直观，实用性很强。例如，张彦铎等人构建了一个基于一般性音频信号的多机器人舞蹈表演系统。他们把波形音频划分成若干小乐段，对每个乐段的音响、速度、旋律等特征进行综合分析，由模糊分类器判断出其情感特征，最终为各乐段匹配相应的机器人舞蹈程序。MIDI技术的发展使数字音乐有了另一种记录形式。MIDI本身并不是音乐，而是发音命令，这就为音乐物理特征的提取和表现提供了新的途径，而且对于单音和多音的乐曲检测精度都更高。
基本上，早期的音乐可视化系统根据音乐数据的物理特征来构造可视化的音乐模型。但是由于音乐具有非常复杂的社会属性，因此单纯地从物理特征上寻可视化音乐模型是不够的。因此，自上世纪末以来，研究人员开始从音乐的高层特征人手建立面向可视化的音乐模型。
（1）近年来，有研究者提出模拟人的音乐情绪来构造可视化模型的方法。即模拟人的音乐感知模式，使计算机所表达的情绪与人的情绪基本统一。罗切斯特大学研究者Tao Li等人提出了基于SVM算法的可视化方法，运用SVM算法对音乐情绪特征因子进行分类计算从而完成对音乐单个特征的提取和多重标签分类。
3．2音乐可视化的视觉模型研究
音乐模型仍然属于抽象范畴，视觉模型则是面向表象层面的概念。视觉表达的最大优点是直观形象，通俗易懂。建立表现音乐内涵的外显模式是视觉模型的基本任务。从内容上分，视觉模型有具象形式的和抽象形式的，前者通过图像表示音乐，后者通过几何图形表现音乐。但是机械的对应关系容易使可视化落人俗套，并带来理解上的狭义性；用画面生硬地图解音乐内容及故事，必然会是看图说话，会使显示系统空洞、概念化，无助于听众的丰富联想，这与音乐可视化的目标相差较远。即使是抽象的图形表达，也不应只是音乐特征的追随和直接的诠释，而是通过调节彩的纯度、明度和图形形状等来表现音乐节奏、音量、情绪的变化，以达到与音乐的统一。这样可以扩大音乐可视化的信息量，为听众提供更大的联想空间。
4 亟待解决的问题
目前，国内外对于音乐可视化的研究已经取得了一定成绩。但仍有很多问题尚待解决。
4．1音乐心理学基础研究存在的问题音乐可视化研究是一个交叉学科研究问题。音乐心理学等基础学科的研究发展同时制约着音乐可视化技术的发展，它们的精确与否决定着最终的可视化效果。
1)音乐表情元素不统一由于目前的音乐分析方法不够完善，很难科学地将音乐元素分割开来单独考察，导致音乐界对于音乐表现的基本元素没有统一的划分标准，从而造成可视化系统对于音乐情绪模型提取的特征不一。
2)心理学基础不完善作为音乐可视化系统的基础理论，音乐心理学研究至今仍没有系统而完整的研究结果，所得结论难以从根本上解释音乐表现的规律，导致可视化系统的音乐情绪模型难以模拟出人类音乐情绪，因而建立的情绪信息知识库不完整。
3)音乐情绪特性难以确定情绪是一个极其复杂的心理活动。被音乐所激起的情绪，不仅依赖于它的内容，还与听者和这段音乐之间的曾经有过的记忆相关，比如某段音乐会让人回忆起以前女友抛弃他时的背景音乐，从而感到悲伤¨6‘。完全建立在音乐数据分析基础上的音乐模型导致了可视化系统的情绪识别公式化，与实际情绪不一。上述问题急需全新有效的解决方法，以指导音乐可视化系统的有效实现。
4．2可视化计算方面的问题音乐
可视化是以计算机图形学、计算机图像处理技术为核心的综合性技术；对于音乐而言的可视化计算，更是与显示技术相关。目前在技术上还有很多问题需要解决。
1)可视化效果单一如当前的媒体播放软件(Media player，Vusic，Advancedvisualization studio，MAM player等)的主要可视化表达形式有波形图、彩变换、烟雾特效等，画面都较为单一，还没有具有完整主题的可视化效果出现。要解决这一问题，在加强计算机图形学研究的同时应以提高系统视听认知能力为目的，而不是单纯提高图形质量。
(2) 2)情绪表达研究缺乏音乐情绪的可视化包括情绪的识别与表达。而目前基于音乐情绪的可视化系统仅仅注重于对音乐情绪的分类判断，忽视了视觉对人的情绪的影响，音乐情绪的传达往往通过画面动作的简单变化来表达，因此情绪表达效果不佳。情绪表达研究在目前的可视化研究中未引起足够重视，而实际上可视化的性质决定了过程的每一个环节都不容忽视。只有结合视觉情绪和视听转换的研究成果，情绪表达才能迈进一大步。
3)可视化系统的沉浸感急待加强沉浸感显示技术这一新兴技术的引进使可视化研究更为增。然而，目前可视化的沉浸感研究仍处起步阶段。基于沉浸感显示技术的可视化系统研究还很少。这将是一个很重要的研究方向。可以用3D显示技术增强显示沉浸感，但是更为有效的显示技术还有待研究。
4)可视化系统实时性不够目前的可视化系统对实时性和情绪表达的准确性要求都相当高。而在情绪模型中，提取音乐特征元素越多、情绪分类越细、数据量就越大，可视化过程所需要的时间也就越长，所以基于音乐情绪的可视化系统往往实时性不够。
5)可视化系统缺乏评估模式由于个人经历、知识结构等原因，对于可视化系统中情绪的表达是否合适、是否与音乐匹配，各人观点难于一致；而音乐心理学、音乐美学在这方面的研究较为薄弱。因此，少有可视化系统提出了完整的评估模式。我们认为利用音乐联觉在视听联系上的研究成果对可视化系统进行评估是一个切实有效的方案。
5结论
本文介绍了音乐可视化技术的相关概念，讨论了音乐可视化的研究内容，对目前的音乐可视化技术的研究现状作了概要性的分析和评述，指出了亟待解决的问题并展望了进一步的研究方向。音乐可视化作为
一种新兴技术，在娱乐、教育、艺术和商业中具有广阔的应用前景。希望本文的工作有助于引起同行学者对音乐可视化技术的关注，推动它的研究与发展。
表1  对比表
参考文献
我住长江头
Annika Kuhl, Comparison of Stereo Matching Algorithms for Mobile Robots. The University of Western Australia, 2005
Kassay L.1992.Hungarian robotic apple harvester.Paper ASAE No.92-7042 St.Joseph,MI49085,pp. 1–14.
伴奏带Ceres R.,Pons J.L.,Jimenez A.R.,Mart i n J.M.and Calderon L., “Agribot:A robot for aided fruit harvesting,” Industrial Robot, vol. 25(5), 1998.
大豆谣歌曲Herbert Bay ,Andreas Ess ,Tinne Tuytelaars ,Luc Van Gool, “Speeded-Up Robust Features(SURF), ” Computer Vision and Image Understanding, vol. 110,2008,pp.349-356
E.Trucco and A.Verri,Introductory Techniques for 3D Computer Vision,Prentice Hall,1998.
A. Fusiello, E. Trucco, and A. Verri, “A compact algorithm for rectification of stereo pairs, ”Machine Vision and Applications, 12(1), 2000, pp.16-22
Cai Jianrong,Li Yuliang,Fan Jun,Zhou Xiaojun, “Image Recognition and Three-dimensional Location of Mature Oranges from Nature Scene,”Microcomputer Information, vol.23,Dec,2007,pp.224-225李米的猜想下载
C ai Jian-rong,F an Jun,L i Yuliang, “Stereovision Calibration and Mature Fruit Location on Nature Scene,” Journal of Agricultural Mechanization Research,2007,pp.38-43
徐伟贤Z hang Yongjun,Z hang Zuxun,Z hang Jianqing, “Camera Calibration Using 2D-DLT and Bundle Adjustment with Planar Scenes,”Editoral Board of Geomatics and Information Science of Wuhan University,2002,6