⾳乐情感分析⼤创(1):前期调研
前⾔
经过⽼师的不断启发,⼤创项⽬终于⾛上了研究的正轨。我打算以博客的⽅式记录下整个项⽬的研究过程、⾛过的弯路以及⼀些灵感与想法。第⼀次写博客,⽂笔不甚流畅,还望见谅。
研究计划
现有的绝⼤多数有关⾳乐情感分析的研究都是基于⾳频⾳乐的,也就是我们最熟悉的mp3、wav这类格式。这些研究侧重于对⾳频信号的分析处理,⽽我们⽬前在信号处理⽅⾯的知识储备不⾜,于是打算另辟蹊径,把研究对象转向符号⾳乐格式。这种格式只存储⾳乐的相关参数(⾳⾼、节拍等等,可以理解为计算机能读取的“乐谱”),⽽不直接记录真实演奏的⾳频信号。经过调研,发现有以下⼏种应⽤较⼴泛的符号⾳乐格式。
1. MIDI
MIDI(Musical Instrument Digital Interface)乐器数字接⼝ ,是20 世纪80 年代初为解决电声乐器之间的通信问题⽽提出的。MIDI是编曲界最⼴泛的⾳乐标准格式,可称为“计算机能理解的乐谱”。它⽤⾳符的数字控制信号来记录⾳乐。⼀⾸完整的MIDI⾳乐只有⼏⼗KB ⼤,⽽能包含数⼗条⾳乐轨道。(参考:)
2. MusicXML
MusicXML(Music Extensible Markup Language ⾳乐扩展标记语⾔)是⼀个开放的基于XML 的⾳乐符号⽂件格式。优点是以⽂本格式存储,相⽐MIDI可读性好了很多,⽽且能存储歌词信息。未经压缩的XML⽂件体积较⼤,经过压缩后的.mxl格式基本与MIDI⽂件⼤⼩相当。MusicXML的⼀个缺点是它主要⽤于乐谱的表⽰,并不是⼀种通⽤的能直接播放的格式(在打谱软件中播放都是内部先转为MIDI再播放)。(参考:)
⽐如⼀个简单的乐谱(官⽅的“Hello World”⽰例)
这是它对应的MusicXML代码:
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<!DOCTYPE score-partwise PUBLIC
"-//Recordare//DTD MusicXML 3.1 Partwise//EN"
"/dtds/partwise.dtd">
<score-partwise version="3.1">
<part-list>
<score-part id="P1">
<part-name>Music</part-name>
</score-part>
</part-list>
<part id="P1">
<measure number="1">
<attributes>
<divisions>1</divisions>
<key>
<fifths>0</fifths>
</key>
<time>
<beats>4</beats>
<beat-type>4</beat-type>
王秀琳</time>
<clef>
<sign>G</sign>
<line>2</line>
</clef>
</attributes>
<note>
<pitch>
<step>C</step>
<octave>4</octave>
</pitch>
<duration>4</duration>
曾轶可刘亦菲<type>whole</type>
</note>结衣波多野电影图片
</measure>
刘嘉玲资料</part>
</score-partwise>
3. LilyPond
手心的太阳
LilyPond (荷花池) 是⼀个⾳乐雕版软件,致⼒产⽣最⾼质量的乐谱。它把传统⾳乐雕版印刷的美学,呈现在计算机打印的乐谱上。LilyPond 是⾃由软件,也是 的⼀部分。(参考:)
我们的研究⽅向是多模态的⾳乐情感分析,⾄少需要包括歌词以及⾳乐信息两个模态。MIDI格式不能存储歌词,想要做到每句歌词与每个乐句对齐⼗分困难,于是被我们排除在外;⽽LilyPond格式的乐谱资源较少,难以构建有效的数据集,所以我们最终选⽤MusicXML格式的乐谱作为研究对象。刘家辉照片
下篇将介绍数据集的选取及构建过程。