时频谱（）又稱声譜图（voicegram），是一种描述波动的各频率成分如何随时间变化的热图。利用傅里叶变换得到的传统的2维频谱可展示复杂的波动是如何按比例分解为简单波的叠加（分解为频谱），但是无法同时体现它们随时间的变化。能对波动的时间变量与频率分布同时进行分析的常用数学方法是短时距傅里叶变换，但是直接绘成3维图像的话又不便于在纸面上观察和分析。时频谱在借助时频分析方法的基础上，以热图的形式将第3维的数值用颜色的深浅加以呈现。
定義與格式
时频谱通常以热图形式呈現,即以顏色或亮度的變化來表示強度的圖像。
常見格式
標準的时频谱是一個具有兩個幾何維度的圖形:一個軸表示時間,另一個軸表示頻率;第三個維度(特定頻率在特定時間的振幅)由圖像中每個點的強度或顏色表示。
常用窗函數類型
矩形窗(Rectangular window):
- 最簡單的窗函數,在所需區段內為1,區段外為0
- 會在區段邊界產生不連續,導致頻域出現振鈴效應
- 主瓣最窄但旁瓣電平高
漢明窗(Hamming window):
- 由Richard W. Hamming提出
- 與漢寧窗類似但在端點不完全降至零(約0.08)
- 最高旁瓣約-43 dB,比漢寧窗低10 dB
- 由於端點不連續,旁瓣衰減較慢(6 dB/倍頻程)
進階時頻分析方法
除了基於短時距傅立葉變換的时频谱外,還有其他時頻分析方法可以提供不同的時頻表示。
小波變換
連續小波變換(Continuous Wavelet Transform, CWT)是一種時頻變換,特別適合分析非平穩信號。
CWT通過將信號與一組小波進行卷積來實現,這些小波由母小波(mother wavelet)經過平移和膨脹生成。數學上,CWT定義為:
:W(a,b) = \frac{1}{\sqrt} \int_{-\infty}^{\infty} x(t) \psi^* \left( \frac{t-b}{a} \right) dt
其中:
- W(a,b) 是小波係數
- a 是尺度參數(與頻率成反比)
- b 是時間平移參數
- \psi(t) 是母小波
- \psi^* 表示複共軛
尺度圖(Scalogram)是CWT的絕對值平方作為時間和頻率函數的圖形表示,類似於STFT的时频谱。
常用的母小波包括:
- Morlet小波:常用於時頻分析
- Haar小波:最簡單的小波
- Daubechies小波系列
- 墨西哥帽小波
:W(t, \omega) = \int_{-\infty}^{\infty} x\left(t + \frac{\tau}{2}\right) x^*\left(t - \frac{\tau}{2}\right) e^{-j\omega\tau} d\tau
WVD的特點:
- 實值函數
- 提供高時頻分辨率
- 存在交叉項干擾,對多分量信號會產生虛假的時頻成分
梅爾時頻譜與深度學習
在基於深度學習的語音合成中,首先由序列到序列模型預測时频谱(或梅爾尺度的时频谱),然後將时频谱饋送到神經聲碼器以生成合成的原始波形。
梅爾尺度基於人類感知語音的研究發現,使其適合表示語音期間產生的聲音的聲學信息。
梅爾時頻譜在深度學習中的應用:
- 語音情感識別:將音頻樣本轉換為梅爾時頻譜圖像,然後用於訓練卷積神經網絡(CNN)模型
- 自動語音識別:梅爾時頻譜提供比原始音頻或MFCC更豐富的特徵表示
- 音頻分類:深度學習模型利用梅爾時頻譜作為輸入來識別和分類各種聲音
其他應用
时频谱在多個領域都有應用:
- 生物醫學信號處理:分析心電圖、腦電圖等生理信號
参见
- 廣義頻譜圖
- 重新分布法
- 短時距傅立葉變換
- 光谱仪
- 光學頻譜
参考资料
评论 (0)