KTV 自動聲道判斷

一般的 KTV 檔案來源, 大致上分為 VCD 與 DVD 兩類,
除了畫面大小的分別之外, 最主要的差別點是, VCD 歌源
只有一個 stereo audio channel, 標準的作法是 left channel
只包含伴奏, right channel 包含人聲與伴奏.
DVD 歌源包含兩個 stereo audio channels, 第一個 audio channel
是人聲與伴奏, 第二個 audio channel 只有伴奏.

一個標準的 VCD stereo audio channel 的樣子,大概長得像這樣 :

上半邊是左聲道, 下半邊是右聲道的波形, 右聲道因為有伴奏
又有人聲, 所以整體波形的"能量"比較多.
所謂的"標準", 指的是兩個聲道的音量標準是相同的,
也就是在沒有人聲的部分, 兩個聲道的聲音與音量皆相同.
這樣歌曲在切換 伴奏/人聲 的時候,就不會有音量差距.

對於這種標準的波形, 如果分別算出左聲道與右聲道的 RMS
或者 replaygain, 右聲道的 power 一定會比左聲道強, 所以
判斷兩個聲道的能量值, 就可以判斷出人聲是否在正確的聲道.

但是, 如果歌曲的製作不夠優良的話, 波形可能長得像這樣 :

很明顯的,右聲道的音量比左聲道強, 雖然在判斷上結果也是正確,
但是這種歌曲將會造成作 normalization, 還有切換 伴奏/人聲 時,
音量無法很正確的調整.

甚至, 底下的情況會造成誤判 :

這首歌曲,也是標準的左伴奏右人聲的波形, 但是左聲道的整體
音量值調得比右聲道高很多. 這個部分只要看歌曲開始時, 前奏
只有伴奏,還沒人聲時就可以知道, 如果兩個聲道有平衡, 前奏
階段的波形大小應該相同的, 圖中明顯左聲道大很多.
圖中的波形, replaygain 算出來, 左聲道 +0.45, 右聲道 +2.39,
右聲道需要提升的音量比左聲道多(右聲道比較弱). 在軟體判斷上
會造成誤判.
另外一個有趣的情況是, 左右聲道單獨算出來的 replaygain,
與左右聲道一起計算的 replaygain, 常常結果不太能預期到.
例如上圖的 replaygain, 左聲道 +0.45, 右聲道 +2.39,
左右聲道一起算是 -1.44, 目前尚不知為何有這種結果,
至於伴奏的 channel 要做 normalization, 究竟是要拿左聲道
單獨的 replaygain 來調整, 還是拿左右聲道一起算的 replaygain ?
目前還沒定論.

---------------------------------------

更新 :

以目前的實際測試, 利用 replaygain 來判斷人聲的聲道,

會有滿低比例的誤判, 誤判的情況可能為 :

-  兩個聲道的 replaygain 差別很小, 剛好伴奏的聲道算出的 gain 比較小一點

-  DIY 的 KTV 檔案, 兩個聲道的來源不同

最準確的判斷方式, 要利用 spleeter 做伴奏與人聲的分離後,

再針對人聲的 wave 檔做 replaygain 的計算,

純伴奏的音軌, 產生的人聲 wave 檔案, 幾乎沒什麼音量,

算出來的 replaygain 值會超過 +10dB, 基本上應該可以

100% 判斷出正確的人聲聲道.