๋ฉ”์ธ ํ•ญ๋ชฉ์œผ๋กœ

๐Ÿท๏ธ ๋ผ๋ฒจ๋ง Labeling

1. ๊ฐœ์š”

๋ผ๋ฒจ๋ง์€ ๋…น์Œ๋œ ์Œ์„ฑ ํŒŒ์ผ์— ๋Œ€ํ•ด ๋ฐœ์Œ, ์‹œ๊ฐ„ ๊ตฌ๊ฐ„, ๊ฐ€์‚ฌ(ํ…์ŠคํŠธ) ์ •๋ณด๋ฅผ ์ •๋ฐ€ํ•˜๊ฒŒ ๋ถ€์ฐฉํ•˜๋Š” ๊ณผ์ •์ž…๋‹ˆ๋‹ค.
DiffSinger์™€ ๊ฐ™์€ ์Œ์„ฑํ•ฉ์„ฑ/๋…ธ๋ž˜ ํ•ฉ์„ฑ ๋ชจ๋ธ์€ ์Œ์„ฑ๊ณผ ๋ฐœ์Œ์˜ ์ •ํ™•ํ•œ ๋Œ€์‘ ๊ด€๊ณ„๋ฅผ ํ•„์š”๋กœ ํ•˜๋ฏ€๋กœ, ๋ผ๋ฒจ๋ง ํ’ˆ์งˆ์€ ๋ชจ๋ธ ์„ฑ๋Šฅ์— ์ง๊ฒฐ๋ฉ๋‹ˆ๋‹ค.


2. ์ค€๋น„์‚ฌํ•ญ

  • ๋„๊ตฌ

    • Praat

    • Vlabeler
    • Setparam

  • ์œ ์šฉํ•œ ํ”Œ๋Ÿฌ๊ทธ์ธย 


3. ๋ผ๋ฒจ๋ง ๋ฐฉ์‹

(1) ๋ฐœ์Œ ๋‹จ์œ„ ๋ถ„ํ• 

  • ์Œ์„ฑ์„ ์Œ์†Œ(phoneme) ๋˜๋Š” ์Œ์ ˆ(syllable) ๋‹จ์œ„๋กœ ๊ตฌ๊ฐ„ ๋ถ„ํ• 

  • ํ•œ๊ตญ์–ด: ์ž๋ชจ(์ดˆ์„ฑ, ์ค‘์„ฑ, ์ข…์„ฑ) ๋‹จ์œ„๊ฐ€ ์ผ๋ฐ˜์ 

(2) ์‹œ๊ฐ„ ๊ตฌ๊ฐ„(Time Alignment)

  • ๊ฐ ๋ฐœ์Œ์ด ์‹œ์ž‘๋˜๋Š” ์ง€์ ๊ณผ ๋๋‚˜๋Š” ์ง€์ ์„ ๋ฐ€๋ฆฌ์ดˆ ๋‹จ์œ„๋กœ ๊ธฐ๋ก

  • ์˜ˆ์‹œ :

0 177687072 SP
177687072 181315200 eo
181315200 182947856 jj
182947856 185306112 i
185306112 196734688 a
196734688 197306112 M
197306112 197877568 m
197877568 199428576 i
(3) ๊ฐ€์‚ฌ/ํ…์ŠคํŠธ ์ •๋ ฌ
  • ๋…น์Œ๋œ ๋ฌธ์žฅ๊ณผ ํ…์ŠคํŠธ ์Šคํฌ๋ฆฝํŠธ๊ฐ€ ์ •ํ™•ํžˆ ์ผ์น˜ํ•ด์•ผ ํ•จ

  • ๋„์–ด์“ฐ๊ธฐ, ๋งž์ถค๋ฒ•, ํŠน์ˆ˜๋ฌธ์ž ์—ฌ๋ถ€ ํ™•์ธ ํ•„์š”

    • ํŒ€์ฝ”๋‹ค ๋ผ๋ฒจ๋ง ์˜คํƒ€ ๊ฒ€์ˆ˜๊ธฐ


4. ๋ผ๋ฒจ๋ง ๊ทœ์น™

  • ์ •ํ™•์„ฑ ์šฐ์„ : ๋Œ€์ถฉ ๋ถ„ํ• ํ•˜๋ฉด ๋ชจ๋ธ์ด ๋ฐœ์Œ์„ ์™œ๊ณกํ•˜์—ฌ ํ•™์Šต

  • ์ผ๊ด€์„ฑ ์œ ์ง€: ๊ฐ™์€ ๋ฐœ์Œ์€ ๋™์ผํ•œ ๋ผ๋ฒจ ์‚ฌ์šฉ (์˜ˆ: "k" / "g" ํ˜ผ๋™ ๊ธˆ์ง€)

  • ๋ฌด์Œ ์ฒ˜๋ฆฌ: ๋ฐœ์Œ ์‚ฌ์ด์˜ ์งง์€ ๋ฌด์Œ ๊ตฌ๊ฐ„๋„ ๋ณ„๋„๋กœ ํ‘œ๊ธฐ ๊ฐ€๋Šฅ (๋ฌด์Œ : "SP", ์ˆจ์†Œ๋ฆฌ: "AP" ๋กœ ํ‘œ๊ธฐ)

  • ํŠน์ˆ˜ ๋ฐœ์Œ ํ‘œ๊ธฐ: ํŠน์ˆ˜ ๋ฐœ์Œ์„ ๋”ฐ๋กœ ํ‘œ์‹œํ• ์ง€ ์—ฌ๋ถ€ ์‚ฌ์ „ ์ •์˜


5. ํŒŒ์ผ ๋ฐ ๋ฐ์ดํ„ฐ ํ˜•์‹

  • ์ผ๋ฐ˜์ ์œผ๋กœ .labํŒŒ์ผ์„ ์‚ฌ์šฉ (์ตœ์ข…์ ์œผ๋กœ .csv ๋“ฑ์„ ์‚ฌ์šฉ)


6. ์ฃผ์˜์‚ฌํ•ญ

  • ์ž˜๋ชป๋œ ๋ผ๋ฒจ๋ง์€ ๋ฐœ์Œ ์ธ์‹ ์˜ค๋ฅ˜, ๊ฐ€์ฐฝ ํƒ€์ด๋ฐ ์˜ค๋ฅ˜๋กœ ์ด์–ด์ง

  • ํŒŒ์ผ๋ช…์€ ๋…น์Œ ๋‹จ๊ณ„์—์„œ ์„ค์ •ํ•œ ๊ทœ์น™์„ ๊ทธ๋Œ€๋กœ ๋”ฐ๋ฆ„