本帖最后由 州周 于 2024-5-20 21:20 编辑
- @1 x, d+ p5 o: P8 f- \% L/ a5 y* j4 N6 e* W: ]" ?- l4 f
起因：B站刷到了用Ai蚊子唱See you again的视频，正好我也用过这类Ai，又正好不会调音就想出来用Ai技术训练JR发车音乐，在理论上是可以这么做的。2 ~! r7 L( A1 l K U* S3 a
2 P- g0 Z4 q3 I' X; B首先，选择哪种开源的vits。纯Vtis只能生成文本，对与音频方面无帮助。SVC（So-vits）音频生成音频。GPT-VITS也是音频生成音频，但是目前只能用中文训练，由于输入是纯音乐，所以大概率是不行的。综上我们选择So-vits。0 Z1 i! s0 A( y7 d
SVC和大部分模型一样使用Diffusion（扩散）的方式进行训练还有推理，大体方式：将例子音频加噪，用模型再一点点的去噪，生成出音频。5 E* \ r# c0 x, O. ~& z& `# S
( Y7 e, `* r1 ~% q3 B# W- e+ V准备音频环节，使用RVC5将发车音乐的主旋律提取出来，避免其他乐器影响主旋律音色导致模型质量下降，同时Adobe Audition做后期处理时控制电平、处理混响，避免不必要的东西音响模型质量。 q2 S* I; ^- X, a
训练步骤：
2 x& \/ g, Z: X. T( pstep0~1600 FP32 1e-5 控制ir值在30以下0 ^5 J% R7 m0 E6 K* e. f
step1600~3200 FP16 5e-4 模型基础已经打好，使用半精度加快训练进度，学习率降低补一点点缺失的内容，代价是ir率的上升 8 _! D8 X! l: G5 n. X
step3200~4000 FP32 1e-3 最后调大学习率巩固内容，同时调回单精度不让模型质量下降，ir率下降到23~28时见好就收 噪声公式及学习率相关
( _' l+ I$ V6 J% |1 C( E: v
* t/ C p$ Z5 s' A/ Z
1 J0 H4 K8 x$ r) G6 `- f
( J- P) m, V+ F+ E6 M# x
! k& B, ?* l) g! I4 @. Y* J5 H3 _
) t2 M* Y! F) U( G) E
7 L' _3 d% v, O+ M3 Y9 ~2 v& Y$ I/ }7 O9 y( @8 d7 ^% ]. O
| 
2024-5-20 21:03:56
