2021-3-6组会Multi-Scale Emotion TTS 分享 - 代码天地
文章推薦指數: 80 %
1. Sentence-LevelEmotion EmbeddingGST ...2. Phoneme-LevelEmotion Embedding谢磊老师的论文, ...3.Multi-Scale Emotion Embedding句子, 词, 字, ... 2021-3-6组会Multi-ScaleEmotionTTS分享 其他 2021-03-2108:33:25 阅读次数:0 1.Sentence-Level EmotionEmbedding GST ... 2.Phoneme-Level EmotionEmbedding 谢磊老师的论文, ... 3. Multi-ScaleEmotionEmbedding 句子,词,字,多个级别,但是文章没有Demo 4.翔哥的想法 句子级别力度和字级别力度分别能够控制,更加接近了TTS-Word的愿景 4.1.用于描述Emotion的显性特征 本质上是显性的句子级别的和字级别的序列都提供给Tacotron 可以当作句子级别是Emotion,字级别是EmphasisIDSequence,这样比较便于理解,可能也便于调 可以简化为句子级别是F0曲线和第一共振峰能量曲线,字级别是energy序列和duration序列;然后直接对接训练好的FastPitch就可 4.2.Multi-ScaleReferenceEncoder输入的特征选取 正常使用mel谱 可能不同的级别,送入不同处理的mel谱,比如句子级别就先降采样,或者加一些小噪声(或者像CV一样引入噪声,有篇论文具体这么做),字级别就变成int/float.最终目的是变得和文本无关;也可以加入frame-level,用的时候强制对齐 可以尝试弱化一点的mel谱,比如使用SP 也可以多增加一些,比如除了mel以后,还有F0曲线,能量值 如何把一句话,变成"嗡嗡",就像音乐里面的那样:可我已经分不清,你是友情,还是错过的爱情->嗯嗯嗯嗯嗯嗯,嗯嗯嗯嗯,嗯嗯嗯嗯嗯嗯 4.3.对音频进行文本的解耦 对文本上解耦,本质上还是比较简单的.因为大家的文本的分布还是一致的 陈礼杨是如何进行去除文本的?比如是港中文的一篇论文,但是没读过 翔哥说的,同样的Emotion标签,里面的句子互相当作ReferenceSpeech去错开训练.分块可以比类标签更细 让输出的EmotionFeature和EncodedOutput的互信息尽量的少 4.4.整体框架基于ReferenceAttention 设计Key,Value等,不过有些复杂,目前先略 好处是可能直接可以解耦文本信息 5.应用场景 5.1.情感丰富迁移 一个语料是中性,一个语料情感丰富.然后可以让中性语料说多种情感 就像我们的重音合成 不过由于Text的文本冲突,所以只能平行的合成文本 5.2.AudioWord编辑器 可以定点改 整体效果还好 和重音的很像 猜你喜欢 转载自blog.csdn.net/u013625492/article/details/114444277 2021-3-6组会Multi-ScaleEmotionTTS分享 2021-3-6组会图神经网络在TTS中的应用 解读DepthMapPredictionfromaSingleImageusingaMulti-ScaleDeepNetwork(6) 解读DepthMapPredictionfromaSingleImageusingaMulti-ScaleDeepNetwork(3) 论文阅读——EfficientMulti-Scale3DCNNwithfullyconnectedCRFforAccurateBrainLesionSegmentation TTS SNIPER:EfficientMulti-ScaleTraining解读 Multi-scalemethodanddeeplearning powerenglish(3)maintext-emotionmastery-focus 【腾讯TMQ】TTS评测--方案介绍和实践分享 ContextContrastedFeatureandGatedMulti-scaleAggregationforSceneSegmentation 文献阅读《SNIPER:EfficientMulti-ScaleTraining》 Multi-ScaleGuidedConcurrentReflectionRemovalNetwork 「MedicalImageAnalysis」NoteonMulti-ScaleDeepReinforcementLearning 论文笔记-SNIPER:EfficientMulti-ScaleTraining SingleImageDehazingviaMulti-ScaleConvolutionalNeuralNetworks 文章阅读:Multi-scaleguidedattentionformedicalimagesegmentation AMulti-ScaleGuidedCascadeHourglassNetworkforDepthCompletion SSD:Single-ShotDetectorforMulti-ScaleObjectDetection ScarfNet:Multi-scaleFeatureswithDeeplyFusedandRedistributedSemantics Res2Net:ANewMulti-scaleBackboneArchitecture Multi-scaleadversarialnetworkforunderwaterimagerestoration MSG-GANMulti-ScaleGradientsforGenerativeAdversarialNetworks 翻译:Multi-scaleMulti-pathMulti-modelFusionNerwork SemEval2019Task3_ERC|(6)HybridFeaturesforEmotionRecognitioninTextualConversation (EmotiW2016)Video-basedemotionrecognitionusingCNNRNNandC3Dhybridnetworks SemEval2019Task3_ERC|(4)EmotiondetectioninconversationsthroughTweets,CNNandLSTMDNN SemEval2019Task3_ERC|(2)AttentiveConversationModelingforEmotionDetectionandClassification SLT2021:CONVERSATIONALEND-TO-ENDTTSFORVOICEAGENTS 18/06/06emotion 今日推荐 MT-AUTHv1.8.0发布,基于RBAC的权限系统 layui-vue1.1.3发布,基于vue3.0的桌面端组件库 LiteFlowX正式版发布IDEA插件市场 Fastyv1.0.1发布,一个极快的JavaScript模板引擎 RXThinkCMF敏捷开发框架ThinkPhp6+EleVue版本v1.1.0发布 Furionv3.3.1诸多改进,着手适配.NET7工作 Kotlin1.7.0-Beta发布 Matomo4.10.1发布,网站访问统计系统 njs0.7.4发布,nginx的JavaScript脚本语言 Elasticsearch8.2.1发布 MyBatis3.5.10发布,Java数据持久层框架 novelv3.1.0发布,SpringBoot3+Vue3学习型项目 周排行 Webview:Deniedstartinganintentwithoutausergesture 如何有效挖掘客户需求 GANDCRABV5.1勒索病毒洋葱浏览器http://gandcrabmfe6mnef.oni python—day55Django第三天之删除与编辑按钮功能、书籍管理功能; 7-2搜索树判断(25分) 海马城系统开发APP软件 springbootajax提交403错误 大数据---------linux基础---------02linux基本命令----------yum安装和配置 最短路径之dijstra算法 初学者(转)Docker入门教程(一)介绍 每日归档 更多 2022-05-27(551) 2022-05-26(352) 2022-05-25(887) 2022-05-24(485) 2022-05-23(0) 2022-05-22(0) 2022-05-21(0) 2022-05-20(0) 2022-05-19(195) 2022-05-18(347)
延伸文章資訊
- 12021-3-6组会Multi-Scale Emotion TTS 分享 - 代码天地
1. Sentence-LevelEmotion EmbeddingGST ...2. Phoneme-LevelEmotion Embedding谢磊老师的论文, ...3.Multi-Sca...
- 2求emotnstore分享码 - 布格伦科技网
艾蒙顿分享码的使用方法Emotn(艾蒙顿)TV Store是一款面向全球的安卓大屏端应用商店。虽然是服务全球用户,但是因为有中文版,所以国内用户借助辅助工具 ...
- 3Emotn - ICE enjoy sharing - 痞客邦
嗨,大家好我是ICE 今天跟大家分享一個好用的TV BOX軟件有些人在買TV BOX的 ... 你的App或是你想要找一些裏面沒有的軟體,你可以去搜尋相關的分享碼, ...
- 4蚂蚁市场最新分享码2021-蚂蚁市场分享码大全2021(已更新)
蚂蚁市场这款应用几乎每个月或是每天都有很多新的分享码出现,只要用户知道了分享码就可以轻松安装对应的TV端软件资源,不管是成人还是福利资源全都能 ...
- 5emotn store分享码论坛 - 百度一下
艾蒙顿分享码有哪些?分享几个涵盖了电视直播、点播... 2021年11 ...