文档智能_文档AI_智能文档处理_数据智能-阿里云

网站截图
4

百度权重
5

百度移动
5

3 6 0权重
3

搜狗权重
浏览热度
SEO查询
更新时间
2025-02-11T16:02:31
网站介绍

网站编号：5141
网站URL：https://www.aliyun.com/product/ai/docmind
最后点入：2023-12-17 14:05:55 · 加入时间：2023-12-13 16:02:59
网站关键词(55个字符):
文档智能、文档AI、智能文档处理、数据智能、 IDP、文字提取、 PDF转Word、文档解析、表格解析、文档结构化、
网站描述词(79个字符):
阿里云文档智能基于多年技术积累打造的多模态文档识别与理解引擎，为用户提供各类文档文字提取和文档处理，支持通用场景、行业场景和自定义场景下的多样化文档处理需求。
关于www.aliyun.com说明：
www.aliyun.com由网友主动性提交被优亿链收录网_自动秒收录外链整理收录的，优亿链收录网_自动秒收录外链仅提供www.aliyun.com的基础信息并免费向大众网友展示，www.aliyun.com的是IP地址：113.96.109.95 地址：广东省惠州市电信，www.aliyun.com的百度权重为4、百度手机权重为5、百度收录为37115263条、360收录为1280000条、搜狗收录为102547456条、谷歌收录为0条、百度来访流量大约在7712~10029之间、百度手机端来访流量大约在5015~6520之间、www.aliyun.com的备案号是浙B2-20080101-4、备案人叫阿里云计算有限公司、被百度收录的关键词有1302个、手机端关键词有1262个、迄今为止已经创建17年4月13日。
下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载
本页地址: https://www.uel.cc/links/58c2ab6690eab9a2c042.html
上一篇：虚拟数字人_虚拟主播_直播平台_人工智能-阿里云 | 下一篇：文字识别_OCR 文字识别_图片识别文字_数据智能-阿里云
SEO综合查询

SEO信息	百度来访IP：7712~10029 \| 移动端来访IP：5015~6520 \| 出站链接：2 \| 站内链接：210
IP网速：	IP地址：113.96.109.95 地址：广东省惠州市电信 \| 网速：17毫秒
ALEXA排名	世界排名：71 \| 预估IP：2640000 \| 预估PV：19008000
备案信息	浙B2-20080101-4 \| 名称：阿里云计算有限公司 \| 已创建：17年4月13日
收录	百度	360	搜狗	谷歌
查询	37115263	1280000	102547456	0
电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
1302	1262	电脑端优秀	1	0	37
服务器信息协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=utf-8 服务器类型 Tengine 程序支持连接标识消息发送未知 GZIP检测已启用GZIP压缩源文件大小 100.95KB 压缩后大小 17.90KB 压缩率 82.27%
网页快照

                         文 档 智 能 _ 文 档 A I _ 智 能 文 档 处 理 _ 数 据 智 能 阿 里 云 大 模 型 产 品 解 决 方 案 文 档 与 社 区 权 益 中 心 定 价 云 市 场 合 作 伙 伴 支 持 与 服 务 了 解 阿 里 云 A I 助 理 备 案 控 制 台 公 测 中 文 档 智 能 播 放 视 频 文 档 智 能 （ D o c u m e n t M i n d ） ， 基 于 多 年 技 术 积 累 打 造 的 多 模 态 文 档 识 别 与 理 解 引 擎 ， 为 用 户 提 供 各 类 文 档 的 结 构 化 信 息 抽 取 和 智 能 化 文 档 处 理 。 
 支 持 通 用 场 景 和 自 定 义 场 景 下 的 多 样 化 文 档 处 理 需 求 。 
 产 品 咨 询 答 疑 ， 请 加 钉 钉 交 流 群 ： 4 4 8 5 4 2 1 7 限 时 特 惠 文 档 智 能 解 析 1 0 0 0 页 仅 需 1 9 . 8 元 点 此 购 买 立 即 使 用 开 通 享 免 费 额 度 新 品 试 用 什 么 是 文 档 智 能 计 费 概 述 帮 助 与 文 档 文 档 智 能   /   文 档 智 能 O C R 自 学 习 O C R 文 字 识 别 应 用 场 景 产 品 功 能 产 品 规 格 体 验 中 心 产 品 优 势 文 档 与 工 具 更 多 产 品 与 服 务 应 用 场 景 立 即 购 买 O C R 自 学 习 O C R 文 字 识 别 应 用 场 景 产 品 功 能 产 品 规 格 体 验 中 心 产 品 优 势 文 档 与 工 具 更 多 产 品 与 服 务 活 动 与 推 广 爆 品 推 荐 电 子 文 档 解 析 、 文 档 解 析 （ 大 模 型 版 ） 正 式 开 启 商 业 化 新 品 发 布 文 档 智 能 和 R A G 构 建 知 识 库 重 磅 发 布 文 档 解 析 （ 大 模 型 版 ） 服 务 上 线 ， 为 R A G 及 大 模 型 输 入 c h u n k 语 义 切 块 最 新 动 态 免 费 试 用 开 通 后 立 享 千 页 免 费 试 用 额 度 近 期 关 注 N L P 实 验 室 产 品 家 族 齐 亮 相 ， 最 高 可 享 1 0 0 w 免 费 额 度 ， 快 来 体 验 ！ 自 学 习 全 新 O C R 文 档 自 学 习 平 台 ， 无 需 开 发 ， 一 站 式 工 具 平 台 应 用 场 景 检 索 增 强 生 成 R A G 大 模 型 训 练 检 索 增 强 生 成 R A G 依 托 文 档 智 能 解 析 服 务 对 文 档 内 容 统 一 处 理 后 ， 搭 配 R A G 从 大 规 模 的 文 档 集 合 中 检 索 内 容 并 生 成 更 丰 富 、 更 具 信 息 量 回 答 ， 广 泛 用 于 问 答 系 统 、 文 档 生 成 、 信 息 检 索 系 统 等 。 
 立 即 使 用 能 够 提 供 文 档 智 能 解 析 基 于 对 文 档 的 内 容 信 息 、 版 面 信 息 和 逻 辑 信 息 的 分 析 理 解 ， 结 合 搜 索 技 术 和 大 模 型 能 力 进 行 后 续 的 应 用 开 发 。 
 文 档 格 式 转 换 把 不 可 编 辑 的 P D F 转 换 为 可 编 辑 的 W o r d 格 式 ， 将 文 档 数 据 处 理 成 切 片 后 的 分 段 文 本 数 据 ， 结 合 大 模 型 生 成 文 答 式 服 务 。 
 推 荐 搭 配 使 用 文 档 解 析 （ 大 模 型 版 ） 电 子 文 档 解 析 大 模 型 训 练 支 持 对 P D F 、 W o r d 等 多 种 文 档 格 式 的 处 理 ， 返 回 文 档 的 层 级 结 构 ， 并 结 合 文 档 语 义 信 息 ， 处 理 成 文 档 切 片 后 用 于 大 模 型 训 练 。 
 立 即 使 用 能 够 提 供 文 档 智 能 解 析 将 非 结 构 化 的 文 档 解 析 为 结 构 化 数 据 ， 提 取 文 档 层 级 树 及 版 面 信 息 ， 与 大 模 型 训 练 的 文 档 切 片 需 求 非 常 契 合 。 
 P D F 转 W o r d 把 不 可 编 辑 的 P D F 转 换 为 可 编 辑 的 W o r d 格 式 ， 将 文 档 数 据 处 理 成 切 片 后 的 分 段 文 本 数 据 ， 用 于 大 模 型 训 练 。 
 推 荐 搭 配 使 用 文 档 智 能 解 析 文 档 解 析 （ 大 模 型 版 ） 产 品 功 能 文 档 理 解 作 为 大 模 型 应 用 场 景 及 R A G 前 置 处 理 链 路 ， 提 供 高 质 量 、 高 精 度 的 文 档 解 析 服 务 。 
 文 档 解 析 大 模 型 版 ： 从 文 档 中 提 取 出 逻 辑 层 级 结 构 、 文 本 内 容 、 版 面 样 式 信 息 等 要 素 。 
 输 出 M a r k d o w n 格 式 。 
 方 便 构 建 语 义 分 块 策 略 。 
 表 格 智 能 解 析 ： 进 行 通 用 表 格 解 析 ， 从 表 格 中 提 取 出 表 格 样 式 、 表 格 内 容 、 文 本 K V 、 表 格 K V 等 要 素 。 
 相 关 推 荐 ： 文 档 解 析 大 模 型 版 、 电 子 文 档 解 析 管 理 控 制 台 了 解 更 多 文 档 格 式 转 换 将 P D F 、 图 片 等 不 可 编 辑 的 文 档 转 换 为 W o r d 、 E x c e l 等 可 编 辑 的 文 档 格 式 ， 在 实 现 高 精 度 内 容 识 别 的 同 时 ， 最 大 限 度 地 保 留 文 档 版 式 样 式 。 
 相 关 推 荐 ： P D F 转 W o r d 、 P D F 转 图 片 管 理 控 制 台 了 解 更 多 产 品 规 格 文 档 理 解 文 档 格 式 转 换 █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ 询 价 中 立 即 购 买 █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ █ 询 价 中 立 即 购 买 体 验 中 心 文 档 解 析 （ 大 模 型 版 ） 电 子 文 档 解 析 P D F 转 W o r d 图 片 转 W o r d P D F 转 E x c e l 图 片 转 E x c e l P D F 转 图 片 图 片 转 P D F 对 各 类 文 档 进 行 快 速 准 确 解 析 ， 适 用 于 大 模 型 的 数 据 预 处 理 、 文 档 问 答 等 场 景 了 解 更 多   > 上 传 文 档 示 例 文 档 . p d f 展 开 P L C N e t : R e a l t i m e P a c k e t L o s s C o n c e a l m e n t w i t h S e m i s u p e r v i s e d G e n e r a t i v e A d v e r s a r i a l N e t w o r k B a i y u n L i u , Q i S o n g , M i n g x u e Y a n g , W u w e n Y u a n , T i a n b a o W a n g A l i b a b a G r o u p , C h i n a @ a l i b a b a i n c . c o m A b s t r a c t P a c k e t l o s s i s o n e o f t h e m a i n r e a s o n s f o r s p e e c h q u a l i t y d e g r a d a t i o n i n v o i c e o v e r i n t e r n e t p h o n e ( V O I P ) c a l l s . H o w e v e r , t h e e x i s t i n g p a c k e t l o s s c o n c e a l m e n t ( P L C ) a l g o r i t h m s a r e h a r d t o g e n e r a t e h i g h q u a l i t y s p e e c h s i g n a l w h i l e m a i n t a i n i n g l o w c o m p u t a t i o n a l c o m p l e x i t y . I n t h i s p a p e r , a c a u s a l w a v e t o w a v e n o n a u t o r e g r e s s i v e l i g h t w e i g h t P L C m o d e l ( P L C N e t ) i s p r o p o s e d , w h i c h c a n d o r e a l t i m e s t r e a m i n g p r o c e s s w i t h l o w l a t e n c y . I n a d d i t i o n , w e i n t r o d u c e m u l t i p l e m u l t i r e s o l u t i o n d i s c r i m i n a t o r s a n d s e m i s u p e r v i s e d t r a i n i n g s t r a t e g y t o i m p r o v e t h e a b i l i t y o f t h e e n c o d e r p a r t t o e x t r a c t g l o b a l f e a t u r e s w h i l e e n a b l i n g t h e d e c o d e r p a r t t o a c c u r a t e l y r e c o n s t r u c t w a v e f o r m s w h e r e p a c k e t s a r e l o s t . C o n t r a r y t o a u t o r e g r e s s i v e m o d e l , P L C N e t c a n g u a r a n t e e t h e s m o o t h n e s s a n d c o n t i n u i t y o f t h e s p e e c h p h a s e b e f o r e a n d a f t e r p a c k e t l o s s w i t h o u t a n y s m o o t h i n g o p e r a t i o n s . E x p e r i m e n t a l r e s u l t s s h o w t h a t P L C N e t a c h i e v e s s i g n i f i c a n t i m p r o v e m e n t s i n p e r c e p t u a l q u a l i t y a n d i n t e l l i g i b i l i t y o v e r t h r e e c l a s s i c a l P L C m e t h o d s a n d t h r e e s t a t e o f t h e a r t d e e p P L C m e t h o d s . I n t h e I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e , o u r a p p r o a c h h a s r a n k e d t h e 3 r d p l a c e o n P L C M O S ( 3 . 8 2 9 ) a n d t h e 3 r d p l a c e o n t h e f i n a l s c o r e ( 0 . 7 9 8 ) . I n d e x T e r m s : p a c k e t l o s s c o n c e a l m e n t , g e n e r a t i v e a d v e r s a r i a l n e t w o r k , s e m i s u p e r v i s e d , n o n a u t o r e g r e s s i v e , l o w c o m p l e x i t y 1 . I n t r o d u c t i o n I n V O I P c o m m u n i c a t i o n , s p e e c h s i g n a l i s t r a n s m i t t e d a s p a c k e t s o v e r t h e n e t w o r k t h r o u g h e n c o d i n g a n d c o m p r e s s i o n t e c h n o l o g y . H o w e v e r , d u e t o t h e i n f l u e n c e o f t h e n e t w o r k e n v i r o n m e n t , s o m e a u d i o p a c k e t s c a n n o t b e t r a n s m i t t e d t o t h e r e c e i v e r , r e s u l t i n g i n s h o r t t e r m i n t e r r u p t i o n o f t h e s p e e c h s i g n a l , w h i c h d i n n t u r n a f f e c t s c a l s s P e e c h q u a l i t y a n d i n t e l l i g i b i l i t y d u r i n g l o n g t e r m c a l l s . T o s o l v e t h e a b o v e p r o b l e m s , t h e P L C a l g o r i t h m c a m e i n t o b e i n g . T h e t r a d i t i o n a l P L C s o l u t i o n i s b a s e d o n s i g n a l a n a l y s i s [ 1 2 ] , w h i c h c a n b e d i v i d e d i n t o t w o t y p e s : b a s e d o n t h e s e n d e r a n d b a s e d o n t h e r e c e i v e r . T h e f o r m e r i s t o u s e t h e e n c o d e d r e d u n d a n t i n f o r m a t i o n t o r e c o v e r t h e l o s t s p e e c h s i g n a l . H o w e v e r , t h i s m e t h o d r e q u i r e s e x t r a b a n d w i d t h . T h e l a t t e r i s t o r e c o n s t r u c t t h e s p e e c h s i g n a l b y u s i n g t h e d e c o d i n g p a r a m e t e r i n f o r m a t i o n b e f o r e p a c k e t l o s s . T h e b i g g e s t a d v a n t a g e o f t h e t r a d i t i o n a l P L C m e t h o d i s t h a t t h e c a l c u l a t i o n i s s i m p l e a n d c a n b e p r o c e s s e d o n l i n e ; t h e d i s a d v a n t a g e i s t h a t i t c a n o n l y e f f e c t i v e l y c o m b a t p a c k e t l o s s o f a b o u t 4 0 m s a n d c a n n o t d e a l w i t h l o n g t e r m c o n t i n u o u s b u r s t p a c k e t l o s s . T h e r e f o r e , t h e p r o c e s s i n g c a p a b i l i t y o f t h e t r a d i t i o n a l P L C a l g o r i t h m s i s v e r y l i m i t e d . I n r e c e n t y e a r s , t h e r e s e a r c h o f d e e p l e a r n i n g i n t h e f i e l d o f P L C h a s s h o w n g r e a t p o t e n t i a l d u e t o t h e p o w e r f u l g e n e r a t i v e c a p a b i l i t y o f d e e p n e u r a l n e t w o r k ( D N N s ) . T h e e x i s t i n g d e e p P L C m e t h o d s a r e t o r e c o n s t r u c t t h e l o s t s p e e c h s i g n a l a t t h e r e c e i v e r . T h e f i r s t i s a n o f f l i n e n o n c a u s a l p r o c e s s i n g f r a m e w o r k [ 3 7 ] . I n a d d i t i o n t o u s i n g h i s t o r i c a l u n m i s s e d f r a m e s , i t i s a l s o p o s s i b l e t o u s e b r o a d e r c o n t e x t u a l i n f o r m a t i o n i n c l u d i n g f u t u r e f r a m e s . T h e s e m e t h o d s a r e n o t s u i t a b l e f o r o n l i n e a p p l i c a t i o n s . T h e s e c o n d i s a c a u s a l p r o c e s s i n g f r a m e w o r k t h a t u s e s h i s t o r i c a l u n m i s s e d f r a m e s f o r p o s t p r o c e s s i n g . B . K . L e e e t a l . [ 8 ] a r e p i o n e e r s i n u s i n g a u t o r e g r e s s i v e m o d e l t o s o l v e t h e p a c k e t l o s s p r o b l e m . S i n c e t h e n , d e e p P L C a l g o r i t h m s b a s e d o n a u t o r e g r e s s i v e m o d e l s h a v e b e e n c o n t i n u o u s l y p r o p o s e d . S u c h a s c o n v o l u t i o n a l r e c u r r e n t n e t w o r k ( C R N ) [ 9 1 0 ] , l o n g s h o r t t e r m m e m o r y n e t w o r k ( L S T M ) [ 1 1 1 2 ] a n d W a v e R N N [ 1 3 ] . T h e c o m m o n f e a t u r e o f t h e s e m e t h o d s i s t o u s e t h e e f f e c t i v e i n f o r m a t i o n o f p r e v i o u s f r a m e s t o r e c u r s i v e l y i n f e r e n c e t h e c u r r e n t f r a m e . H o w e v e r , t h e c o n t e x t l e a d i n g u p t o t h e f r a m e t o b e p r e d i c t e d c a n c o n t a i n m a n y r e c o n s t r u c t e d f r a m e s i n s t e a d o f o r i g i n a l f r a m e s , c r e a t i n g a m i s m a t c h b e t w e e n t r a i n i n g a n d i n f e r e n c e . W h e n l o n g t e r m c o n t i n u o u s b u r s t p a c k e t l o s s o c c u r s , t h e g e n e r a t e d w a v e f o r m w i l l b e g r e a t l y a t t e n u a t e d a n d t h e o f s p e e c h q u a l i t y n e e d s t o b e f u r t h e r i m p r o v e d . I n a d d i t i o n , t h e p h a s e o f t h e c o m p e n s a t e d s p e e c h s i g n a l a n d t h e r e a l s p e e c h s i g n a l i s d i s c o n t i n u o u s . A s m o o t h i n g o p e r a t i o n i s r e q u i r e d , w h i c h w i l l d a m a g e t h e q u a l i t y o f t h e s p e e c h s i g n a l t h a t i s n o t l o s t . C o n t r a r y t o a u t o r e g r e s s i v e m o d e l , g e n e r a t i v e a d v e r s a r i a l n e t w o r k ( G A N ) b a s e d m e t h o d s h a v e b e e n s h o w n t o b e e f f e c t i v e i n g e n e r a t i n g h i g h q u a l i t y a u d i o i n a p a r a l l e l m a n n e r [ 1 4 ] . S h i e t a l . [ 1 5 ] c o n d u c t e d e x p e r i m e n t s i n t h e t i m e d o m a i n , u s i n g c o n v o l u t i o n a l n e u r a l n e t w o r k a s g e n e r a t o r a n d d i s c r i m i n a t o r t o a d d r e s s p a c k e t l o s s a n d m i s s i n g s p e c t r u m . P a s c u a l e t a l . [ 1 6 ] a l s o p r o p o s e d a G A N b a s e d a d v e r s a r i a l e n c o d e r n e t w o r k . T h e i n p u t o f t h e g e n e r a t o r i s t h e M e l s p e c t r u m a n d t h e o u t p u t i s t h e t i m e d o m a i n w a v e f o r m . I n a d d i t i o n , W a n g e t a l . [ 1 7 ] u t i l i z e d U N e t a n d t i m e f r e q u e n c y d i s c r i m i n a t o r f o r p a c k e t l o s s c o m p e n s a t i o n . H o w e v e r , t h e y h a v e h i g h c o m p u t a t i o c o m p l e x i t y i n t e r m s o f b o t h t h e n u m b e r o f p a r a m e t e r s a n d t h e i n f e r e n c e l a t e n c y , m a k i n g t h e m d i f f i c u l t t o u s e f o r r e a l t i m e p r o c e s s i n g . T o a d d r e s s t h e a b o v e i s s u e s , P L C N e t i s p r o p o s e d . T h i s m o d e l w a s u s e d t o p a r t i c i p a t e i n t h e I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e [ 1 8 ] . A n d t h i s p a p e r m a k e s t h e f o l l o w i n g k e y c o n t r i b u t i o n s : · A s t r e a m i n g c a u s a l w a v e t o w a v e n o n a u t o r e g r e s s i v e g e n e r a t i v e a d v e r s a r i a l n e t w o r k i s p r o p o s e d , w h i c h h a s l o w l a t e n c y a n d c a n m a i n t a i n t h e c o n t i n u i t y o f t h e s p e e c h p h a s e b e f o r e a n d a f t e r p a c k e t l o s s . ● T o a c h i e v e s u p e r i o r a u d i o q u a l i t y w h i l e k e e p i n g l o w c o m p u t a t i o n a l l c o m p l e x i t y , m u l t i p l e m u l t i r e s o l u t i o n d i s c r i m i n a t o r s a r e a d o p t e d . F i g u r e 1 : T h e a r c h i t e c t u r e o f P L C N e t . · T o i m p r o v e t h e a b i l i t y o f t h e e n c o d e r t o e x t r a c t g l o b a l f e a t u r e s , a s e m i s u p e r v i s e d t r a i n i n g s t r a t e g y i s i n t r o d u c e d . T h r o u g h t h e o b j e c t i v e q u a l i t y i n d e x e v a l u a t i o n , P L C N e t o u t p e r f o r m s b o t h t r a d i t i o n a l P L C a l g o r i t h m s a n d s t a t e o f t h e a r t d e e p P L C a l g o r i t h m s . I n t h e P L C C h a l l e n g e , o u r a p p r o a c h h a s r a n k e d t h e 3 r d p l a c e o n t h e f i n a l s c o r e . T h e r e m a i n d e r o f t h i s p a p e r i s o r g a n i z e d a s f o l l o w s . S e c t i o n I I d e s c r i b e s t h e p r o p o s e d P L C N e t f r a m e w o r k i n d e t a i l . S e c t i o n I I I s h o w s t h e e x p e r i m e n t a l r e s u l t s a n d a n a l y s i s . T h e n d r a w c o n c l u s i o n s i n S e c t i o n I V . 2 . M e t h o d I n o r d e r t o s o l v e t h e p r o b l e m t h a t e x i s t i n g P L C m e t h o d s a r e d i f f i c u l t t o g e n e r a t e h i g h q u a l i t y s p e e c h w h i l e m a i n t a i n i n g l o w c o m p u t a t i o n a l c o m p l e x i t y i n r e a l t i m e s c e n a r i o s . W e p r o p o s e d P L C N e t , w h i c h n o t o n l y l i g h t w e i g h t b u t a l s o e f f i c i e n t . T h e a r c h i t e c t u r e o f P L C N e t i s s h o w n i n F i g u r e 1 . N e x t , w e w i l l i n t r o d u c e m o d e l a r c h i t e c t u r e , t r a i n i n g i n f e r e n c e s t r a t e g y a n d l o s s f u n c t i o n a d o p t e d i n t h i s p a p e r i n d e t a i l . 2 . 1 . M o d e l a r c h i t e c t u r e 2 . 1 . 1 . G e n e r a t o r T h e g e n e r a t o r o f P L C N e t i s a s y m m e t r i c e n c o d e r d e c o d e r s t r u c t u r e w i t h s k i p c o n n e c t i o n s a n d r e s i d u a l u n i t s . T h e e n c o d e r a n d d e c o d e r e a c h h a v e 4 s u b m o d u l e s , e a c h s u b m o d u l e o f t h e e n c o d e r c o n s i s t s o f 3 r e s i d u a l u n i t s a n d a d o w n s a m p l i n g m o d u l e a n d e a c h s u b m o d u l e o f t h e d e c o d e r c o n s i s t s o f a n u p s a m p l i n g m o d u l e a n d 3 r e s i d u a l u n i t s . T h e r e s i d u a l u n i t a l t e r n a t e l y u s e s 1 D d i l a t e d c o n v o l u t i o n w i t h k e r n e l s i z e o f 7 a n d 1 D c o n v o l u t i o n w i t h k e r n e l s i z e o f 1 . T h e d i l a t i o n r a t e i s g r a d u a l l y i n c r e a s e d u s i n g ( 1 , 3 , 9 ) . T h e i n p u t i s f i r s t t r a n s f o r m e d b y 1 D c o n v o l u t i o n w i t h k e r n e l s i z e o f 7 , t h e n t h e e n c o d e r m a p s t h e 1 6 k h z w a v e f o r m t o t h e 5 0 h z r e p r e s e n t a t i o n t h r o u g h d o w n s a m p l i n g b l o c k o f ( 2 , 4 , 5 , 8 ) i n t h e f o r m o f a s t r i d e c o n v o l u t i o n . T h e d e c o d e r u s e s t h e t r a n s p o s e d c o n v o l u t i o n m e t h o d t o u p s a m p l i n g i n r e v e r s e o r d e r , r e s t o r e s t h e f e a t u r e s t o t h e s a m e d i m e n s i o n a s t h e s p e e c h . T h e n u m b e r o f c h a n n e l s i s d o u b l e d w h e n d o w n s a m p l i n g a n d h a l v e d w h e n u p s a m p l i n g . T h e m i d d l e b o t t l e n e c k l a y e r a c t s a s a b r i d g e b e t w e e n e n c o d e r a n d d e c o d e r a n d c o n s i s t s o f 3 1 D c o n v o l u t i o n s w i t h k e r n e l s i z e o f 7 . A s k i p c o n n e c t i o n i s u s e d b e t w e e n t h e c o r r e s p o n d i n g l a y e r s o f t h e e n c o d e r a n d d e c o d e r t o a l l o w i n f o r m a t i o n s u c h a s p h a s e o r a l i g n m e n t t o p a s s t h r o u g h . W e u s e t h e E L U a c t i v a t i o n f u n c t i o n [ 1 9 ] a n d w e i g h t n o r m a l i z a t i o n i n t h e g e n e r a t o r t o g u a r a n t e e t h e s t a b i l i t y o f a d v e r s a r i a l t r a i n i n g . F i n a l l y , t h e o u t p u t o f t h e d e c o d e r i s a m o n o s i g n a l , w i t h t a n h l i m i t i n g t h e o u t p u t r a n g e t o [ 1 , 1 ] . T o b e a b l e t o p r o c e s s r e a l t i m e a u d i o s t r e a m s o n l o w p o w e r m o b i l e d e v i c e s , a l l o u r c o n v o l u t i o n s a r e c a u s a l . 2 . 1 . 2 . D i s c r i m i n a t o r T o j o i n t l y o p t i m i z e t h e w a v e f o r m d o m a i n a d v e r s a r i a l l o s s , w e e m p l o y m u l t i p e r i o d d i s c r i m i n a t o r ( M P D ) [ 2 0 2 1 ] a n d m u l t i s c a l e d i s c r i m i n a t o r ( M S D ) [ 2 0 2 1 ] t o i d e n t i f y s p e e c h s i g n a l f r o m t w o d i f f e r e n t p e r s p e c t i v e s . T h e M S D m e t h o d i s d e r i v e d f r o m t h e M e l G A N v o c o d e r . T h r o u g h t h e a v e r a g e p o o l i n g o p e r a t i o n , t h e l e n g t h o f t h e s p e e c h s e q u e n c e i s h a l v e d s u c c e s s i v e l y . T h e n t h e c o n v o l u t i o n o p e r a t i o n i s p e r f o r m e d o n t h e s p e e c h s i g n a l s o f d i f f e r e n t s c a l e s . F i n a l l y , i t i s f l a t t e n e d a n d o u t p u t . T h e M P D m e t h o d f o l d s t h e s i n g l e c h a n n e l a u d i o s e q u e n c e i n t o a t w o c h a n n e l a u d i o w i t h d i f f e r e n t f i x e d l e n g t h s c a l l e d p e r i o d , a n d t h e n a p p l y 2 D c o n v o l u t i o n o n t h e f o l d e d d a t a . T h e d i s a d v a n t a g e o f t h i s a p p r o a c h i s t h e f o l d e d d a t a o n e a c h c h a n n e l i s m i x e d w i t h a r t i f a c t s o f d i f f e r e n t f r e q u e n c i e s . I n e d y o r d e r t o m a k e u p f o r t h i s d e f e c t , w e p r o p o s e d m u l t i l e n g t h d i s c r i m i n a t o r ( M L D ) , t o i m p r o v e a b i l i t y o f d i s c r i m i n a t i n g s y n t h e t i c o r r e a l a u d i o a s m u c h a s p o s s i b l e . F i r s t l y , t h e s i n g l e c h a n n e l a u d i o i s f o l d e d i n t o m u l t i c h a n n e l a u d i o b y w a v e l e t t r a n s f o r m [ 2 0 ] . T h e n a p p l y 1 D d i l a t e d c o n v o l u t i o n a s i n [ 2 2 ] . I n t h i s w a y , e a c h c h a n n e l i n t h e f o l d e d d a t a c o n t a i n s f e w o r n o a r t i f a c t s o f o t h e r f r e q u e n c i e s , e n s u r i n g t h e s t a b i l i t y a n d a c c u r a c y o f t h e d i s c r i m i n a t i o n . 2 . 2 . T r a i n i n g s t r a t e g y T h e f l o w c h a r t o f t h e t r a i n i n g s t a g e i s s h o w n i n F i g u r e 2 . I n a d d i t i o n t o a u d i o s a m p l e s o f t h e c u r r e n t f r a m e , a b i n a r y f l a g m a s k i s a d d e d t o t h e i n p u t a s o n e o f t h e c h a n n e l s t o i n d i c a t e w h e t h e r t h e c u r r e n t s i l e n c e f r a m e i s r e a l o r c o r r e s p o n d s t o l o s t p a c k e t s . O n t h e o n e h a n d , w e u s e g e n e r a t o r G a n d d i s c r i m i n a t o r D f o r a d v e r s a r i a l t r a i n i n g . T h e D i s t r a i n e d t o c l a s s i f y g r o u n d t r u t h s a m p l e s t o 1 a n d t h e s a m p l e s s y n t h e s i z e d f r o m G t o 0 . T h e G i s t r a i n e d t o f a k e t h e D b y u p d a t i n g t h e s a m p l e q u a l i t y t o b e c l a s s i f i e d t o a v a l u e a l m o s t e q u a l t o 1 ; O n t h e o t h e r h a n d , w e e m p l o y m e a n t e a c h e r [ 2 3 ] t o p e r f o r m s e m i s u p e r v i s e d t r a i n i n g o n t h e e n c o d e r p a r t o f G t o f u r t h e r i m p r o v e i t s a b i l i t y t o e x t r a c t g l o b a l f e a t u r e s . T h e c o r e i d e a o f m e a n t e a c h e r i s t h a t t h e e n c o d e r p a r t a c t s a s b o t h s t u d e n t a n d t e a c h e r . F i r s t , t h e t e a c h e r m o d e l i s u s e d t o e n c o d e t h e u n m a s k e d t r a i n i n g s a m p l e s t o g e n e r a t e t h e l e a r n i n g t a r g e t o f t h e s t u d e n t m o d e l . S e c o n d , t h e s t u d e n t m o d e l t o e n c o d e t h e m a s k e d t r a i n i n g s a m p l e s a n d t o p r e d i c t t h e c o m p l e t e d a t a r e p r e s e n t a t i o n . T h e w e i g h t o f t h e t e a c h e r m o d e l w t w _ t i s e x p o n e n t i a l m o v i n g a v e r a g e ( E M A ) o f t h e w e i g h t o f t h e s t u d e n t m o d e l W l _ t a t t i m e s t e p t , c a l c u l a t e d a s : w t ′ = α w t − l ′ + ( I − α ) u w _ ^ = \ \ a l p h a w _ ^ + \ \ l e f t ( I \ \ a l p h a \ \ r i g h t ) u ( 1 ) S e t E M A d e c a y a = 0 . 9 9 d u r i n g r a m p u p p h a s e a n d α = 0 . 9 9 9 i n l a t e r t r a i n i n g . S i n c e t h e s t u d e n t m o d e l i s r a n d o m a t t h e b e g i n n i n g , t h e t e a c h e r m o d e l n e e d s t o f o r g e t t h e p r e v i o u s i n c o r r e c t s t u d e n t w e i g h t s . W h e n g o o d p a r a m e t e r s h a v e b e e n l e a r n e d , t h e s t u d e n t m o d e l i m p r o v e s s l o w l y a n d t h e t e a c h e r m o d e l h a s a l o n g e r m e m o r y t h e b e t t e r . W e u s e t h e A d a m o p t i m i z e r [ 2 4 ] f o r t r a i n i n g w i t h a b a t c h s i z e o f 1 2 8 a n d a c o n s t a n t l e a r n i n g r a t e o f 0 . 0 0 0 3 . W e t r a i n e d o n 8 N V I D I A T e s l a V 1 0 0 G P U s f o r 3 0 0 k i t e r a t i o n s . W e u s e t h e l a s t c h e c k p o i n t o f e a c h t r a i n i n g r u n t o e v a l u a t e t h e r e s u l t s . 2 . 3 . P a r a l l e l i n f e r e n c e s t r a t e g y T h e f l o w c h a r t o f t h e i n f e r e n c e s t a g e i s s h o w n i n F i g u r e 2 . S i n c e t h e P L C N e t i s a c a u s a l s t r u c t u r e a n d t h e r e q u i r e d i n f o r m a t i o n f o r t h e c u r r e n t f r a m e i s a v a i l a b l e , i t c a n d o r e a l t i m e s t r e a m i n g i n f e r e n c e b y p r e s e r v i n g t h e p a s t i n t e r m e d i a t e d a t a i n t o r o l l i n g b u f f e r . T h e i n f e r e n c e p r o c e s s c a n b e s u m m a r i z e d a s f o l l o w s . F i r s t l y , i t i s n e c e s s a r y t o j u d g e w h e t h e r t h e c u r r e n t f r a m e i s l o s t o r n o t . I f t h e r e i s n o l o s t , s e t t h e b i n a r y f l a g m a s k = 0 a n d t h e m o d e l o u t p u t s a s i t i s ; I f t h e r e i s l o s t , t h e v a l u e o f t h e s a m p l e s i s s e t t o 0 a n d m a s k = 1 t o t e l l t h e m o d e l t h a t t h e r e i s s i g n a l n e e d s t o b e r e c o n s t r u c t e d . T h e m o d e l l o o k s a t t h e a v a i l a b l e p a s t i n f o r m a t i o n t h r o u g h i t s r e c e p t i v e f i e l d t o r e c o n s t r u c t t h e p a c k e t l o s s . T h e p r e d i c t i o n o f a l l f u t u r e s a m p l e s i s p e r f o r m e d i n p a r a l l e l a n d a n y p a s t p a c k e t l o s s w i l l n o t b e p r e d i c t e d f o r t h e i n f e r e n c e o f t h e n e x t f r a m e . I n s t e a d . t h e n e t w o r k h a s t o l e a r n t o r e c o n s t r u c t u s i n g o n l y t h e p a c k e t s t h a t h a v e n o t b e e n l o s t i n t h e p a s t , w h i c h a l s o f o r c e s i t t o h a v e a s t r o n g e r a b i l i t y t o r e c o n s t r u c t a g a i n s t s u c c e s s i v e p a c k e t l o s s e s . M o r e o v e r , P L C N e t c a n g u a r a n t e e t h e s m o o t h n e s s a n d c o n t i n u i t y o f t h e s p e e c h p h a s e b e f o r e a n d a f t e r p a c k e t l o s s w i t h o u t a n y s m o o t h i n g o p e r a t i o n s . 2 . 4 . L o s s f u n c t i o n F o r t h e g e n e r a t o r G a n d d i s c r i m i n a t o r D , t h e t r a i n i n g o b j e c t i v e s f o l l o w L S G A N [ 2 5 ] , w h i c h r e p l a c e t h e b i n a r y c r o s s e n t r o p y t e r m s o f t h e o r i g i n a l G A N o b j e c t i v e s w i t h l e a s t s q u a r e s l o s s f u n c t i o n s f o r n o n v a n i s h i n g g r a d i e n t f l o w s . G A N l o s s e s f o r G a n d D a r e d e f i n e d a s : L _ E _ [ \ \ l e f t ( \ \ l e f t ( x \ \ r i g h t ) I \ \ r i g h t ) ^ + \ \ l e f t ( \ \ l e f t ( \ \ l e f t ( s \ \ r i g h t ) \ \ r i g h t ) ^ ] L a d ν ( G ) = E s [ ( D ( G ( s ) ) − I ) 2 ] L _ E _ [ \ \ l e f t ( D \ \ l e f t ( G \ \ l e f t ( s \ \ r i g h t ) \ \ r i g h t ) I \ \ r i g h t ) ^ ] w h e r e x d e n o t e s t h e g r o u n d t r u t h a u d i o a n d s i s a l o s s y o n e . I n a d d i t i o n , w e a d d m u l t i r e s o l u t i o n S T F T l o s s [ 2 1 ] , w h i c h c a n e f f e c t i v e l y c a p t u r e t h e t i m e f r e q u e n c y d i s t r i b u t i o n o f t h e r e a l w a v e f o r m , d e f i n e d a s : L s t f = E ( x , s ) [   l R ∑ r = l R L s c r ( x , s ) + L m a g r ( x , s ) ] L _ E _ [ \ \ , \ \ f r a c \ \ s u m _ ^ L _ ^ \ \ l e f t ( x , s \ \ r i g h t ) ^ L _ ^ \ \ l e f t ( x , s \ \ r i g h t ) ] ( 4 ) w h e r e   L s e \ \ , L _ } a n d L m a g d e n o t e L _ s p e c t r a l c o n v e r g e n c e a n d l o g S T F T m a g n i t u d e l o s s , r e s p e c t i v e l y . F o r r d i f f e r e n t I R s p e c t r a l r e s o l u t i o n s . P : w h i c h 1 a r e o b t a i n e d w i t h t h e s a m e S T F T c o n f i g u r a t i o n s a s i n [ 2 1 ] . T h e t h i r d i s t h e t i m e d o m a i n l o s s , w h i c h c a l c u l a t e s t h e L 1 d i s t a n c e b e t w e e n t h e r e a l w a v e f o r m a n d t h e g e n e r a t e d w a v e f o r m , d e f i n e d a s : L t i m e = E ( x , s ) [ ∣ x − G ( s ) ∣ ] L _ = E _ [ | x G \ \ l e f t ( s \ \ r i g h t ) | ] ( 5 ) T h e f o u r t h i s t h e c o n s i s t e n c y l o s s , w h i c h c a l c u l a t e s t h e L 2 d i s t a n c e b e t w e e n t h e o u t p u t o f t h e 4 e n c o d e r b l o c k s o f t h e t e a c h e r m o d e l a n d t h e o u t p u t o f t h e 4 e n c o d e r b l o c k s o f t h e s t u d e n t m o d e l , c a l c u l a t e d a s : _ = = E _ [ \ \ l e f t ( _ } \ \ l e f t ( x \ \ r i g h t ) f _ \ \ l e f t ( s \ \ r i g h t ) \ \ r i g h t ) } ^ ] ( 6 ) w h e r e Y t ( x ) _ ^ \ \ l e f t ( x \ \ r i g h t ) r e p r e s e n t s t h e t e a c h e r m o d e l p r e d i c t i o n a t t i m e s t e p t , f t   ⁣ ( s ) t , f _ \ \ ! \ \ l e f t ( s \ \ r i g h t ) r e p r e s e n t s t h e s t u d e n t m o d e l p r e d i c t i o n a t t i m e s t e p t . O u r f i n a l o b j e c t i v e s f o r t h e g e n e r a t o r a n d d i s c r i m i n a t o r a r e : L D = L a d ν ( D ) L _ = L _ w h e r e λ s t f t = 1 } } = 1 , t i m e = 1 0 0 a n d 入 c o n = 1 0 0 0 . F i g u r e 2 : T h e f l o w c h a r t o f t r a i n i n g a n d i n f e r e n c e s t a g e . 3 . E x p e r i m e n t s 3 . 1 . D a t a s e t W e c o n d u c t e x p e r i m e n t s o n t h e V C T K c o r p u s [ 2 6 ] , w h i c h c o n t a i n s d o z e n s o f h o u r s o f n e u t r a l u t t e r a n c e s f r o m 1 0 9 s p e a k e r s . F i r s t , w e p r e p r o c e s s t h e c o r p u s w i t h a v o i c e a c t i v i t y d e t e c t o r , f i l t e r o u t s i l e n c e s l o n g e r t h a n 1 0 0 m s a t t h e b e g i n n i n g a n d e n d o f t h e f i l e , a n d r e s a m p l e i t t o 1 6 k H z . S e c o n d , w e d i v i d e t h e c o r p u s i n t o t r a i n i n g , v a l i d a t i o n a n d t e s t s u b s e t s o f h i e r a r c h i c a l s p e a k e r i d e n t i t i e s , s o t h e y c o n t a i n 1 0 0 , 4 a n d 5 s p e a k e r s , r e s p e c t i v e l y . F o r P L C t a s k s , i t i s e s s e n t i a l t o s i m u l a t e r e a l i s t i c s c e n a r i o s o f p a c k e t l o s s . A p a c k e t i n t h e e x p e r i m e n t s c o n t a i n e d a 2 0 m s s p e e c h f r a m e a n d t h e l o s t p a c k e t s w e r e s i m u l a t e d u s i n g o p u s c o d e c d e m o w h i c h i s a v a i l a b l e a t h t t p s : / / g i t h u b . c o m / x i p h / o p u s . T h e p a c k e t l o s s r a t e r a n g e o f t r a i n i n g d a t a i s s e t t o 1 0 % 4 0 % a n d t h e m a x i m u m c o n t i n u o u s p a c k e t l o s s l e n g t h i s 1 2 0 m s . E a c h s p e e c h s e q u e n c e i s r a n d o m l y s e l e c t e d . S i m i l a r l y , t h e t e s t s u b s e t a l s o h a s 5 d i f f e r e n t p a c k e t l o s s r a t e s o f 1 0 % , 2 0 % , 3 0 % a n d 4 0 % . 3 . 2 . B a s e l i n e W e c o m p a r e P L C N e t w i t h 3 c l a s s i c a l P L C m e t h o d s a n d 3 s t a t e o f t h e a r t d e e p P L C m e t h o d s t o i l l u s t r a t e t h e s u p e r i o r i t y . F i r s t , a z e r o f i l l e d P L C m e t h o d b e u s e d t o e s t a b l i s h a l o w e r b o u n d f o r t h e r e c o n s t r u c t i o n m e t h o d . S e c o n d , w e u s e t h e o p u s s P L C [ 2 7 ] W e b R T C s P L C [ 2 8 ] a n d e v s s P L C [ 2 9 ] a s c l a s s i c a l P L C m e t h o d s b a s e l i n e . T h i r d , w e c o n s i d e r 3 s t a t e o f t h e a r t m o d e l s i n t h e d e e p P L C f i e l d , w h i c h a r e t h e m e l t o w a v e n o n a u t o r e g r e s s i v e a d v e r s a r i a l a u t o e n c o d i n g n e t w o r k ( P L A A E ) [ 1 6 ] , t h e w a v e t o w a v e a u t o r e g r e s s i v e c o n v o l u t i o n a l r e c u r r e n t n e t w o r k ( C R N ) [ 1 1 ] a n d w a v e t o w a v e a u t o r e g r e s s i v e t i m e f r e q u e n c y g e n e r a t i v e a d v e r s a r i a l n e t w o r k ( T F G A N ) [ 1 7 ] . W e p e r f o r m e d e x p e r i m e n t s a s d e s c r i b e d i n t h e p a p e r u n d e r t h e V C T K d a t a s e t , a l l m o d e l s a r e c a u s a l l y i m p l e m e n t e d a n d t r a i n e d f o r 3 0 0 k s t e p s u n t i l c o n v e r g e n c e o n t h e v a l i d a t i o n s e t . 3 . 3 . E v a l u a t i o n m e t r i c s T o e v a l u a t e t h e e f f e c t o f d i f f e r e n t P L C m e t h o d s , w e e m p l o y 2 o b j e c t i v e m e a s u r e s , w h i c h a r e P e r c e p t u a l E v a l u a t i o n o f S p e e c h Q u a l i t y ( P E S Q ) [ 3 0 ] a n d S h o r t T i m e O b j e c t i v e I n t e l l i g i b i l i t y ( S T O I ) [ 3 1 ] . P E S Q s c o r e s r a n g e i s 0 . 5 4 . 5 , S T O I s c o r e r a n g e s i s 0 1 , w i t h l a r g e r v a l u e s i n d i c a t i n g h i g h e r i n t e l l i g i b i l i t y a n d b e t t e r q u a l i t y o f s p e e c h . I n a d d i t i o n , t h e I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e a l s o p r o v i d e s P L C M O S n e u r a l n e t w o r k m o d e l t h a t e s t i m a t e s o f h u m a n r a t i n g s o f a u d i o f i l e s w i t h h e a l e d p a c k e t l o s s e s [ 1 8 ] . T h e o f f i c i a l r a n k i n g i s b a s e d o n t h e s c o r e w h i c h r e f l e c t s b o t h C r o w d S o u r c e d M e a n O p i n i o n S c o r e a n d W o r d A c c u r a c y [ 3 2 ] . 3 . 4 . R e s u l t s a n d a n a l y s i s 3 . 4 . 1 . A b l a t i o n e x p e r i m e n t s W e i n v e s t i g a t e t h e e f f e c t i v e n e s s o f t h e p r o p o s e d d i s c r i m i n a t o r a n d m e a n t e a c h e r s e m i s u p e r v i s e d s c h e m e s . T h e e x p e r i m e n t a l r e s u l t s u n d e r d i f f e r e n t p a c k e t l o s s r a t e s a r e s h o w n i n T a b l e 1 . F i r s t , o n l y t h e g e n e r a t o r G i s c a l l e d G i n T a b l e 1 ; s e c o n d , t h e g e n e r a t o r G a n d t h e d i s c r i m i n a t o r D a r e c a l l e d G + D i n T a b l e 1 : t h i r d , t h e g e n e r a t o r G a n d t h e m e a n t e a c h e r s e m i s u p e r v i s e d a r e c a l l e d G + s e m i s u p e r v i s e d i n T a b l e 1 . I t c a n b e c l e a r l y s e e n f r o m t h e t a b l e t h a t t h e i n t r o d u c t i o n o f t h e d i s c r i m i n a t o r D i n c r e a s e s t h e a v e r a g e o f P E S Q b y 0 . 2 6 d B a n d t h e a v e r a g e o f S T O I b y 7 . 5 9 % a n d e n a b l e s t h e g e n e r a t o r t o g e n e r a t e n e a r r e a l s a m p l e s . I n a d d i t i o n , t h e i n t r o d u c t i o n o f m e a n t e a c h e r s e m i s u p e r v i s e d s c h e m e i m p r o v e s t h e a v e r a g e o f P E S Q b y 0 . 2 3 d B a n d t h e a v e r a g e o f S T O I b y 6 . 3 3 % . S i n c e u p d a t e m e t h o d o f E M A f o r t h e t e a c h e r m o d e l , t h e w e i g h t s i m p r o v e t h e o u t p u t o f a l l l a y e r s o n a v e r a g e , n o t j u s t t h e o u t p u t o f t h e t o p l a y e r , t h e t a r g e t m o d e l h a s a b e t t e r i n t e r m e d i a t e r e p r e s e n t a t i o n . T h a t i s , t h e q u a l i t y o f t h e g e n e r a t e d s p e e c h c a n b e i m p r o v e d w i t h o u t i n c r e a s i n g t h e g e n e r a t i o n n e t w o r k m o d e l . 3 . 4 . 2 . C o m p a r i s o n w i t h E x i s t i n g B a s e l i n e s T h e e v a l u a t i o n r e s u l t s o f t h e p r o p o s e d P L C N e t a n d b a s e l i n e s y s t e m s a r e p r e s e n t e d i n f i g u r e 3 , w h e r e ( a ) a n d ( b ) r e p r e s e n t t h e a v e r a g e o f P E S Q a n d t h e a v e r a g e o f S T O I u n d e r d i f f e r e n t p a c k e t l o s s r a t e s , r e s p e c t i v e l y . T h e h o r i z o n t a l a x i s r e p r e s e n t s d i f f e r e n t a l g o r i t h m s , a n d t h e v e r t i c a l a x i s r e p r e s e n t s t h e s c o r e s . I t c a n b e c l e a r l y s e e n f r o m t h e f i g u r e 3 t h a t t h e p r o p o s e d P L C N e t i s o p t i m a l u n d e r t h e s e t w o o b j e c t i v e e v a l u a t i o n i n d i c a t o r s . C o m p a r e d w i t h t h e b e s t p e r f o r m i n g e v s s P L C i n c l a s s i c a l b a s e l i n e s y s t e m , P L C N e t h a s a n i n c r e a s e o f 0 . 3 4 d b i n P E S Q a n d 1 1 . 5 4 % i n S T O I . C o m p a r e d w i t h t h e b e s t p e r f o r m i n g P L A A E i n t h e b a s e l i n e s y s t e m , P L C N e t i m p r o v e s P E S Q b y 0 . 1 9 d b a n d S T O I b y 3 . 5 7 % . M o r e o v e r , T a b l e 2 p r e s e n t s t h e t r a i n a b l e p a r a m e t e r s a n d t h e n u m b e r o f m u l t i p l y a c c u m u l a t e o p e r a t i o n s ( M A C s ) p e r s e c o n d o f a l l o f t h e D N N s b a s e d c o m p e t i n g m e t h o d s . O n e c a n s e e t h a t t h e p r o p o s e d P L C N e t c a n m a i n t a i n g e n e r a t e h i g h q u a l i t y s p e e c h s i g n a l w h i l e h a v i n g m a n y f e w e r p a r a m e t e r s a n d a l o w e r c o m p u t a t i o n a l c o m p l e x i t y . F u r t h e r m o r e , t h e P L C N e t t a k e s 1 . 5 m s t o i n f e r a f r a m e o f 2 0 m s s p e e c h s i g n a l o n a n I n t e l C o r e i 5 q u a d c o r e m a c h i n e c l o c k e d a t 2 . 4 G H z . ( a ) P E S Q ( b ) S T O I F i g u r e 3 : T h e h i s t o g r a m o f P E S Q a n d S T O I f o r d i f f e r e n t m e t h o d s . T a b l e 2 : T h e c o m p a r i s o n i n t e r m s o f t r a i n a b l e p a r a m e t e r s ( 1 0 ° ) a n d m u l t i p l y a c c u m u l a t e o p e r a t i o n s ( 1 0 ° ) o f m o d e l s . M e t h o d s C R N P L A A E T F G A N P L C N e t # P a r a m s ( M ) 1 7 . 5 5 . 3 1 . 8 5 0 . 5 9 M A C s ( G / s ) 1 . 0 6 0 . 8 3 0 . 7 1 0 . 3 4 3 . 4 . 3 . I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e W e p a r t i c i p a t e d i n t h e I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e u s i n g t h e P L C N e t . T h e o f f i c i a l l y r e l e a s e d r e s u l t s o n t h e b l i n d t e s t s e t i n T a b l e 3 s h o w t h a t P L C N e t s i g n i f i c a n t l y o u t p e r f o r m s t h e c h a l l e n g e b a s e l i n e w i t h a b s o l u t e 0 . 9 1 5 P L C M O S g a i n a n d 0 . 0 7 3 f i n a l s c o r e g a i n . O u r m e t h o d r a n k e d t h e 3 r d p l a c e i n P L C M O S a n d t h e 3 r d p l a c e i n f i n a l s c o r e . 4 . C o n c l u s i o n s T h i s p a p e r p r o p o s e s a c a s u a l w a v t o w a v s e m i s u p e r v i s e d l i g h t w e i g h t g e n e r a t i v e a d v e r s a r i a l n e t w o r k P L C N e t , w h i c h l e a r n s t o r e c o n s t r u c t l o s t s p e e c h s i g n a l s t h r o u g h a n e n c o d i n g d e c o d i n g p r o c e s s . O b j e c t i v e m e t r i c s s h o w t h a t P L C N e t c o n s i s t e n t l y o u t p e r f o r m s o t h e r b a s e l i n e m o d e l s u n d e r d i f f e r e n t p a c k e t l o s s r a t e s . I n o t h e r w o r d s , t h e p r o p o s e d m e t h o d i s n o t o n l y l i g h t w e i g h t b u t a l s o e f f i c i e n t . I n t h e I N T E R S P E E C H 2 0 2 2 P L C C h a l l e n g e , o u r a p p r o a c h h a s r a n k e d t h e 3 r d p l a c e o n t h e f i n a l s c o r e . I n f u t u r e w o r k , w e w i l l t r y t o i n t r o d u c e a n a d a p t i v e a t t e n t i o n m e c h a n i s m i n t o t h e m o d e l t o f u r t h e r i m p r o v e t h e a b i l i t y t o r e s i s t c o n t i n u o u s p a c k e t l o s s . T a b l e 1 : T h e r e s u l t s o f a b l a t i o n e x p e r i m e n t s o n P E S Q a n d S T O I u n d e r d i f f e r e n t p a c k e t l o s s r a t e s . M e t r i c s P E S Q P E S Q P E S Q S T O I S T O I S T O I M e t h o d s 1 0 % 2 0 % 3 0 % 4 0 % A v e 1 0 % 2 0 % 3 0 % 4 0 % A v e Z e r o f i l l e d 2 . 1 3 1 . 0 4 0 . 8 9 0 . 8 1 1 . 2 2 0 . 8 6 0 . 8 1 0 . 7 3 0 . 6 1 0 . 7 5 G 2 . 7 4 2 . 0 8 1 . 3 5 1 . 1 7 1 . 8 4 0 . 9 2 0 . 8 4 0 . 7 4 0 . 6 4 0 . 7 9 G + D 2 . 8 3 2 . 3 2 1 . 7 6 1 . 4 7 2 . 1 0 0 . 9 6 0 . 8 9 0 . 8 2 0 . 7 6 0 . 8 5 G + s e m i s u p e r v i s e d 2 . 7 9 2 . 4 3 1 . 7 3 1 . 3 2 2 . 0 7 0 . 9 4 0 . 9 1 0 . 8 0 0 . 7 4 0 . 8 4 P L C N e t ( O u r s ) 3 . 1 2 2 . 6 0 2 . 0 4 1 . 7 1 2 . 3 7 0 . 9 8 0 . 9 3 0 . 8 7 0 . 8 0 0 . 8 7 T a b l e 3 : T h e r e s u l t s o f s u b j e c t i v e r a t i n g s i n t e r m s o f M O S a n d W o r d a c c u r a c y f o r t h e b l i n d t e s t s e t o f t h e P L C C h a l l e n g e . M e t h o d s P L C M O S D N S M O S C M O S W o r d a c c u r a c y F i n a l s c o r e Z e r o f i l l e d b a s e l i n e [ 1 8 ] 2 . 9 0 4 3 . 4 4 4 1 . 2 3 1 0 . 8 5 3 0 . 7 2 1 P L C N e t ( O u r s ) 3 . 8 2 9 3 . 6 8 4 0 . 8 1 2 0 . 8 5 9 0 . 7 9 4 5 . R e f e r e n c e s [ 1 ] S . M . K a y a n d S . L . M a r p l e , S p e c t r u m a n a l y s i s A m o d e r n p e r s p e c t i v e , i n P r o c e e d i n g s o f t h e I E E E , v o l . 6 9 , n o . 1 1 , p p . 1 3 8 0 1 4 1 9 , N o v . 1 9 8 1 . [ 2 ] C . A . R o d b r o , M . N . M u r t h i , S . V . A n d e r s e n a n d S . H . J e n s e n , H i d d e n M a r k o v m o d e l b a s e d p a c k e t l o s s c o n c e a l m e n t f o r v o i c e o v e r I P , I E E E T r a n s a c t i o n s o n A u d i o , S p e e c h , a n d L a n g u a g e P r o c e s s i n g , v o l . 1 4 , n o . 5 , p p . 1 6 0 9 1 6 2 3 , 2 0 0 6 . [ 3 ] O . R o n n e b e r g e r , P . F i s c h e r a n d T . B r o x , U N e t : C o n v o l u t i o n a l N e t w o r k s f o r B i o m e d i c a l I m a g e S e g m e n t a t i o n , I n t e r n a t i o n a l C o n f e r e n c e o n M e d i c a l i m a g e c o m p u t i n g a n d c o m p u t e r a s s i s t e d i n t e r v e n t i o n . S p r i n g e r , C h a m , 2 0 1 5 : 2 3 4 2 4 1 . [ 4 ] A . M a r a f i o t i , N . P e r r a u d i n , N . H o l i g h a u s a n d P . M a j d a k , A c o n t e x t e n c o d e r f o r a u d i o i n p a i n t i n g , I E E E / A C M T r a n s a c t i o n s o n A u d i o , S p e e c h , a n d L a n g u a g e P r o c e s s i n g , v o l . 2 7 , n o . 1 2 , p p . 2 3 6 2 2 3 7 2 . 2 0 1 9 . 5 | Y . L . C h a n g , K . Y . L e e , P . Y . W u , H . Y . L e e a n d W . H s u , D e e p L o n g A u d i o I n p a i n t i n g , a r X i v p r e p r i n t a r X i v : 1 9 1 1 . 0 6 4 7 6 , 2 0 1 9 . [ 6 ] H . Z h o u , Z . L i u , X . X u , P . L u o , a n d X . W a n g , V i s i o n I n f u s e d D e e p A u d i o I n p a i n t i n g , i n 2 0 1 9 I E E E / C V F I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n ( I C C V ) , S e o u l , K o r e a ( S o u t h ) : O c t . 2 0 1 9 , p p . 2 8 3 2 9 2 . [ 7 ] G . M o r r o n e , D . M i c h e l s a n t i , Z . H . T a n a n d J . J e n s e n , A u d i o i n o i n I C 4 S S p 2 0 V i s u a l S p e e c h I n p a i n t i n g w i t h D e e p L e a r n i n g , i n I C A S S P 2 0 2 1 2 0 2 1 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) , J u n . 2 0 2 1 , p p . 6 6 5 3 6 6 5 7 . 5 1 1 8 B . K . L e e a n d J . H . C h a n g , P a c k e t L o s s C o n c e a l m e n t B a s e d o n D e e p N e u r a l N e t w o r k s f o r D i g i t a l S p e e c h T r a n s m i s s i o n , I E E E / A C M T r a n s . A u d i o , S p e e c h a n d L a n g . P r o c . , v o l . 2 4 , n o . 2 , p . 3 7 8 3 8 7 , 2 0 1 6 . [ 9 ] J . L i n , Y . W a n g , K . K a l g a o n k a r , G . K e r e n , D . Z h a n g a n d C . F u e g e n , A T i m e D o m a i n C o n v o l u t i o n a l R e c u r r e n t N e t w o r k f o r P a c k e t L o s s C o n c e a l m e n t i n I C A S S P 2 0 2 1 2 0 2 1 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) , J u n . 2 0 2 1 , p p . 7 1 4 8 7 1 5 2 . [ 1 0 ] M . M . M o h a m e d a n d B . W . S c h u l l e r , C o n c e a l N e t : A n E n d t o e n d N e u r a l N e t w o r k f o r P a c k e t L o s s C o n c e a l m e n t i n D e e p S p e e c h E m o t i o n R e c o g n i t i o n , a r X i v p r e p r i n t a r X i v : 2 0 0 5 . 0 7 7 7 7 , 2 0 2 0 . [ 1 1 ] R . L o t f i d e r e s h g i a n d P . G o u r n a y , S p e e c h P r e d i c t i o n U s i n g a n A d a p t i v e R e c u r r e n t N e u r a l N e t w o r k w i t h A p p l i c a t i o n t o P a c k e t L o s s C o n c e a l m e n t , i n I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) . C a l g a r y , A B , C a n a d a : I E E E , 2 0 1 8 , p p . 5 3 9 4 5 3 9 8 . [ 1 2 ] ] S . H o c h r e i t e r a n d J . S c h m i d h u b e r , L o n g S h o r t t e r m M e m o r y , N e u r a l c o m p u t a t i o n , v o l . 9 , n o . 8 , p p . 1 7 3 5 1 7 8 0 , 1 9 9 7 . [ 1 3 ] F . S t i m b e r g , A . N a r e s t a n d A . B a z z i c a , W a v e N e t E Q P a c k e t L o s s C o n c e a l m e n t w i t h W a v e R N N , 2 0 2 0 5 4 t h A s i l o m a r C o n f e r e n c e o n S i g n a l s , S y s t e m s , a n d C o m p u t e r s , 2 0 2 0 , p p . 6 7 2 6 7 6 . [ 1 4 ] ] J . K o n g , J . K i m a n d J . B a e , H i f i g a n : G e n e r a t i v e a d v e r s a r i a l n e t w o r k s f o r e f f i c i e n t a n d h i g h f i d e l i t y s p e e c h s y n t h e s i s , A d v a n c e s i n N e u r a l I n f o r m a t i o n P r o c e s s i n g S y s t e m s , 2 0 2 0 , 3 3 : s 1 7 0 2 2 1 7 0 3 3 . [ 1 5 ] Y . S h i , N . Z h e n g , Y . K a n g a n d W . R o n g , S p e e c h L o s s C o m p e n s a t i o n b y G e n e r a t i v e A d v e r s a r i a l N e t w o r k s , i n 2 0 1 9 A s i a P a c i f i c S i g n a l a n d I n f o r m a t i o n P r o c e s s i n g A s s o c i a t i o n A n n u a l S u m m i t a n d C o n f e r e n c e ( A P S I P A A S C ) , N o v . 2 0 1 9 , p p . 3 4 7 3 5 1 . [ 1 6 ] | S . P a s c u a l , J . S e r r a , a n d J . P o n s , A d v e r s a r i a l A u t o E n c o d i n g f o r P a c k e t t L o s s C o n c e a l m e n t , 2 0 2 1 I E E E W o r k s h o p o n A p p l i c a t i o n s o f S i g n a l P r o c e s s i n g t o A u d i o a n d A c o u s t i c s ( W A S P A A ) . 2 0 2 1 : 7 1 7 5 . [ 1 7 ] | J . W a n g , Y . G u a n , C . Z h e n g , R . P e n g a n d X . L i , A t e m p o r a l s p e c t r a l g e n e r a t i v e a d v e r s a r i a l n e t w o r k b a s e d e n d t o e n d p a c k e t l o s s c o n c e a l m e n t f o r w i d e b a n d s p e e c h t r a n s m i s s i o n , T h e J o u r n a l o f t h e A c o u s t i c a l S o c i e t y o f A m e r i c a , v o l . 1 5 0 , n o . 4 , p p . 2 5 7 7 2 5 8 8 , O c t . 2 0 2 1 . [ 1 8 ] L . D i e n e r , S . S o o t l a , S . B r a n e t s , A . S a a b a s , R . A i c h n e r a n d R . C u t l e r , I N T E R S P E E C H 2 0 2 2 A u d i o D e e p P a c k e t L o s s C o n c e a l m e n t C h a l l e n g e , i n I N T E R S P E E C H 2 0 2 2 2 3 r d A n n u a l C o n f e r e n c e o f t h e e I n t e r n a t i o n a l S p e e c h h C o m m u n i c a t i o n A s s o c i a t i o n , 2 0 2 2 , s u b m i t t e d . 「 1 9 ] D . A . C l e v e r t , T . U n t e r t h i n e r a n d S . H o c h r e i t e r , F a s t a n d A c c u r a t e D e e p N e t w o r k L e a r n i n g b y E x p o n e n t i a l L i n e a r U n i t s ( E L U s ) , C o m p u t e r S c i e n c e , 2 0 1 5 . [ 2 0 ] J . H . K i m , S . H . L e e , J . H . L e e a n d S . W . L e e , F r e G A N : A d v e r s a r i a l F r e q u e n c y c o n s i s t e n n t A u d i o S y n t h e s i s , a r X i v p r e p r i n t a r X i v : 2 1 0 6 . 0 2 2 9 7 , 2 0 2 1 . [ 2 1 ] G . Y a n g , S . Y a n g , K . L i u , P . F a n g , W . C h e n a n d L . X i e , M u l t i b a n d M e l G A N : F a s t e r w a v e f o r m g e n e r a t i o n f o r h i g h q u a l i t y t e x t t o s p e e c h , i n P r o c . o f I E E E S p o k e n L a n g u a g e T e c h n o l o g y W o r k s h o p ( S L T ) . 2 0 2 1 , p p . 4 9 2 4 9 8 . [ 2 2 ] R . Y a m a m o t o , E . S o n g a n d J . M . K i m , P a r a l l e l W a v e g a n : A F a s t W a v e f o r m G e n e r a t i o n n M o d e l B a s e d o n G e n e r a t i v e A d v e r s a r i a l N e t w o r k s w i t h M u l t i R e s o l u t i o n S p e c t r o g r a m , 2 S p e c t r o g r a m , ^ I C A S S P 2 0 2 0 2 0 2 0 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g ( I C A S S P ) , 2 0 2 0 , p p . 6 1 9 9 6 2 0 3 . [ 2 3 ] A . B a e v s k i , W . N . H s u , Q . X u , A . B a b u , J . G u a n d M . A u l i , d a t a 2 v e c : A G e n e r a l F r a m e w o r k f o r S e l f s u p e r v i s e d L e a r n i n g i n S p e e c h , V i s i o n a n d L a n g u a g e , a r X i v p r e p r i n t a r X i v : 2 2 0 2 . 0 3 5 5 5 , 2 0 2 2 . [ 2 4 ] D . P . K i n g m a a n d J . B a , A d a m : A m e t h o d f o r s t o c h a s t i c o p t i m i z a t i o n , a r X i v p r e p r i n t a r X i v : 1 4 1 2 . 6 9 8 0 , 2 0 1 4 . [ 2 5 ] M . X u d o n g , L . Q i n g , X . H a o r a n , R . Y K . L a u , W . Z h e n a n d S . P . S m o l l e y , L e a s t s q u a r e s g e n e r a t i v e a d v e r s a r i a l n e t w o r k s , I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n C o m p u t e r V i s i o n , p a g e s 2 7 9 4 2 8 0 2 , 2 0 1 7 . [ 2 6 ] C . V e a u x , J . Y a m a g i s h i a n d K . M a c D o n a l d , C S T R V C T K C o r p u s : E n g l i s h m u l t i s p e a k e r c o r p u s f o r C S T R v o i c e c l o n i n g t o o l k i t , h t t p s : / / d a t a s h a r e . e d . a c . u k / h a n d l e / 1 0 2 8 3 / 2 6 5 1 , 2 0 1 7 . [ 2 7 ] I T U T R e c o m m e n d a t i o n 7 2 2 . 1 : l o w c o m p l e x i t y c o d i n g a t 2 4 a n d 3 2 k b i t / s f o r h a n d s f r e e o p e r a t i o n i n s y s t e m s w i t h l o w f r a m e l o s s , 2 0 0 5 . [ 2 8 ] W . W . W . C o n s o r t i u m , W e b R T C 1 . 0 : R e a l T i m e C o m m u n i c a t i o n B e t w e e n B r o w s e r s , h t t p s : / / w w w . w 3 . o r g / T R / w e b r t c / , 2 0 2 1 , o n l i n e ; a c c e s s e d 2 8 A p r i l 2 0 2 1 . [ 2 9 ] h t t p : / / w w w . v o i c e a g e . c o m / E V S . h t m l . [ 3 0 ] A . W . R i x , J . G . B e e r e n d s , M . P . H o l l i e r a n d A . P . H e k s t r a , P e r c e p t u a l e v a l u a t i o n o f s p e e c h q u a l i t y ( P E S Q ) a n e w m e t h o d f o r s p e e c h q u a l i t y a s s e s s m e n t o f t e l e p h o n e n e t w o r k s a n d c o d e c s , 2 0 0 1 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h , a n d S i g n a l P r o c e s s i n g . P r o c e e d i n g s ( C a t . N o . 0 1 C H 3 7 2 2 1 ) , 2 0 0 1 , p p . 7 4 9 7 5 2 v o l . 2 . [ 3 1 ] C . H . T a a l , R . C . H e n d r i k s , R . H e u s d e n s a n d J . J e n s e n , A s h o r t t i m e o b j e c t i v e i n t e l l i g i b i l i t y m e a s u r e f o r t i m e f r e q u e n c y w e i g h t e d n o i s y s p e e c h , 2 0 1 0 I E E E I n t e r n a t i o n a l C o n f e r e n c e o n A c o u s t i c s , S p e e c h a n d S i g n a l P r o c e s s i n g , 2 0 1 0 , p p . 4 2 1 4 4 2 1 7 . [ 3 2 ] R . C u t l e r , B . N a d a r i , M . L o i d e , S . S o o t l a a n d A . S a a b a s , C r o w d s o u r c i n g a p p r o a c h f o r s u b j e c t i v e e v a l u a t i o n o f e c h o i m p a i r m e n t , 2 0 2 0 , a r X i v : 2 0 1 0 . 1 3 0 6 3 . 解 析 结 果 复 制 解 析 结 果 I d : d o c m i n d P R E 2 0 2 4 0 8 1 4 b 0 b 7 2 2 9 e 5 c a 9 4 6 0 1 8 d 1 9 8 a c 2 f 4 2 f 5 9 6 d } 产 品 优 势 算 法 技 术 先 进 依 托 阿 里 丰 富 的 文 档 场 景 ， 打 磨 先 进 的 多 模 态 文 档 识 别 与 理 解 引 擎 ， 算 法 效 果 与 性 能 指 标 处 于 较 高 水 平 。 
 行 业 应 用 丰 富 覆 盖 招 投 标 、 政 务 、 金 融 财 税 等 多 行 业 多 场 景 应 用 ， 可 满 足 各 行 各 业 的 文 档 处 理 需 求 。 
 部 署 方 式 灵 活 支 持 公 共 云 A P I 、 混 合 云 D o c k e r 、 a P a a S 、 S a a S 等 多 种 产 品 部 署 方 式 ， 产 品 接 入 灵 活 ， 使 用 门 槛 低 。 
 服 务 质 量 可 靠 提 供 高 可 用 的 文 档 处 理 能 力 ， 已 在 海 量 文 档 处 理 业 务 中 反 复 锤 炼 ， 服 务 稳 定 性 高 ， 支 持 弹 性 扩 缩 容 。 
 文 档 与 工 具 产 品 简 介 快 速 了 解 文 档 智 能 什 么 是 文 档 智 能 文 档 理 解 文 档 格 式 转 换 文 档 自 学 习 用 户 指 南 5 分 钟 接 入 文 档 智 能 新 手 指 引 A P I 使 用 指 南 控 制 台 使 用 指 南 小 程 序 使 用 指 南 A P I 文 档 A P I 接 口 使 用 文 档 A P I 概 览 服 务 入 口 文 档 智 能 解 析 P D F 转 W o r d 常 见 问 题 常 见 问 题 供 查 阅 参 考 文 档 智 能 技 术 的 处 理 流 程 文 档 智 能 和 文 字 识 别 的 区 别 如 何 选 择 合 适 的 能 力 产 品 收 费 方 式 是 什 么 样 的 更 多 产 品 与 服 务 文 档 理 解 对 各 类 文 档 和 表 格 进 行 结 构 化 识 别 与 理 解 ， 并 可 在 此 基 础 上 完 成 文 档 抽 取 等 多 种 通 用 场 景 下 的 文 档 处 理 任 务 。 
 查 看 详 情 文 档 格 式 转 换 将 P D F 、 图 片 等 不 可 编 辑 的 文 档 转 换 为 W o r d 、 E x c e l 等 可 编 辑 的 文 档 格 式 ， 在 实 现 高 精 度 内 容 识 别 的 同 时 ， 最 大 限 度 地 保 留 文 档 版 式 样 式 。 
 查 看 详 情
发表评论

温馨提示

做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="https://www.uel.cc/" target="_blank">优亿链收录网_自动秒收录外链</a>