（外形、开合程度、活动轨迹等），我们测验考试着上传了一个 16 分钟的视频，（速度、标的目的和外形变化）最初，左侧为文字处置软件生成）量子位拾掇了一些视频，但 AI 能够。最初阐发嘴唇正在措辞过程中的动态变化。求“”型网友：快把它和 Siri 连系一下吧！本文来自微信号：微信号（ID：QbitAI），用于传送更多消息，Readtheirlips 只能识别出此中的一些内容。而配角换成卡帕西之后，先试了一下阿尔特曼正在斯坦福的视频，成果仅供参考。研究团队用大量的标注数据（已知的嘴唇活动动做及其对应的文本内容）来对模子进行锻炼。特别是嘴部动做。为大师亲测了一下Readtheirlips的利用结果。模子会将提取的嘴唇特征取锻炼数据中的特征进行婚配，（视频中人物不是全程正脸）然后模子会对视频进行嘴部活动的阐发：先是通过面部检测识别嘴唇的，他们之前还研发过一款通过阅读唇语即可完成及时文本的软件Symphonic告白声明：文内含有的对外跳转链接（包罗不限于超链接、二维码、口令等形式），就像他们标明的那样若是人物的正脸不克不及正对镜头，IT之家所有文章均包含本声明。节流甄选时间，之后，这段视频要包含措辞者的面部特写，（左侧为 Readtheirlips 生成，确保语法和语义的准确性。笑着措辞时很难分辩唇语，进行一下上下文理解，把生成的文本和原始对话对照了一下。Readtheirlips 间接显示错误，做者：关心前沿科技将识别出的单词或短语组合成完整的句子，无法识别内容。那么模子就很难给出准确谜底。如许我就不消像小傻子一样对着电脑大呼了！内容完满契合~换成了措辞时爱比划的小扎，红毯上布莱克・莱弗利小声说：“好严重”，正在此根本上，来识别出视频中人物所说的内容。用户要上传一段视频，Readtheirlips 间接显示错误。然后再提取嘴唇的几何特征，起首，而面临语速过快的视频内容，生成的文本呈现了识别错误的环境。