• <source id="mpniy"><div id="mpniy"></div></source>
    <b id="mpniy"><kbd id="mpniy"></kbd></b>
    <source id="mpniy"></source>
      <bdo id="mpniy"></bdo>

          先聲奪人:聲聲入耳

          • 1617846421
          • 北京日報

          本報記者 李祺瑤 劉冕

          在電腦屏幕上,手指往上一劃,播放出來的聲音尾音揚起,似少年般俏皮清亮起來;手指往下一掃,尾音變成降調,聲音也瞬間沉穩了……這只是智能語音領域里一個簡單的小技術。

          一個人無聊時,和人工智能設備聊聊天,它聽得懂,還會回答你“無理取鬧”的問題,這是智能語音在發揮作用;用微信說一段話,先轉換成文字再發送給對方,這種禮貌靠智能語音就能輕松實現。當然,如果你能邀請海綿寶寶錄上300句話,智能語音就能模擬出它的音色、語速,每天陪你聊天,這也是智能語音的研究領域。

          聲音,在智能加持下,愈發迷人。而這背后,是一群研究人員默默讀聲、辨聲、擬聲。楊明祺是其中的一位,他所在的猿輔導人工智能實驗室研究團隊,剛剛斬獲了2021年聲學、語音和信號處理國際會議(ICASSP2021)的信號處理挑戰旗艦任務——多說話人多風格音色克隆大賽(M2VoC)子賽道第一名。這表明,我國在智能語音的部分關鍵核心技術和應用上取得了重要進展。

          聲聲入耳

          今年1月29日,還有不到一周就是小年兒了,楊明祺和同事守在電腦前,點下發送鍵,正式提交了2021年聲學、語音和信號處理國際會議(ICASSP2021)的信號處理挑戰旗艦任務——多說話人多風格音色克隆大賽(M2VoC)的參賽作品——一段語音合成音頻。

          當天,楊明祺給在承德老家的父母打了個電話:不回家過年了。一方面是響應防疫要求,另一方面也因為工作忙。“家人都理解,也支持。”他頓了一下,自己加了一句解釋,“我努力的方向是能模擬出有溫度的聲音,讓家人的聲音變得可以隨身攜帶。遇到類似情況,可能就會給更多人帶去溫暖。”

          楊明祺和人對話時,有著自己特有的“職業病”——會貼心地將專業術語翻譯成白話:“語音合成(TTS)簡單地說,就是輸一個文本給電腦,然后它產生一個語音。在日常生活中,我們經常會驚嘆于手機的語音助手、智能機器人能夠‘說出’非常逼真、自然的話,幾乎可以以假亂真。但這種令人驚嘆的能力其實是通過單一說話人的大量語音數據集‘訓練’而成的。我們此次參賽,是要挑戰多說話人和多風格的語音合成,特別是在可利用資源極少的情況下,盡可能讓語音的質量、發音準確率、和目標說話人的相似度這幾個方面都令人滿意。”

          作為國際語音領域為數不多的頂級會議,M2VoC挑戰賽為參賽者提供了一個通用的數據集以及一個公平的測試平臺。參賽者需要做的,是利用大賽提供的聲音樣本和平臺,研究并完成語音克隆任務,包含少樣本賽道和極少樣本賽道兩個任務。楊明祺團隊參加的是極少樣本賽道中的子賽道,他解釋說:“在比賽中,主辦方會提供3個具有不同講話風格的目標說話人,每個說話人有5個語音數據樣本。我們要做的,就是對這3個目標說話人的聲音進行克隆,形成音頻,用于最終測試。在最終測試環節,主辦方會對收集到的語音合成系統進行評估,系統轉化的語音與樣本相似度越高,發音越準確,得分就越高。”

          如果將這場比賽描述得再刺激一點兒,就是楊明祺和團隊其他4名同事要從主辦方提供的僅有的5句樣本中,抓取到盡可能多的聲音特色,再原汁原味地“復刻”它。而正常情況下,拷貝一個聲音,大約需要有300句語音樣本進行校驗、建模和測試。“一般來說,正常數量的樣本是300句、半個小時左右的語音,而少樣本只有100句,我們挑戰的極少樣本僅有5句。”

          如此苛刻的條件,楊明祺和團隊的備賽時間卻只用了1周左右。他還沒解釋,就先笑著賣了個關子:“因為有外援。”

          與來自科研院所、高校的參賽隊伍不同,楊明祺和團隊在比賽期間并不能全身心投入研究,他們還有很多日常工作需要完成,但正是工作中點滴積累的經驗幫了大忙。“這次參賽算是我們研究團隊的一次檢驗考,備賽的大部分模塊使用的都是日常工作中小組共同設計完成的產品,這些‘養熟’的模型就是最佳外援。”

          聰者聽于無聲,明者見于無形。幕后的努力,往往是研究人員鮮少提及的,因為在他們眼里這是一件再普通不過的事兒。在追問下,楊明祺說,“養熟”一個模型,背后需要積累的數據樣本是幾十人到上百人的聲音解讀。“時間越長越好,這樣抓取的聲音特征就越準確。”他打了個比方,先讓100個人說上足夠時長的話,來養成一個模型,當模型足夠成熟,可以快速準確抓取和識別不同聲音樣本特征了,再加入主辦方提供的5句樣本,“讓模型帶著特定的樣本‘訓練’,合成音頻,可以在保證機器‘發音’標準的基礎上,讓克隆出的聲音音色更接近說話人的本聲。”

          大賽的真人審核時間持續了大約半個月。這期間,所有參賽隊伍提交的音頻會被打亂,由普通人聽完后進行評分。“這種將文本轉換成自然語音的一類技術,是智能語音領域的前沿技術,在語音助手、信息播報、有聲讀物等方面具有重要的應用價值。而且最終都是要服務人的,所以人耳當裁判最公平。”楊明祺說,平時團隊在養成模型的過程中,也會請許多人來當檢驗官,“他們不需要在聽力上有任何特長,甚至越普通越好。如果隨便一個人都能認可我們模擬的聲音,我們的目的就達到了。”

          在一次次塑造聲音的過程中,楊明祺等人發現,語音合成中的韻律信息至關重要。“韻律把控得好,可以讓語音合成效果更加流暢、自然、有節奏感,也算是團隊的秘密武器。”楊明祺耐心解釋說,畢竟聲音是有感情的,讀音是否準確、聲音是否流暢,千人千感,聽得舒服,是一個產品是否過關的關鍵。

          最終,楊明祺和同事們從極少樣本子賽道的20多支隊伍中脫穎而出,斬獲冠軍。

          “聲”臨其境

          聽上去絕對炫酷、科技感滿分的智能語音領域,楊明祺選擇入行的理由卻是:這行夠傳統。他解釋說,自己本科和研究生專業研究方向是信號處理,臨畢業時,他才決定“轉專業”。理由給得更是簡單且真誠——AlphaGo(阿爾法圍棋)人工智能機器人在人機對決中獲勝的消息,讓很多人都希望投身人工智能領域研究。2019年,楊明祺畢業找工作時就是奔著這個方向去的。

          “當時,人工智能領域的研究主要包括智能語音、圖像識別、自然語言處理幾個方向,后兩種備受追捧。而智能語音的研究門檻較高,從事的人也比較少,而且使用的算法、技術都是十幾年甚至幾十年積累起來的,不會像其他領域一樣頻繁迭代。”他俏皮地總結,這也算是個“偷懶”的選擇。

          真正入行,靠的也是最傳統的方式——公司有師父帶,課本是網上的各種研究論文。“我們會給論文作者發郵件,討論一些問題,絕大部分都收到了回復。有些論文的作者是企業工程師,在不涉及商業機密的前提下,他們會盡自己所能伸出援助之手。這些無聲的幫助,讓我們覺得特別溫暖。”如今,楊明祺也會收到各種郵件,只要是學術研討類的,他也會無聲地傳遞自己的溫暖。

          楊明祺清楚地記得,自己接到的第一份作業——給聲碼器加速。“簡單來說,我們做的語音合成,就是兩個過程。第一個過程是分析聲音,標注特征,形成文本。第二個過程是用聲碼器,按需輸出,生成新的聲音。”他用手比劃著解釋,正常情況下,聲碼器翻譯一段話要從頭到尾進行運算,相當于電路中的“串聯”,這種方法耗時較長。由他設計改進后,把一段話分解成幾段,同時并行運算,最后合成,相當于“并聯”,節省了運算時間,“雖然是個小改動,但是研發效率提高了,獲得了團隊內部一致好評。”

          其實試想一下,最簡單的TTS,就是讀文本,曾經有官方發布過數據,目前漢字的總數已經超過了8萬個,而常用的只有3500字。如果找人將這3500個字都念一遍,然后拼字組句,也可以實現“智能輸出”。不過現實生活中,每種聲音都有自己的“脾氣”,而這些也成了研發人員需要攻克的難題,其中最令楊明祺頭疼的是識字。幫助機器識字,需要研發人員將每一句話翻譯成機器能夠看懂的語言。最常用的方法就是把所有字都轉換成漢語拼音。這背后花費的精力,是楊明祺等研發人員鮮少提及的。

          多音字,是他們面對的頭號難題。“一開始真沒有想到,一段話會有那么多的多音字。”楊明祺說,一次合成音頻時直接就露了怯。第一批音頻出來之后,陰陽怪調,仔細一聽發現是多音字惹了簍子。他舉例,最簡單的“一”字就有好多個音:一個人,讀二聲;一只碗,讀四聲;一二三四,讀一聲。

          類似的例子,在日常講話時習以為常,但在嚴格按規章辦事的程序世界,這就成了一件棘手的事兒。楊明祺等人最初設計的程序,只是簡單按字典標注的漢語拼音給每個字注音,后來考慮到多音字問題,團隊開始給程序增寫規矩。攻關過程中,一遍遍重復聽音頻、摳字音,讓楊明祺對聲音格外敏感。其他團隊成員沒意識到的小問題,都成了他特別關注的點,甚至細到“口語需要的變音”。他解釋說:“比如‘你好’這個詞,按照標準拼音,這兩個字都是三聲,但更多時候我們會自然而然地把‘你’字讀成二聲。”

          還有標點符號的處理,數字、字母的處理,這些都需要用各種細致的規范來完成。當然,還包括分詞斷句的技術。解決辦法,在他的描述下也變得很簡單:不斷試錯,嘗試了各種辦法,反復調整模型,直到效果被人耳認可。

          “我們希望合成的語音不僅準確,還能實現讓人‘聲’臨其境的感覺。”楊明祺說,除了成人用戶,合成語音在智慧教育方面的應用也越來越廣泛,面向正在成長階段的兒童和學生,如果讀錯音會對他們產生誤導,所以團隊對發音的正確率摳得特別嚴。

          “聲”而有用

          如今,和楊明祺并肩作戰的研發同事有二三十人。而5年前,這個團隊才只有4個人。夏龍是元老,現在是猿輔導人工智能語音實驗室負責人。他回憶,2016年他從廣告推薦小組離開,開始“零起點”攻堅智能語音研發。

          “4個人沒有一個是智能語音專業的,突然轉到語音組,能做什么、怎么做,大家都有點兒蒙。”夏龍很坦誠地說,開始多少帶著點兒不情愿,但團隊已經建起來了,只能硬著頭皮往上沖,“我開始帶著大家天天啃論文,進行頭腦風暴……學著學著,發現智能語音還挺好玩兒的。”

          建組半年后,第一個任務來了——研發一個古詩詞背誦檢測系統。而這個創意來自同事的一次抱怨:“孩子背古詩,家長得守在邊上監督,逐字逐句地檢查。要是有個工具能自動檢查就好了,給家長老師都減減負。”

          聽者有心。夏龍決定用這個應用場景,檢驗一下半年的學習成果。

          第一步是教電腦“背詩”,這是個大工程。中小學語文課本涉及的所有古詩詞背誦篇目,首先要找到專業的語文教師一首一首地準確朗讀出來,并逐字標注正確的拼音,再由夏龍團隊將每一個拼音轉化成代碼語言。

          在研發過程中,為了檢查電腦學會的篇目是否準確,夏龍和同事還會時常扮演一下學生的角色,幫助機器進行自測。“背誦詩詞的時候,我們每發出一個字的讀音,就會被系統自動識別,并和它已經記住的字音進行比對,如果出現字音錯誤、漏讀等問題,顯示器上會實時將錯誤的地方標紅。”夏龍打趣說,上學時候都沒這么認真背過課文,真的是學了不少知識。“比如李白的《將進酒》,‘將’字一直以為是讀jiāng,后來被系統糾錯了,原來正確的應該念qiāng。”

          一個月后,夏龍團隊研發的第一款智能語音產品順利投入應用。之后一年,團隊根據用戶反饋情況,對產品進行了迭代升級,詩詞背誦檢測準確率不斷提高。夏龍笑言:“我們團隊的詩詞水平直線上升。”

          人工智能語音實驗室的陣容也不斷擴大。如今,團隊成員有30人,平均年齡28歲左右,每個人都有各自擅長的研究領域,讀聲辨聲變得更專業。

          最令夏龍自豪的是,每逢中高考語文考試前一天,古詩詞背誦檢測系統的用戶需求尤為明顯,“我們得加機器才能完成龐大的運算量。”

          這種“聲”而有用,還體現在很多地方。楊明祺舉例說,以前如果找國外的教師來錄制英語聽力素材,由于時差等原因,一來一回,制作周期需要一周左右。如果后期有修改,反反復復的時間會更長。但現在通過智能語音模型,一段大約3分鐘的文本,幾秒鐘時間就可以實現語音轉換,而且保證原汁原味。

          楊明祺給自己設定了今年的研究方向——為聲音賦情。他說,想比較完整地合成一種個性化的聲音,至少需要300句話、半個小時以上的聲音樣本,才能讓電腦學會,以后看到任何文本,都能自然而然地用這個聲音讀出來。這個過程并不是簡單地找樣本、建模型、跑數據就可以出成果的。

          “比如有些場景需要聲音情感飽滿度高一點,有的時候希望用一個小男孩清脆一點的聲音,有的時候希望要一個溫柔一點的語氣。而每一個需求,都需要幕后有匹配的人去錄制聲音樣本。以目前業界現有的技術,對聲音情緒進行調整,基本需要逐字去操作,工程非常繁瑣。”楊明祺說,我們希望可以最終實現“一鍵調節”,甚至連高興、悲傷的等級都可以設定,不過辨別聲音里的情緒,給這些看不見摸不著的感覺下指標,難度可想而知。“這是我們努力的方向。”

          每天雖然面對著冷冰冰的電腦,研發人員的心卻比誰都細致、柔軟。夏龍說:“如果眼光放長遠一些,隨著人工智能和其他前沿技術的進步,可能會給社會帶來更多積極影響。”可預見的未來,有情感的聲音能夠被進一步應用到教育、醫療等行業和領域中,可以服務配音合成、智能出題、智能客服諸多應用場景,不斷刷新行業效率。

          人工智能技術還可以打破地域資源的限制,讓農村地區的孩子也可以享受和城市孩子一樣的教學,和“外教”交流,學習純正的發音。楊明祺說:“我們可以通過語音合成、智能語音評測技術,開發語言教學系統,構建標準化的語音教學環境,幫助解決農村等邊遠地區的學科因師資力量短缺而難以開展的問題。”

          夏龍說,讓機器學會特定聲音,需要花費大量的時間,其中需要工程師做大量的“標注”工作,幫機器完成學習。他和團隊正在探索和努力的方向,是要用盡可能少的人力、物力成本,加快機器學會發聲的進度,讓聲音更智能。

          • 編輯:張曉芳
          原創聲明:本文是北京旅游網原創文章,其最終版權仍歸北京旅游網所有,轉載請注明來自北京旅游網

          征文啟事

          為能讓網友分享自己美好旅途,記錄旅途美好回憶,北京旅游網特面向全球網友公開征集文旅類稿件。范圍涵括吃喝玩樂游購娛展演等屬于文旅范疇的內容均可,形式圖文、視頻均可。

          稿件必須原創。稿件一經采用,即有機會獲得景區門票、精美禮品,更有機會參與北京旅游網年終盛典活動。

          投稿郵箱:tougao@visitbeijing.com.cn

          咨詢QQ:490768046

          編輯推薦

            專題推薦

            文化北京

            我要查

            北京旅游網京ICP備17049735號-1京公網安備 11010502035003號

            Copyright ? 2002-2021 www.wldm298.com, All Rights Reserved 保留所有權利

            波多野结衣在线视频,3d性欧美videofree高清,video日本老熟妇,免费中文熟妇在线影片 网站地图