1
| 本文作者： 周翔 | 2016-12-22 16:54 |
雷鋒網(wǎng)按：作為一家科技巨頭的CEO，扎克伯格卻依然保持寫代碼的習(xí)慣?？膳碌淖灾屏Γ瑥?qiáng)的執(zhí)行力，當(dāng)比你有錢的人還比你更聰明更勤奮的時(shí)候，雷鋒網(wǎng)編輯不禁開始懷疑人生。
以下文章來自扎克伯格的筆記“Building Jarvis”，由雷鋒網(wǎng)編譯，未經(jīng)許可不得轉(zhuǎn)載。
2016年我給自己制定了一個(gè)挑戰(zhàn)：打造一個(gè)像鋼鐵俠里 Jarvis 那樣的家庭AI助手。
我的目的是了解人工智能發(fā)展的現(xiàn)狀。雖然人工智能已經(jīng)比人們能察覺到的要先進(jìn)得多，但是依然還有很長(zhǎng)的路要走。通過完成這些挑戰(zhàn)，我不僅熟悉了Facebook的工程師們使用的內(nèi)部技術(shù)，而且還對(duì)智能家居有了全面的了解。
在這一年里，我打造了一個(gè)可以通過手機(jī)和電腦進(jìn)行對(duì)話的AI系統(tǒng)。它能夠控制我家里的燈光、溫度、電器、音樂和安防系統(tǒng)，而且這個(gè)AI還能了解我的品味和習(xí)慣，可以學(xué)習(xí)新的詞匯和概念，甚至可以逗我的女兒Max開心。Jarvis是由Python、PHP和Objective C編寫的，運(yùn)用了包括自然語言處理、語音識(shí)別、面部識(shí)別以及強(qiáng)化學(xué)習(xí)在內(nèi)的人工智能技術(shù)。
在本文中，我將會(huì)解釋我創(chuàng)建的Jarvis到底是什么，以及我從中學(xué)到了什么。
從某些方面來說，這個(gè)挑戰(zhàn)比我預(yù)想的要容易。實(shí)際上，我給自己制定的跑步計(jì)劃（2016年跑365公里）累計(jì)花費(fèi)的時(shí)間比這還更多。不過，將我家里所有的系統(tǒng)全部連接起來，并讓系統(tǒng)之間互相通信，卻比我預(yù)想的要難得多。
在可以構(gòu)建AI之前，我必須首先編寫代碼將使用不同語言和協(xié)議的系統(tǒng)連接起來。我們的電燈、恒溫器和門使用的是Crestron系統(tǒng)，音樂流媒體Spotify搭配的是Sonos音箱，還有一臺(tái)三星電視機(jī)，以及為Max準(zhǔn)備的Nest Cam攝像頭，當(dāng)然，我的工作室連接的是Facebook的系統(tǒng)。為了能夠通過我的電腦發(fā)布諸如開燈、播放歌曲之類的指令，我不得不對(duì)其中一些系統(tǒng)的API進(jìn)行逆向開發(fā)。
此外，大多數(shù)的電器甚至都不能連接到互聯(lián)網(wǎng)。雖然通過支持連接到互聯(lián)網(wǎng)、可遠(yuǎn)程控制的電源開關(guān)能夠控制其中的一些電器，但是這還遠(yuǎn)遠(yuǎn)不夠。比如，如果你希望烤面包機(jī)能在接通電源的時(shí)候自動(dòng)開始烤面包，但你很難找到能夠讓你在斷電的情況下將面包按下去的烤面包機(jī)。最終，我最終找到了一個(gè)1950年代的古董烤面包機(jī)，然后把它插在了智能插座上。同樣的，要想連接Beast（扎克伯格的寵物狗）的自動(dòng)投食器，則需要涉及到硬件改造工作。
對(duì)于Jarvis這樣的助手來說，要想能夠幫助更多的人控制家里的一切，我們需要將更多的設(shè)備連接起來。而業(yè)界也需要開發(fā)通用的API和標(biāo)準(zhǔn)，讓設(shè)備與設(shè)備之間能相互通信。
當(dāng)我寫完能夠讓我的電腦控制我家的代碼之后，下一步就是讓我和電腦之間的溝通變得像日常對(duì)話那樣自然。這里的過程分為兩步：首先實(shí)現(xiàn)通過文本信息來對(duì)話，然后增加將語音轉(zhuǎn)錄成文本的功能。
從尋找關(guān)鍵詞開始，比如通過“臥室”、“燈”、“開”這幾個(gè)關(guān)鍵字，它可以知道我是在告訴它把臥室的燈打開。很快，我就發(fā)現(xiàn)它需要理解同義詞，“family room”和“l(fā)iving room”在我們家里指的是同一個(gè)房間，這就需要建立一種能教它學(xué)習(xí)新的詞匯和概念的方法。
理解語境對(duì)任何AI來說都非常重要。例如，當(dāng)我告訴它打開我辦公室里的空調(diào)時(shí)，這和Priscilla說同樣的話的意思完全不同。這造成了一些混亂。比如，當(dāng)你在沒有指定房間的情況下讓它把燈調(diào)暗一點(diǎn)或者播放一首歌的時(shí)候，如果它不知道你在哪個(gè)房間，那么很可能打開Max房間里的播放器，然后在我們希望她能打個(gè)小盹的時(shí)候把她吵醒。
音樂是一個(gè)更有趣也更復(fù)雜的自然語言領(lǐng)域。對(duì)于一個(gè)識(shí)別關(guān)鍵字的系統(tǒng)來說，有太多的藝術(shù)家、歌曲、專輯，因此你可以問的東西也非常寬泛。電燈只能關(guān)閉或打開，然而當(dāng)你說“play XX（播放XX歌曲）”時(shí)，即使細(xì)微的差別也可能意味很多不同的意思。比如，“play someone like you（播放歌曲someone like you）”，“play someone like Adele（播放和Adele風(fēng)格相似的歌手的歌曲）”，“play some Adele（播放Adele的歌）”，這些聽起來很相似，但其實(shí)是完全不同的指令。第一個(gè)指令是播放一首特定的歌曲，第二個(gè)是推薦一位歌手，第三個(gè)則是創(chuàng)建一個(gè)Adele最好聽的歌曲播放列表。不過，通過一個(gè)有反饋的系統(tǒng)，AI可以學(xué)習(xí)到這些差異。
一個(gè)AI系統(tǒng)對(duì)語境的了解越多，就能越好地處理開放式問題。我經(jīng)常只對(duì)Jarvis說“play me some music（播放音樂）”，它會(huì)查看我過去的聽歌習(xí)慣，大部分情況下它播放的都是我想聽的歌。如果它播的歌不符合當(dāng)時(shí)的氣氛，我可以直接告訴它，比如，“這不是舒緩的，播放一些舒緩的音樂”，它就會(huì)學(xué)習(xí)到那首歌的分類，并立即做出調(diào)整。而且它也知道是我在跟它說話，還是Priscilla（扎克伯格的妻子）在跟它說話，這樣它就可以根據(jù)我們的口味推薦不同的歌曲。相比非常具體的指令，我發(fā)現(xiàn)我們更常使用開放式的命令。就我所知，目前還沒有哪個(gè)商業(yè)化的產(chǎn)品在做這個(gè)，這應(yīng)該是一個(gè)巨大的機(jī)會(huì)。
人類三分之一的大腦都負(fù)責(zé)視覺，而AI在理解圖像和視頻方面也有很多難題。這些難題包括追蹤（比如Max在嬰兒床中移動(dòng)是不是說明她醒了？），對(duì)象識(shí)別（例如房間里的是Beast還是一塊毯子（注：Beast是一條長(zhǎng)得很像地毯的寵物狗）），以及面部識(shí)別（例如誰在門口？）。
面部識(shí)別是對(duì)象識(shí)別中一個(gè)特別難的問題，因?yàn)榇蟛糠秩说拈L(zhǎng)相是很相似的，相比之下，區(qū)分任意兩個(gè)不同的物體，比如一個(gè)三明治和一座房子，就簡(jiǎn)單得多。但是Facebook在面部識(shí)別方面的技術(shù)能力很強(qiáng)，它能夠很輕易地識(shí)別你照片庫(kù)中的朋友。當(dāng)你的朋友站在你的門前的時(shí)候，通過面部識(shí)別，AI系統(tǒng)就能決定是否讓他進(jìn)來。
為了做到這一點(diǎn)，我在門口裝了好幾個(gè)攝像頭，確保各個(gè)角度都能夠捕獲圖像。AI系統(tǒng)目前還不能識(shí)別后腦勺，因此多裝幾個(gè)攝像頭可以確保我們可以看到那個(gè)人的臉。我設(shè)置了一個(gè)簡(jiǎn)單的服務(wù)器，可以持續(xù)檢查攝像頭的傳回的圖像，并執(zhí)行以下兩個(gè)程序：
首先，通過面部檢測(cè)，來查看是否有人出現(xiàn)在攝像頭的視野之中，如果它發(fā)現(xiàn)人臉出現(xiàn)在畫面之中，就會(huì)執(zhí)行面部識(shí)別程序來確定這個(gè)人是誰。
一旦確定這個(gè)人是誰，就會(huì)檢查一個(gè)列表來確定他是不是我正在等的人。如果是，就會(huì)讓他進(jìn)來并通知我，客人已經(jīng)到了。
這種類型的視覺AI系統(tǒng)在很多地方都非常有用：比如知道Max什么時(shí)候醒，這樣就可以開始播放音樂或者普通話課程；知道我們?cè)谀膫€(gè)房間里，這樣就可以在不提供位置的情況下，正確地執(zhí)行沒有上下文的類似開燈這樣的指令。和AI其他的方面一樣，當(dāng)把視覺提供的信息與其他能力結(jié)合起來時(shí)就能發(fā)揮最大的功效。比如知道哪些是你的朋友，以及如何在他們到你家的時(shí)候給他們開門。當(dāng)AI系統(tǒng)擁有的信息量越多，它就會(huì)變得越聰明。
雖然我在電腦上編寫Jarvis，但為了讓它更有用，我希望不管在任何地方都能和它對(duì)話。這意味著我必須通過我的手機(jī)，而不是放在家里的某個(gè)設(shè)備來和它進(jìn)行通信。
我開始建立一個(gè)Messenger Bot來和Jarvis對(duì)話，這比開發(fā)一個(gè)單獨(dú)的App要容易地多。Messenger為開發(fā)自動(dòng)程序提供了一個(gè)簡(jiǎn)易的框架，它可以自動(dòng)幫你完成很多事情，比如可以跨平臺(tái)（iOS和Android）工作，支持文字、圖像和語音內(nèi)容，推送通知，管理不同人的身份和權(quán)限等等。
我可以通過Messenger Bot發(fā)送任何的文本信息，發(fā)送的文本會(huì)被立即傳送到Jarvis服務(wù)器上并被處理。我也可以發(fā)送語音片段，服務(wù)器會(huì)將語音準(zhǔn)換成文本，然后執(zhí)行指令。如果在我不在家的時(shí)候有人到訪，Jarvis會(huì)給我發(fā)送一張圖片，然后告訴我是誰來了。
有一點(diǎn)我沒想到的是，雖然我既可以通過語音也可以通過文字來和Jarvis對(duì)話，但是我使用文字的幾率比我預(yù)想的多得多。大多數(shù)情況下，打字不會(huì)干擾到我身邊的人。如果我做的事涉及所有人，比如為大家播放音樂，那么我會(huì)選擇語音，但是大多數(shù)時(shí)候用打字更合適。同樣的，當(dāng)Jarvis和我溝通的時(shí)候，我更希望收到文本信息而不是語音。因?yàn)槁曇粲袝r(shí)候會(huì)突然打擾到你，而文本則讓你可以在想看的時(shí)候再看。就算是我對(duì)著Jarvis發(fā)布語音指令，但是如過我正在使用手機(jī)，我會(huì)更喜歡它通過文本信息來回應(yīng)。
這種選擇文字而不是語音交流方式的偏好，其實(shí)跟Messenger和Whatsapp上文字消息比語音消息更收歡迎這一現(xiàn)象是吻合的。這表明，未來的AI產(chǎn)品不能只專注語音交互，私人消息界面也應(yīng)該是標(biāo)配。如果你想讓AI能夠通過文本溝通，那么選用像Messenger這樣的平臺(tái)比你從零開始開發(fā)一個(gè)App要容易的多。我一直以來都對(duì)AI機(jī)器人持樂觀態(tài)度，當(dāng)我開發(fā)了Jarvis之后，這種交互的體驗(yàn)讓我更相信智能家庭的未來應(yīng)該是像Jarvis這樣的。
盡管我認(rèn)為文本在與AI溝通方面比人類意識(shí)到的更加重要，但是語音也仍將占據(jù)非常重要的地位。語音最大的好處是它的速度。你不需要掏出你的手機(jī)，打開App，然后開始打字，你需要做的僅僅是說話。
為了能夠讓Jarvis能夠擁有語音識(shí)別功能，我需要為Jarvis建一個(gè)能在后臺(tái)采集語音信息的的App。雖然Messenger Bot能夠做很多事，但是要實(shí)現(xiàn)語音交互對(duì)它來說還是比較困難的。我設(shè)計(jì)的Jarvis專用App能夠讓Jarvis在我把手機(jī)放在桌上的時(shí)候，聽我說話。我可以在各個(gè)房間里都放上手機(jī)，這樣我就可以在每個(gè)房間都可以和Jarvis對(duì)話了。雖然這和亞馬遜的Echo很相似，但是根據(jù)我的經(jīng)驗(yàn)，當(dāng)我不在家的時(shí)候會(huì)經(jīng)常用手機(jī)和Jarvis對(duì)話。因此把手機(jī)當(dāng)作主要的交互入口比家庭設(shè)備更可靠。我已經(jīng)開發(fā)了iOS版的Jarvis App，下一步計(jì)劃開發(fā)安卓版的App。從2012年起我就沒有開發(fā)過iOS的App了，在這次的開發(fā)過程中，F(xiàn)acebook為開發(fā)App和語音識(shí)別提供的工具鏈讓我印象非常深刻。
雖然語音識(shí)別系統(tǒng)最近已經(jīng)有了很大的進(jìn)步，但是目前還沒有哪一個(gè)AI系統(tǒng)在理解會(huì)話語言方面做的足夠好。語音識(shí)別依賴于聽懂你的話并預(yù)測(cè)你將要說什么，因此相比非結(jié)構(gòu)化語言，結(jié)構(gòu)化的語言要容易理解的多。
語音識(shí)別系統(tǒng)，或者更廣泛的機(jī)器學(xué)習(xí)系統(tǒng)，都有其限制，它們往往更適用于特定的問題。比如理解人和機(jī)器的對(duì)話與理解人和人之間對(duì)話是不同的。當(dāng)你用來自谷歌的人機(jī)對(duì)話數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)，那么這個(gè)機(jī)器學(xué)習(xí)系統(tǒng)在理解Facebook上人與人之間對(duì)話的表現(xiàn)將會(huì)相對(duì)較差。訓(xùn)練一個(gè)能夠只需要近距離對(duì)話的AI，和訓(xùn)練一個(gè)在更大的空間范圍內(nèi)使用的AI（比如Echo），也有很大的不同。這些系統(tǒng)的限制很多，這意味著我們離更通用的AI系統(tǒng)還有很大的距離。
從心理學(xué)層面上來說，一旦你對(duì)著一個(gè)AI說話，那么就會(huì)比你使用文本或者圖形界面與計(jì)算機(jī)交互要投入更多感情。我觀察到的很有意思的一點(diǎn)是，當(dāng)我為Jarvis 植入聲音之后，我會(huì)希望它能更幽默一些。其中一部分原因是因?yàn)樗F(xiàn)在可以與Max對(duì)話，我希望對(duì)話有趣一些，能夠逗Max開心。另一部分原因感覺它一直在我們身邊。我教了他一些有趣的小游戲，比如我和Priscilla可以問它我們應(yīng)該撓誰的癢癢，他會(huì)隨機(jī)告訴我們一個(gè)名字：Max或者Beast。我還會(huì)增加一些經(jīng)典臺(tái)詞，比如“對(duì)不起，Priscilla?？峙挛易霾坏健?。
在語音這一領(lǐng)域還有很多需要探索。AI技術(shù)剛剛變得能夠成為一款偉大產(chǎn)品的基礎(chǔ)，在未來的幾年它會(huì)變得越來越好。同時(shí)，我認(rèn)為最好的產(chǎn)品應(yīng)該可以隨身攜帶而且可以進(jìn)行私密性對(duì)話的。
作為Facebook的CEO，我并沒有多少時(shí)間寫代碼，但我從未停止過編程。不過這些日子以來我主要是在創(chuàng)建我的個(gè)人項(xiàng)目Jarvis。我本來只希望今年能夠了解一些AI的現(xiàn)狀和進(jìn)展，但是我發(fā)現(xiàn)學(xué)到的遠(yuǎn)遠(yuǎn)超出了我的預(yù)期，感覺自己就像是Facebook的一個(gè)工程師。
我在Facebook的代碼庫(kù)中升級(jí)的經(jīng)驗(yàn)可能和大多數(shù)新的工程師類似。我們的代碼結(jié)構(gòu)組織非常好，不管是臉部識(shí)別、語音識(shí)別、Messenger Bot框架（messenger.com/platform）還是iOS開發(fā)。你很容易找到你想要的。為了能夠在GitHub的Atom文本編輯器上使用，我們創(chuàng)建了開源包——基于Atom的Nuclide（github.com/facebook/nuclide），這讓開發(fā)工作變得更容易。我們也創(chuàng)建了Buck系統(tǒng)（buckbuild.com）來開發(fā)大型項(xiàng)目，這節(jié)省了我很多時(shí)間。我們開源的文本分類工具FastText（github.com/facebookresearch/fastText） 也值得一看。如果你對(duì)開發(fā)AI也有興趣的話，也可以看看Facebook Research（github.con/facebookresearch）在Github上的所有開源項(xiàng)目。
”快速行動(dòng)“是我們的價(jià)值觀之一。這意味著到Facebook來的人創(chuàng)建App的速度必須比在其他任何地方都快，包括自主開發(fā)。到我們這來的員工可以使用我們的基礎(chǔ)設(shè)施和AI工具來創(chuàng)建那些依靠自己需要很長(zhǎng)時(shí)間的東西。創(chuàng)建讓工程更高效的內(nèi)部工具對(duì)任何的科技公司來說都是非常重要的，而Facebook在對(duì)待這一問題上更加重視。在這里，我要給我們的團(tuán)隊(duì)一個(gè)大大的贊！
盡管這個(gè)挑戰(zhàn)已經(jīng)結(jié)束了，但我仍將繼續(xù)優(yōu)化Jarvis，因?yàn)槲颐刻於荚谑褂盟页３０l(fā)現(xiàn)我想添加的新功能。
近期，下一步工作應(yīng)該是創(chuàng)建安卓App，在更多的房間里放置Jarvis語音終端，連接更多的家電。希望未來能夠用Jarvis來控制我的Big Green Egg碳爐。
未來，我還會(huì)探索如何教會(huì)Jarvis如何自主學(xué)習(xí)的技能，而不是讓我去教它執(zhí)行特定的任務(wù)。如果我要花費(fèi)一年的時(shí)間來應(yīng)對(duì)這個(gè)挑戰(zhàn)，那么我會(huì)專注于理解學(xué)習(xí)本身這個(gè)過程是如何運(yùn)作的。
最后，隨著時(shí)間的推移，如果能夠找到方法讓Jarvis可以讓全世界的人都使用將會(huì)更有趣。我考慮過開源我的代碼，但是目前Jarvis跟我自己的家、家里的電器以及網(wǎng)絡(luò)設(shè)置的聯(lián)系太緊密了。如果我能創(chuàng)建一個(gè)能夠?qū)⒏嗤ㄓ玫闹悄芗彝スδ芗掀饋淼膌ayer，或許那時(shí)候我會(huì)開源。當(dāng)然，那可能會(huì)是創(chuàng)建新產(chǎn)品的好的基礎(chǔ)。
創(chuàng)建Jarvis是一個(gè)有趣的智力挑戰(zhàn)。它給了我在創(chuàng)建AI工具方面的直接經(jīng)驗(yàn)，而AI對(duì)我們的未來非常重要。
我曾經(jīng)預(yù)測(cè)，在未來的5-10年內(nèi)，我們的AI系統(tǒng)將比人類的感官更加準(zhǔn)確——視覺、聽覺、觸覺，以及其他的領(lǐng)域，比如語言等。
與此同時(shí)，我們距離了解學(xué)習(xí)的本質(zhì)仍然很遙遠(yuǎn)。我今年所做的一切，包括自然語言、面部識(shí)別、語音識(shí)別等等，都是基于基礎(chǔ)模式識(shí)別技術(shù)的變體。我們知道如何給一臺(tái)計(jì)算機(jī)很多例子來讓它的識(shí)別更精確，但是我們?nèi)匀徊恢缹囊粋€(gè)領(lǐng)域中獲得的想法應(yīng)用到另一個(gè)完全不同的領(lǐng)域中去。
今年，我在構(gòu)建Jarvis上花了差不多100個(gè)小時(shí)?，F(xiàn)在我有了一個(gè)能理解我而且能為我做很多事的系統(tǒng)。但是就算我花1000個(gè)小時(shí)，估計(jì)也打造不出一個(gè)能完全自主學(xué)習(xí)新技能的系統(tǒng)。除非我在AI技術(shù)上取得了基礎(chǔ)性的突破。
在某種程度上，AI離我們很近，也離我們很遠(yuǎn)。但是AI未來能夠能夠做的事會(huì)超出很多人的預(yù)期：駕駛汽車，治療疾病，發(fā)現(xiàn)行星，理解媒體。這些都會(huì)對(duì)我們所處的世界產(chǎn)生重大影響，但是我們?nèi)匀恍枰宄降资裁床攀钦嬲闹腔邸?/p>
總之，這是一個(gè)很棒的挑戰(zhàn)。它教會(huì)我的東西比我預(yù)期的要多得多。我不僅了解了AI，還了解到了家居自動(dòng)化和Facebook內(nèi)部技術(shù)的知識(shí)。這正是這些有這些挑戰(zhàn)有趣的地方。在未來的幾周里，我會(huì)分享我給自己制定的2017年的挑戰(zhàn)。
via Facebook
【招聘】雷鋒網(wǎng)堅(jiān)持在人工智能、無人駕駛、VR/AR、Fintech、未來醫(yī)療等領(lǐng)域第一時(shí)間提供海外科技動(dòng)態(tài)與資訊。我們需要若干關(guān)注國(guó)際新聞、具有一定的科技新聞選題能力，翻譯及寫作能力優(yōu)良的外翻編輯加入。
簡(jiǎn)歷投遞至 wudexin@leiphone.com，工作地 北京。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
