大數(shù)據(jù)與人工智能 2016年大事記

時(shí)間：2017-02-08

文章轉(zhuǎn)載自深圳云計(jì)算協(xié)會(huì)，如有侵權(quán)請(qǐng)聯(lián)系刪除

不知不覺(jué)間，2016年已然過(guò)去，2017年已經(jīng)到來(lái)。驀然回首，我們發(fā)現(xiàn)在過(guò)去的一年，大數(shù)據(jù)和人工智能領(lǐng)域的發(fā)展讓我們眼花繚亂，應(yīng)接不暇，待我為大家梳理一番。

標(biāo)志性大事件

Apache Hadoop at 10：

Hadoop誕生10年了。2006年1月28日，Doug Cutting和Mike Cafarella從他們的開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目(Apache Nutch)中分離出分布式文件系統(tǒng)以及MapReduce設(shè)施，把它當(dāng)作一個(gè)子項(xiàng)目，并稱其為Hadoop。Cutting發(fā)表了他動(dòng)情地回顧了自己與Hadoop故事，并提出了對(duì)未來(lái)的展望。

人工智能再顯身手，谷歌AlphaGo戰(zhàn)勝李世石：

Google旗下DeepMind出品的AlphaGo連勝三局(五局三勝制)戰(zhàn)勝韓國(guó)職業(yè)棋手圍棋九段李世石。這將是人工智能領(lǐng)域的又一里程碑事件。另外，2016年底，神秘的Master給我們帶來(lái)了精彩續(xù)集：60勝0負(fù)!谷歌承認(rèn)Master是AlphaGO。

大數(shù)據(jù)技術(shù)繼續(xù)蓬勃發(fā)展

以Hadoop和Spark為代表的大數(shù)據(jù)技術(shù)生態(tài)系統(tǒng)繼續(xù)發(fā)展壯大。

Hadoop 3.0新特性預(yù)覽：

Hadoop 3.0中引入了一些重要的功能和優(yōu)化，包括HDFS 可擦除編碼、多Namenode支持、MR Native Task優(yōu)化、YARN基于cgroup的內(nèi)存和磁盤IO隔離、YARN container resizing等。

Apache Spark 2.0.0 發(fā)布，APIs 更新：

Apache Spark 2.0.0發(fā)布了，Apache Spark 是一種與 Hadoop 相似的開(kāi)源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說(shuō)，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。

Apache Beam將統(tǒng)一大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)：

一直以來(lái)，大數(shù)據(jù)開(kāi)發(fā)涉及到各種框架，比如，Hadoop、Storm、Spark和Flink等，基于這些框架的開(kāi)發(fā)要求的技術(shù)棧都各不同，這對(duì)開(kāi)發(fā)者來(lái)說(shuō)開(kāi)發(fā)成本比較高，在Beam的統(tǒng)一下可以實(shí)現(xiàn)寫(xiě)一個(gè)程序既能在Hadoop中運(yùn)行又可在Spark中運(yùn)行。

巨頭相繼開(kāi)源機(jī)器學(xué)習(xí)框架

Facebook開(kāi)源深度學(xué)習(xí)框架 Torchnet，相比其他巨頭自己搭建的深度學(xué)習(xí)框架，Torchnet 更加開(kāi)放，也將大幅推進(jìn)深度學(xué)習(xí)的應(yīng)用普及。

LinkedIn開(kāi)源機(jī)器學(xué)習(xí)庫(kù)Photon：

Photon機(jī)器學(xué)習(xí)支持Apache Spark，通過(guò)結(jié)合Spark快速處理海量數(shù)據(jù)的能力和強(qiáng)大的模型訓(xùn)練和診斷工具，Photon機(jī)器學(xué)習(xí)提供給研究型工程師更多的信息來(lái)決策使用哪類推薦系統(tǒng)算法。

Microsoft開(kāi)源其深度學(xué)習(xí)工具包CNTK：

CNTK是一個(gè)統(tǒng)一的深度學(xué)習(xí)工具包，它通過(guò)一個(gè)有向圖將神經(jīng)網(wǎng)絡(luò)描述為一系列計(jì)算步驟。在有向圖中，葉節(jié)點(diǎn)表示輸入值或網(wǎng)絡(luò)參數(shù)，邊表示輸入之上的矩陣運(yùn)算。CNTK使得實(shí)現(xiàn)和組合前饋型神經(jīng)網(wǎng)絡(luò)DNN、卷積神經(jīng)網(wǎng)絡(luò)(CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(RNNs/LSTMs)變得非常容易。實(shí)現(xiàn)了支持跨多個(gè)GPU和服務(wù)器自動(dòng)分化和并行化的隨機(jī)梯度下降(SGD)學(xué)習(xí)。

亞馬遜AWS推出人工智能服務(wù)，與微軟谷歌競(jìng)爭(zhēng)：

亞馬遜舉行發(fā)布會(huì)宣布，旗下云服務(wù)Amazon Web Services(以下簡(jiǎn)稱“AWS”)增加人工智能服務(wù)，可以讓開(kāi)發(fā)者在應(yīng)用中增加預(yù)測(cè)和分析功能。

Google已經(jīng)于2015年底開(kāi)源TensorFlow，并于2016年繼續(xù)完善。

巨頭競(jìng)相收購(gòu)人工智能公司

Google，F(xiàn)acebook，Microsoft相繼表示，未來(lái)將更加重視AI，除了開(kāi)源了以上的機(jī)器學(xué)習(xí)框架，還分別投入巨資收購(gòu)了一些人工智能公司和人才。

Google, Facebook, Amazon, Apple的人工智能之爭(zhēng)——收購(gòu)AI開(kāi)發(fā)團(tuán)隊(duì)：

在過(guò)去的三年內(nèi)，已經(jīng)有超過(guò)六成的人工智能開(kāi)發(fā)公司陸續(xù)獲得了贊助。就僅僅在 2016年，已經(jīng)出現(xiàn)了4次重要的大型公司競(jìng)購(gòu)。

微軟大手筆收購(gòu)LinkedIn讓谷歌壓力山大，這個(gè)搜索巨頭將選擇如何應(yīng)對(duì)?：
收購(gòu)LinkedIn后，微軟相當(dāng)于為自己的軟件推銷策略找到了一個(gè)能夠加快“變現(xiàn)”的強(qiáng)大助力——一個(gè)容納了超過(guò)400萬(wàn)用戶的社會(huì)數(shù)據(jù)集。

李飛飛加入 Google，擔(dān)任云計(jì)算機(jī)器學(xué)習(xí)負(fù)責(zé)人：

雷鋒網(wǎng)消息，世界人工智能頂級(jí)專家李飛飛被曝已與谷歌達(dá)成協(xié)議，將加入谷歌云計(jì)算業(yè)務(wù)新成立的機(jī)器學(xué)習(xí)部門 (Google Cloud Machine Learning)。

國(guó)內(nèi)的發(fā)展

大數(shù)據(jù)技術(shù)

以華為，百度，阿里為代表的巨頭在開(kāi)源領(lǐng)域紛紛取得巨大進(jìn)展。

Apache Storm 2.0將基于JStorm。JStorm是中國(guó)第一個(gè)進(jìn)入Apache核心產(chǎn)品的開(kāi)源項(xiàng)目，對(duì)于中國(guó)的開(kāi)源發(fā)展來(lái)說(shuō)意義重大。

阿里巴巴向 Apache 軟件基金會(huì)捐贈(zèng)消息中間件 RocketM：

11 月 28 日，阿里巴巴宣布將開(kāi)源分布式消息中間件 RocketMQ 捐贈(zèng)給 Apache，成為 Apache 孵化項(xiàng)目，孵化成功后 RocketMQ 有望成為國(guó)內(nèi)首個(gè)互聯(lián)網(wǎng)中間件在 Apache上的頂級(jí)項(xiàng)目，成為全球繼 ActiveMQ，Kafka 之后，分布式消息引擎家族中的新成員。

百度開(kāi)源其人工智能系統(tǒng)——Warp-CTC：

該系統(tǒng)是一種在CPU和GPU上快速的CTC的并行實(shí)現(xiàn)。這項(xiàng)舉動(dòng)舉動(dòng)對(duì)于促進(jìn)機(jī)器學(xué)習(xí)、人工智能領(lǐng)域的技術(shù)研究與發(fā)展與有重要意義。

華為Carbondata成為 Apache Incubator(孵化器)項(xiàng)目：

Carbondata的目標(biāo)是創(chuàng)建一種新的Hadoop文件格式，只用一份數(shù)據(jù)，滿足多樣化的數(shù)據(jù)查詢需求，包括順序讀，OLAP查詢，隨機(jī)讀。

人工智能

2016年可以說(shuō)是人工智能真正成為主流的元年，人工智能成為了非常熱門的概念。AlphaGo大戰(zhàn)李世石等事件，甚至引發(fā)了一些機(jī)器人取代人、危害人等消極觀點(diǎn)。

巨頭搶灘無(wú)人駕駛 “按捺不住”的百度將在美國(guó)測(cè)試無(wú)人車：

百度首席科學(xué)家吳恩達(dá)接受采訪時(shí)稱，百度很快就將在美國(guó)測(cè)試無(wú)人駕駛汽車，希望能在2018年前推出無(wú)人駕駛商用車型。

京東成立JDX事業(yè)部包含無(wú)人機(jī)及倉(cāng)儲(chǔ)機(jī)器人項(xiàng)目：

京東JDX事業(yè)部囊括京東全自動(dòng)物流中心、京東無(wú)人機(jī)、京東倉(cāng)儲(chǔ)機(jī)器人及京東自動(dòng)駕駛車輛送貨等一系列智能物流項(xiàng)目，對(duì)行業(yè)前沿、高端的智能設(shè)備、智慧系統(tǒng)進(jìn)行研究與創(chuàng)新。

科大訊飛4.96億元收購(gòu)樂(lè)知行，推動(dòng)大數(shù)據(jù)與人工智能結(jié)合：

公開(kāi)資料顯示，北京樂(lè)知行軟件有限公司成立于 2011年，是一家為中小學(xué)教育提供教育信息化整體解決方案的提供商。該公司利用云計(jì)算、大數(shù)據(jù)和移動(dòng)聯(lián)網(wǎng)技術(shù)，建立包括了數(shù)字校園、教育云平臺(tái)、互聯(lián)網(wǎng)教育和教育物聯(lián)網(wǎng)在內(nèi)的四大產(chǎn)品體系。

其他的進(jìn)展

2016是無(wú)人駕駛轉(zhuǎn)折年，科技巨頭紛紛入場(chǎng)：

2016年，無(wú)人駕駛逐漸成為“風(fēng)口”，各大車企和創(chuàng)投都將目光投向這一領(lǐng)域。無(wú)人駕駛，讓科幻片中才有的黑科技似乎一下子離大眾或許只有幾步之遙。

現(xiàn)在Google制造自己的芯片，Intel要發(fā)瘋：

Google的目標(biāo)始終未變，空前的高效。為了讓AI技術(shù)躍上一個(gè)新高度，他們需要一種能在更低能耗前提下，用更短時(shí)間完成更多任務(wù)的芯片。但這個(gè)芯片所產(chǎn)生的效果已經(jīng)超越了Google帝國(guó)本身，甚至讓Intel和nViaia這樣的商業(yè)化芯片制造商的未來(lái)受到威脅，尤其是考慮到Google對(duì)于未來(lái)的愿景。

英偉達(dá)20億美元豪賭人工智能：

20億美元是什么概念?英偉達(dá)去年全年的營(yíng)業(yè)收入也才50億美元出頭，所以英偉達(dá)用了幾乎一半的全年收入投入到這一款芯片的研發(fā)中，這背后的原因是，英偉達(dá)看中了人工智能領(lǐng)域未來(lái)的發(fā)展。