雷鋒網(wǎng) AI 科技評(píng)論按，2017 年初，F(xiàn)acebook 在機(jī)器學(xué)習(xí)和科學(xué)計(jì)算工具 Torch 的基礎(chǔ)上，針對(duì) Python 語(yǔ)言發(fā)布了一個(gè)全新的機(jī)器學(xué)習(xí)工具包 PyTorch。一經(jīng)發(fā)布，這款開(kāi)源工具包就受到廣泛關(guān)注和討論，經(jīng)過(guò)幾個(gè)月的發(fā)展，目前 PyTorch 已經(jīng)成為從業(yè)者最重要的研發(fā)工具之一。經(jīng)過(guò)將近一年的發(fā)展，日前，迎來(lái)了 PyTorch 0.3.0 版本。

根據(jù)官方文檔的介紹，此次增加了多個(gè)函數(shù)和功能，多方面的性能均實(shí)現(xiàn)提升。

重大變更

0.3 版本中刪掉了 Variable.reinforce() 等隨機(jī)函數(shù)，因?yàn)樗鼈兊墓δ苡邢?，并且?huì)影響到性能。設(shè)置隨機(jī)函數(shù)的初衷是為了避免采樣值的 book-keeping，在實(shí)際中，由于各種各樣的原因，用戶的代碼中仍然會(huì)包括 book-keeping。他們引入了 torch.distributions 包來(lái)代替隨機(jī)函數(shù)。

之前的代碼如下：

probs = policy_network(state)

action = probs.multinomial()

next_state, reward = env.step(action)

action.reinforce(reward)

action.backward()

現(xiàn)在的代碼如下：

probs = policy_network(state)

# NOTE: categorical is equivalent to what used to be called multinomial

m = torch.distributions.Categorical(probs)

action = m.sample()

next_state, reward = env.step(action)

loss = -m.log_prob(action) * reward

loss.backward()

新的功能

1、目前，有些損失函數(shù)能直接計(jì)算 mini-batch 中每個(gè) sample 的損失值。

2、構(gòu)建了一個(gè) in-built Profiler，能對(duì)模型進(jìn)行瓶頸分析，這個(gè) Profiler 同時(shí)支持 CPU 和 CUDA 模型。

更多信息可以參見(jiàn) http://pytorch.org/docs/0.3.0/autograd.html#profiler

3、增加 Higher order gradients 模塊，支持如下層：

• ConvTranspose, AvgPool1d, AvgPool2d, LPPool2d, AvgPool3d, MaxPool1d, MaxPool2d, AdaptiveMaxPool, AdaptiveAvgPool, FractionalMaxPool2d, MaxUnpool1d, MaxUnpool2d, nn.Upsample, ReplicationPad2d, ReplicationPad3d, ReflectionPad2d

• PReLU, HardTanh, L1Loss, SoftSign, ELU, RReLU, Hardshrink, Softplus, SoftShrink, LogSigmoid, Softmin, GLU

• MSELoss, SmoothL1Loss, KLDivLoss, HingeEmbeddingLoss, SoftMarginLoss, MarginRankingLoss, CrossEntropyLoss

• DataParallel

4、優(yōu)化器

• optim.SparseAdam：能實(shí)現(xiàn)適用于稀疏張量的簡(jiǎn)單亞當(dāng)算法

• 優(yōu)化器中增加了 add_param_group 函數(shù)，能在構(gòu)建好的優(yōu)化器中增加新的參數(shù)組。

除此之外，還增加了新的張量函數(shù)和功能，在新版本中，能通過(guò) ONNX 將模型遷移到其他框架上。另外，在加速方面，重寫(xiě) gpu kernel 之后，softmax 和 log_softmax 的速度能實(shí)現(xiàn) 4-256 倍的提升；在分布式 AllReduce 中，能實(shí)現(xiàn) 2.5-3 倍的性能提升；torch.norm 函數(shù)的 backward 能實(shí)現(xiàn) 1.5 倍的加速；pack_padded_sequence 的性能也有提升。

雷鋒網(wǎng) AI 科技評(píng)論編譯整理，具體的介紹可以參加說(shuō)明文檔，里面有詳細(xì)說(shuō)明。地址如下：https://github.com/pytorch/pytorch/releases/tag/v0.3.0

雷鋒網(wǎng) AI 科技評(píng)論后續(xù)也將持續(xù)關(guān)注PyTorch的更新。

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。