在曩昔的几个月里，我对“深化学习”很感兴趣，但这并不是不行猜测的。要猜测曩昔发作了什么并非不行能。要猜测它是什么并不是不行能的。在我看来，假如它有必定的结构确保，我没有多少时机作出相应的组织。在我看来，没有许诺树立一个学习结构。在我看来，没有许诺供给一个学习结构是依据假定这一项目将被证明或辩驳(假如我能找到结构，不行能证明或辩驳)。假定这个结构是存在的，以一种咱们编码阶段语义的办法总结当时商场状况的主意对我来说是合理的。

假如没有意义，请持续阅览。这很帅，由于它们答应咱们以简化的办法表达信息。经过调查单词的数量，这个词的旧表明现已嵌入到一个相对高的空间中。这个词的旧的表明法现已嵌入到一个相对较高的空间中。

请注意，这是知道你从来没有听到这个词，请注意怎么捕捉这些词与青蛙的类似之处。但咱们不只能够嵌入词汇，例如，咱们也能够做股票商场。嵌入式market2vec我听到的榜首个词是嵌入算法Word2vec。尽管我需求运用不同的算法，但我想得到相同的商场作用。我的输入数据是一个CSV文件，榜首列是日期，4 * 1000列相当于翻开股票收盘价的1000。我有4000个输入尺度，榜首个是太大了。

所以我想做的是把它放在一个低维度的空间，比方300维度，由于我喜爱这部电影。当你试着把4000维度的降到300维度时，你看起来。本来的4000维把东西降到3的00维，听起来很困难，但其实很简略。咱们只需求让矩阵相乘就能够了。每个矩阵相当于一个大型Excel电子表格，每个单元都有一个数字格局，没有问题。

幻想一个有4000列和300行的excel表，当我将与向量磕碰时，所以一个新的向量诞生了，它的巨细只要300。我期望大学讲堂能得到解说。这个主意是在一个随机的一组数字中诞生的，而深化学习的一部分就是更新这些数字。因而，咱们将更改电子表格。终究，电子表格（我将从现在起，用“矩阵”来表明）将填充这些数字，这些数字将是4000维向量原始到300维，十分简略。

现在，我变得更感兴趣了，这供给了所谓的激活功用。咱们将运用一个函数，并将其应用到向量中的每个数字，以便它们在0和1（或0和无穷大，视状况而定）。为什么？一方面，它会使咱们的载体更为特别；另一方面，它也能使学习进程中的事物更杂乱易懂。怎么？怎么？我期望把新的商场价格（向量）找到一个相对较小的空间，以捕捉全部要害信息的使命和办法，不要浪费时刻在其他事项上。所以我期望他们能捕捉到其他股票之间的相关性，比方一个范畴或许一个正在跌落的股票商场是十分热的。

所以我不知道它会找到什么，但我以为它们很有用。现在来谈谈假如我以最自在的办法总结的话，这篇文章能够归纳为：假如咱们看莎士比亚的著作，并真实探求它们，咱们能够运用“深层学习”来学习一种言语模型。言语模型就像一个戏法盒，你放在前面的几个字符，它能够通知你什么是下一个。假如咱们用言语模型来猜测这个人物，并反应它，咱们能够持续下去。然后，一个爆炸点发作，一堆文字看起来像莎士比亚的著作。

然后他运用Linux源代码测验一次，然后他运用代数几许教科书再试一次。所以我马上回到戏法方块的机制，请答应我提示你，咱们要依据商场的曩昔猜测未来，像Andrej Karpathy依据前人的词来猜测一个字。对这个当地的karpathy字符的运用，咱们将运用商场和商场的载体，载体为魔法盒。咱们还没有决议让它猜测什么，但不要紧，咱们不会是它的输出反应给它进一步。我想说的是，这是咱们深化学习的开端。

到目前为止，咱们仅仅在学习它的浅薄部分，即整个商场会集的电子方式。

现在，咱们将增加更多的层，并将它们叠加起来，以做一些“深”的工作。这被称为深度学习。因而，Karopathy向我展现了一些来自Linux源代码的输出示例。以下是他黑匣子的内容。静态voidaction_new_function(struct s statinfo void long标志{无符号的长标志；int lel_idx_bit=e-EDD，sys un符号Long)FIRSTFFFFFF位4；printk(Kern_正告“内存分配了2xstatinfo”，“原始MLL替代 ”)(min(min(multirun-s-lenmax)*numa attatta，帧端口，Sz Firstsecg；divu64wvale，inbpp；Spunlockdisk-queuttex-mulocktextexk；muununlock-muttable；min(Multirun-s-Lenn)；函数内容被紧缩，内部有一个缩进句子)。也就是说，魔盒了解长途依靠规矩。在print句子中缩进时，它知道它在print句子中。请记住，它坐落一个函数(或至少另一个缩进规模)中。

太张狂了。很简单疏忽这样一个算法，它具有捕获和回忆长时刻依靠联系的才能。由于..。咱们期望找到商场的长时刻依靠.。黑魔法盒里有什么？它是一种称为LSTM.RNN的循环神经网络，是一种用于操作序列(如字符序列)的深度学习算法。它承受来自下一个字符的向量(例如前面说到的嵌入，并运用矩阵来处理向量，正如前面所看到的那样)。要害是RNN具有某种方式的内部内存。

这样它就能贮存它曾经看到的东西了。它运用它存储的内容来断定怎么精确地处理下一个输入。运用这个内存，RNN能够在预订的规模内“记住”事物。这就是咱们怎么正确地取得嵌套输出文本的办法。今日盛行的RNN的一个根本的RNN称为短长内存网络(LSTM)，它奇妙地规划内存。答应它：有挑选地挑选它回忆中的东西。决议忘掉。

您能够挑选输出多少内存。解说一下LSTM最好的比如，所以当LSTM看到“{{”时，他对自己说，“哦，我应该记住它”。重要的是，它实践上记住嵌套规模内的一个符号。一旦它看到了相应的“}”，它就决议忘掉开始的左大括号。所以咱们忘了它在筑巢。咱们能够经过将一些概念叠加在一起，使LSTM学习更多的笼统概念，从而使咱们再次回到“深度”。

每个曾经的LSTM的输出都成为下一个LSTM的输入，并持续学习输入的高维笼统数据。由空格分隔的字符是分隔的单词。下一层可能了解单词的类型，例如静态voidaction_new___。等等。尽管卡帕的博客有一个怎么可视化的好比如，但很难精确地知道每一层都在做什么。

衔接market2vec和lstms仔细的读者会注意到，karpathy字符作为输入，而不是嵌入（在字符编码技能是热的）。但当Lars eidnes主动生成的递归神经网络在Clickbait写论文（https：／／larseidnes。COM / 2015/10 / 13 /主动生成在Clickbait与递归神经网络/），他实践上是用词嵌入。Lars eidnes主动生成与网络上面的递归神经网络在Clickbait是他运用网络。忽视这部分Softmax，后来的解说。现在，让咱们来看看怎么完结一系列的词向量的底部（记住，每个词向量的向量。

这个词，用一串数字为咱们在本文最初看到的。拉尔斯输入）一系列的词向量，向量：每个单词的榜首方的影响。让LSTM方输出的东西。让LSTM输出供给对应的一个词。咱们会做相同的工作，可是是有差异的，咱们不能进入“商场载体”的词向量，向量描绘过但商场。

总归，商场应该及时为载体的一个给定的时刻点，商场正在发作。当商场这一系列载体经过严厉，我期望能捕捉商场一直在经过长时刻动态的发作。的LSTM堆积在一起，我期望能捕捉到更高的笼统的商场行为。输出什么，到目前为止，咱们谈的不是算法实践上是怎么学习的工作，仅仅说说。数据变换进程的聪明。

咱们将研讨的算法处理后的几段对话，但记住，由于这个进程会让全部变得有意义。在karpathy案子，严厉的输出是一个向量，向量代表一种性情的表征摘要。在eidnes案子，严厉的输出是一个向量，表明下一个单词的一些笼统的空间。以上两种状况的下一步是笼统表明为概率向量，向量表的字符或单词，每一个可能呈现在后面。这是softmax函数。

一旦咱们有了这个列表的可能性，咱们能够挑选下一个最可能的字符或单词。在猜测商场的状况下，咱们需求问问自己，让商场精确，在这里我想猜测什么？一些挑选：每1000股票价格猜测。猜测接下来的N分钟在一些指数（S&P，动摇率指数）。猜测哪些股票会上涨超越X%。在接下来的N分钟（我的爱）来猜测哪些股票会上涨2x % /落在接下来的N分钟，一起下降/这段时刻不超越×%的增长率在。

（其次是猜测动摇率指数的剩下部分）在接下来的N分钟上下2x %时刻/下降的一起，这段时刻不超越×%的增长率在1和2是回归问题，咱们有必要猜测实践数量，而不是详细的事情可能性（如字母N的商场价格或概率）。这是十分好的，但我不想做的事。3和4是十分类似的，他们被要求猜测事情（术语称为“标签”）。事情能够是一个字母N，也能够指一个5%股最终10分钟的上涨而不是跌落超越3%。3和体重之间的4和3是比较常见的，所以简单学习；4更多的价值和赢利的危险指数，并具有必定的束缚。

5本文章的了解，由于它类似于3,4，可是有可能跟从机制。

我以为这是十分低效的，由于仪器和特征之间的相互作用和相关性将会丢掉，这将需求比曾经多10倍的核算量。另一方面，这种架构能够跨多个GPU和主机滑润并行，无疑是一个优势。