文章 30

访客 2184

声望 141

第5名

Blog

01—02自编码器(参考Antares老师)

就是这么一个过程。原始数据是没有折损的,然后我们人为的添加噪声,使得原始数据有折损。然后将折损的数据输入,得到隐藏层。然后从隐藏层到输出层(也叫构建层)。最后用构建层与原始数据对比,损失值越小,说明构建层的数据恢复的不错。

02栈式自编码器

就是这样,深层网络的优势在于可以逐层的学习原始数据的多种表达。每一层都是以前一层的表达为基础的,往往比较抽象,适合复杂的分类等任务。堆叠自编码器就是在做这样的事情:单个自编码器通过虚构的三层网络,能够学习出一种特征变化的h=fθ(x)(这里的θ表示变换的参数,包括W,b和激活函数)。实际上,当训练结束后,输出层就没啥意义,没意义的东西要去掉。

01—01自编码器

我们呢,先不考虑神经网络、机器学习等等的,就单单考虑自编码器,那么原来还是比较简单的。就是试图还原原始的输入信息。上图看一下吧。

06—03—03词向量的经典代码

要有TensorFlow的基础 仅仅有Python基础是不够的 这个和06—03—02是一样的,只是代码进行了优化。其他东西不再赘述

06—03—02词向量原始的匹配代码之核心模型

import numpy as npimport tensorflow as tfbatch_size = 128vocab_size = 50000embed_size = 128 # dimension of the word embedding vectorsnum_sampled = 64 # Number of negative examples to sample.learning_rate = 1.0skip_window = 1 # the context windownum_train_steps=20000skip_step = 2000 # how many steps to skip before reporting the loss

06—04词向量进化篇

假设我们有10,000个单词的词汇表,我们想嵌入300维的词向量,那么我们的输入-隐层权重矩阵和隐层-输出层的权重矩阵都会有10,000 x 300 = 300万个权重(讲真,如果是这么多钱,哪怕是人民币,小编我也是说搬就可以搬走的,从不怕麻烦。)在如此庞大的神经网络中进行梯度下降算法那是相当的慢。更可怕的是,你需要大量的训练数据来调整这些权重并且还有避免过拟合。百万数量级的权重矩阵和亿万数量级的训练样本意味着训练这个模型将会是灾难啊!

06--03--01词向量原始的匹配代码之数据预处理

该函数用于检查是否已经从提供的 URL 下载了文件(代码中的 filename)。如果没有,使用 urllib.request Python 模块(该模块可从给定的 url 中检索文件),并将该文件下载到本地代码目录中。如果文件已经存在(即 os.path.exists(filename)返回结果为真),那么函数不会再下载文件。接下来,expected_bytes 函数会对文件大小进行检查,以确保下载文件与预期的文件大小一致。如果一切正常,将返回至用于提取数据的文件对象。

#06--02词向量的原始

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型,它被大量地用在自然语言处理(NLP)中。那么它是如何帮助我们做自然语言处理呢?Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息,即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射,将单词从原先所属的空间映射到新的多维空间中,也就是把原先词所在空间嵌入到一个新的空间中去。

02TensorFlow常用函数目录

embedding_lookup(params, ids, partition_strategy=”mod”, name=None,validate_indices=True):

01TensorFlow常用函数

tf.ones(shape,type=tf.float32,name=None)tf.zeros([2, 3], int32)用法是比较类似的,都是产生尺寸为shape的张量(tensor)

01自动编码器

第一:基础,怎么来理解这是基础呢?自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现,自动编码器就必须捕捉可以代表输入数据的最重要的因素,就像PCA那样,找到可以代表原信息的主要成分。

01自动编码器目录

第一:基础,怎么来理解这是基础呢?自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现,自动编码器就必须捕捉可以代表输入数据的最重要的因素,就像PCA那样,找到可以代表原信息的主要成分。

 ©2017 studyai.com 版权所有

关于我们