06—03—03词向量的经典代码

要有TensorFlow的基础 仅仅有Python基础是不够的 这个和06—03—02是一样的,只是代码进行了优化。其他东西不再赘述

阅读 385评论 0 8个月前

06—03—02词向量原始的匹配代码之核心模型

import numpy as npimport tensorflow as tfbatch_size = 128vocab_size = 50000embed_size = 128 # dimension of the word embedding vectorsnum_sampled = 64 # Number of negative examples to sample.learning_rate = 1.0skip_window = 1 # the context windownum_train_steps=20000skip_step = 2000 # how many steps to skip before reporting the loss

阅读 281评论 0 8个月前

06—04词向量进化篇

假设我们有10,000个单词的词汇表,我们想嵌入300维的词向量,那么我们的输入-隐层权重矩阵和隐层-输出层的权重矩阵都会有10,000 x 300 = 300万个权重(讲真,如果是这么多钱,哪怕是人民币,小编我也是说搬就可以搬走的,从不怕麻烦。)在如此庞大的神经网络中进行梯度下降算法那是相当的慢。更可怕的是,你需要大量的训练数据来调整这些权重并且还有避免过拟合。百万数量级的权重矩阵和亿万数量级的训练样本意味着训练这个模型将会是灾难啊!

阅读 280评论 0 8个月前

06--03--01词向量原始的匹配代码之数据预处理

该函数用于检查是否已经从提供的 URL 下载了文件(代码中的 filename)。如果没有,使用 urllib.request Python 模块(该模块可从给定的 url 中检索文件),并将该文件下载到本地代码目录中。如果文件已经存在(即 os.path.exists(filename)返回结果为真),那么函数不会再下载文件。接下来,expected_bytes 函数会对文件大小进行检查,以确保下载文件与预期的文件大小一致。如果一切正常,将返回至用于提取数据的文件对象。

阅读 314评论 0 8个月前

#06--02词向量的原始

Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型,它被大量地用在自然语言处理(NLP)中。那么它是如何帮助我们做自然语言处理呢?Word2Vec其实就是通过学习文本来用词向量的方式表征词的语义信息,即通过一个嵌入空间使得语义上相似的单词在该空间内距离很近。Embedding其实就是一个映射,将单词从原先所属的空间映射到新的多维空间中,也就是把原先词所在空间嵌入到一个新的空间中去。

阅读 337评论 0 8个月前

05实战RNN二(基于MNIST数据集)

因为我们重点关注RNN如何应用的问题,像文本或者语音等等,涉及数据处理,数据预处理部分需要自己查找资源解决,不是RNN解释的重点选用MNIST数据集,主要是因为数据预处理简单,不必将精力放在数据上,着重突出我们的主题RNN部分

阅读 305评论 0 8个月前

04构建Word2Vec词嵌入模型

如果我们想把单词输入机器学习模型,除非使用基于树的方法,否则需要把单词转换成一些数字向量。一种直接的方法是使用「独热编码」方法将单词转换为稀疏表示,向量中只有一个元素设置为 1,其余为 0。所以,我们可以使用如下的向量表示句子「The cat sat on the mat」:我们在此将一个六个字的句子转换为一个 6*5 的矩阵,其中 5 是词汇量(「the」有重复)。然而,在实际应用中,我们希望深度学习模型能够在词汇量很大(10,000 字以上)的情况下进行学习。从这里能看到使用「独热码」表示单词的效率问题——对这些词汇建模的任何神经网络的输入层至少都有 10,000 个节点。不仅如此,这种方法剥离了单词的所有局部语境——也就是说它会去掉句子中(或句子之间)紧密相连的单词的信息。

阅读 295评论 0 8个月前

03简单实战RNN(基于TensorFlow)一

接下来,定义一个类叫做SeriesPredictor。如步骤2所示,构造函数里面设置模型超参数,权重和成本函数。

阅读 383评论 1 8个月前

02通俗讲解RNN目录

将其中承载的价值传播给他人,如此的劳动始于公元前2500年前,北京人在山顶洞墙壁之上的努力。。。记录,创造文明!今天,RNN 是我们给出的答案 —— 我们为记录思想和分享知识提供更专业的工具。

阅读 291评论 0 8个月前

01TensorFlow 循环神经网络RNN的实现代码简单讲解目录

我们理解您对便捷写作工具的需求,记录知识,整理笔记、表达观点,将其中承载的价值传播给他人,如此的劳动始于公元前2500年前,北京人在山顶洞墙壁之上的努力。。。记录,创造文明!今天,RNN 是我们给出的答案 —— 我们为记录思想和分享知识提供更专业的工具。

阅读 70评论 0 8个月前