在前几次笔记中,基本上将卷积神经网络的基本原理给讲完了。从本次笔记开始,深度学习笔记中会不定期的对 CNN 发展过程中的经典论文进行研读并推送研读笔记。今天就和大家一起学习卷积神经网络和深度学习发展历史上具有奠基性的经典论文之一的关于 LeNet-5 网络一文。LeNet-5 是由具有卷积神经网络之父之美誉的 Yann LeCun 在1998年发表在 IEEE 上面的一篇 Gradient-based learning applied to document recognition 上提出来的,所以直接由 LeCun 大佬名字命名了。论文原文:http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdfLeNet-5 网络结构 该篇论文有 42 页,但关于 LeNet-5 网络的核心部分并没有那么多,我们直接定位第二章的B 小节进行阅读。LeNet-5 的网络结构如下:

阅读全文

本节就和大家一起研究如何利用 Tensorflow 搭建一个 CNN 模型来识别这些手写的数字。

阅读全文

本节就继续和大家一起学习如何利用 Tensorflow 搭建一个卷积神经网络。

阅读全文

本节内容将继续秉承之前 DNN 的学习路线,在利用 Tensorflow 搭建神经网络之前,先尝试利用 numpy 手动搭建卷积神经网络

阅读全文

在上一讲中,我们对卷积神经网络中的卷积操作进行了详细的解读,但仅仅是对二维图像,即通道数为 1 的图像(灰度图)进行了卷积,对于三维或者更高维的图像卷积显然并没有这么简单。

阅读全文

从本篇开始,带着大家一起学习和研究深度学习的另一个主题——卷积神经网络

阅读全文

数据爆发,给我们的生活工作带来了什么,同时影响了我们什么。

阅读全文

Tensorflow 的基本语法,并举了一些实际的例子进行了说明,终于告别了使用 numpy 手动搭建的日子。所以我们将继续往下走,看看如何利用 Tensorflow 搭建神经网络模型。

阅读全文

从前面的学习笔记中,笔者和大家一起使用了 numpy 一步一步从感知机开始到两层网络以及最后实现了深度神经网络的算法搭建。而后我们又讨论了改善深度神经网络的基本方法,包括神经网络的正则化、参数优化和调参等问题。这一切工作我们都是基于numpy 完成的,没有调用任何深度学习框架。在学习深度学习的时候,一开始不让大家直接上手框架可谓良苦用心,旨在让大家能够跟笔者一样,一步一步通过 numpy 搭建神经网络的过程就是要让你能够更加深入的理解神经网络的架构、基本原理和工作机制,而不是黑箱以视之。

阅读全文

从前面的学习中,带大家一起学会了如何手动搭建神经网络,以及神经网络的正则化等实用层面的内容。这些都使得我们能够更深入的理解神经网络的机制,而并不是初次接触深度学习就上手框架,虽然对外宣称神经网络是个黑箱机制,但是作为学习者我们极度有必要搞清楚算法在每个环节到底都干了些什么。

阅读全文
【连载】深度学习笔记5
发表于4个月前

正则化与dropout 在笔记 4 中,笔者详细阐述了机器学习中利用正则化防止过拟合的基本方法,对 L1 和 L2 范数进行了通俗的解释。为了防止深度神经网络出现过拟合,除了给损失函数加上 L2 正则化项之外,还有一个很著名的方法——dropout.

阅读全文

前面我们讲到搭建神经网络,这一节我们来讲一下神经网络的正则式

阅读全文
powerd by studyai.com 2017