python-积卷神经网络全面理解-tensorflow实现手写数字识别

转载 刘小航9527 2019/9/9 21:25:52

首先,关于神经网络,其实是一个结合很多知识点的一个算法,关于cnn(积卷神经网络)大家需要了解: 下面给出我之前总结的这两个知识点(基于吴恩达的机器学习) 代价函数: 代价函数 代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。 具体的了解请

    首先,关于神经网络,其实是一个结合很多知识点的一个算法,关于cnn(积卷神经网络)大家需要了解:

          下面给出我之前总结的这两个知识点(基于吴恩达的机器学习)

          代价函数:

          代价函数
          代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均

          具体的了解请看我的博客:

          https://blog.csdn.net/qq_40594554/article/details/97389489

 

          梯度下降:

          梯度下降一般讲解采用单变量梯度下降,但是一般在程序中常用多变量梯度下降

          单变量梯度下降大家可以了解最小二乘法,多变量梯度下降也是基于上述知识点演化而来,具体讲解可以看我的博客:

          https://blog.csdn.net/qq_40594554/article/details/97391667

 

    在这里,我们以上述知识点为基础,了解深度神经网络里面的积卷神经网络:

    大家可以看我这两篇了解神经网络相关知识点

    神经网络:https://blog.csdn.net/qq_40594554/article/details/97399935

    神经网络入门:https://blog.csdn.net/qq_40594554/article/details/97617154

 

    神经网络的一个大致流程如下:

 

     例如:我们有三个数据:x1,x2,x3,我们将其输入到我们的这个神经网络中,我们称L1为输入层,L2为隐藏层,L3为输出层

        我们用通俗的话来描述:即为我们的输入层L1输入3个数据,通过3个神经单元a1,a2,a3,其中x1,x2,x3在a1中占有不同的权值,x1,x2,x3在a2中又占有不同的权值,x1,x2,x3在a3中占有不同的权值

        通过代价函数求出最优解,即为最优权值,最后得出a1,a2,a3的值,然后a1,a2,a3再通过L3的这个神经单元,通过权值计算得出输出,这就是一个最简单的神经网络,如果不是很理解,大家可以看我上面的博客。

    下面我用tensorflow实现普通的神经网络:即为通过几层隐藏层来进行权值确定。

 

    上述中的相关神经元计算,类似于一个黒夹子,计算过程是不显示的我们最后知道的是结果,在传统神经网络计算中,一般计算的神经元是非常多的,所以传统神经网络无法满足,容易出现计算量大,但是准确率低的可能性,于是出现了积卷神经网络!

    

 

 

 

    

    上图中,我们需要计算的权值非常多,就需要大量的样本训练,我们模型的构建,需要根据数据的大小来建立,防止过拟合,以及欠拟合。

    因此,cnn算法通过感受野和权值共享减少了神经网络需要训练的参数个数,如图(大家可以百度了解这是什么意思):

 

 

    其实积卷神经网络很容易理解:

      他的最简单相关步骤为:积卷层-池化层-积卷层-池化层-....-全连接层

      积卷层:数据通过卷积核,按照卷积核的步长,一步一步扫描,得出一个新的特征图

      池化层:通过卷积核扫描后得出的特征图,进行池化,实际上池化层也是加强特征图的一个手段

 

    卷积层(建议大家可以百度卷积核是什么):  

    

 

    池化层(常用的有最大值池化,平均池化):

 

 

    实际上通过上述手段主要是来获取和增强特征

    至于全连接层,即为通过池化后的结果,通过激励函数后,排除不需要的特征图,然后输出:

    我这里给出一个关于手写数字识别的源码:

    

import  tensorflow as tf#9.50
from tensorflow.examples.tutorials.mnist import input_data
#载入数据集
mnist=input_data.read_data_sets("MNNIST_data",one_hot=True)#下载网上的数据集
#print(mnist)
#每个批次的大小,每次放入100张图片放入神经网络训练。
batch_size=100
#计算一共有多少批次
n_bach=mnist.train.num_examples//batch_size#//整除
#初始化权值
def weight_variable(shape):
    inital=tf.truncated_normal(shape,stddev=0.1)
    return tf.Variable(inital)
#初始化偏置值
def bias_variable(shape):
    initial=tf.constant(0.1,shape=shape)
    return tf.Variable(initial)
#卷积层
def conv2d(x,W):
    return  tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')
    #使用了这个库,tf.nn.conv2d
#池化层
def max_pool_2(x):
    return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')
#定义两个placeholder
x=tf.placeholder(tf.float32,[None,784])#784列
y=tf.placeholder(tf.float32,[None,10])#0-9,10个数字
#改变x的格式转为4d向量[batch,in_height,in_width,in_channels]
x_image=tf.reshape(x,[-1,28,28,1])

#初始化第一个卷积层的权值和偏置值
W_conv1=weight_variable([5,5,1,32])#采用5*5的采样窗口,32个卷积核从1个平面抽取特征
b_conv1=bias_variable([32])#每个卷积核一个偏置值
#把x_image和权值向量进行卷积,再加上偏置值,然后应用于relu激活函数
h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)
h_pool1=max_pool_2(h_conv1)#进行max-pooling

#初始化第二个卷积层的权值和偏置值
W_conv2=weight_variable([5,5,32,64])#采用5*5的采样窗口,32个卷积核从1个平面抽取特征
b_conv2=bias_variable([64])#每个卷积核一个偏置值
#把x_image和权值向量进行卷积,再加上偏置值,然后应用于relu激活函数
h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)
h_pool2=max_pool_2(h_conv2)#进行max-pooling

#初始化第一个全连接的权值
W_fcl=weight_variable([7*7*64,1024])#上一场有7*7*64个神经元,全连接层有1024个神经元
b_fcl=bias_variable([1024])#1024个节点
#把池化层2的输出扁平化维一维
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])
#求第一个全连接的输出
h_fcl=tf.nn.relu(tf.matmul(h_pool2_flat,W_fcl)+b_fcl)
#keep_prob表示神经元的输出概率
keep_prob=tf.placeholder(tf.float32)
h_fcl_drop=tf.nn.dropout(h_fcl,keep_prob)

#初始化第二个全连接层
W_fc2=weight_variable([1024,10])
b_fc2=bias_variable([10])
#计算输出
prediction=tf.nn.softmax(tf.matmul(h_fcl_drop,W_fc2)+b_fc2)
#交叉熵代价函数
cross_entropy=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用Adamoptimizer进行优化
train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
#结果存放在一个布尔列表中
correct_prediction=tf.equal(tf.argmax(prediction,1),tf.argmax(y,1))#argmax返回一维张量中最大值所在位置
#求准确率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
with tf.Session()as sess:
    sess.run(tf.global_variables_initializer())
    #把所有图片训练21次
    for epoch in range(21):
        # 执行一次,即为把训练集的所有图片循环一次
        for batch in range(n_bach):
            #获取100张图片,图片数据保存在_xs,标签保存在ys
            batch_xs,batchys=mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batchys,keep_prob:0.7})
        #传进测试集,数据集的数据
        acc=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
        print("第"+str(epoch)+"准确率:"+str(acc))

    很容易第一次就可以得出很高的准确率:

 

     希望大家能够看懂cnn算法的流程(讲的比较多,当然CNN算法不可能一篇文章就学会了,我这里仅仅给大家讲了CNN算法的一个流程)。我之前的相关博文也在上面,可能对大家的理解有帮助,大家可以查看。

                 个人水平有限,目前还不能实现手写CNN算法以及数学公式,后面会继续学习,当然,对于机器学习,神经网络推荐大家先从视频学习开始,例如:吴恩达的机器学习。

                  最后希望大家学有所成!

  

 

 

  

 

 

    

 

上一篇:推荐系统--完整的架构设计和算法(协同过滤、隐语义)

下一篇:理解与学习深度卷积生成对抗网络

赞(0)

共有 条评论 网友评论

验证码: 看不清楚?
    扫一扫关注最新编程教程