博客
关于我
神经网络学习笔记-01-基本概念
阅读量:452 次
发布时间:2019-03-06

本文共 1007 字,大约阅读时间需要 3 分钟。

神经网络学习笔记-01-基本概念

基本概念

人工神经网络系统主要由多个层组成,每层包含多个神经元(节点)。以下是其主要组成部分:

  • 输入层(Input Layer)

    基本上没有计算功能,主要负责将输入数据映射到每个节点上。

  • 隐藏层(Hidden Layer)

    包含多个神经元,负责对输入数据进行复杂的计算和转换。每层的输出数据会成为下一层的输入数据。

  • 输出层(Output Layer)

    负责将处理后的数据转换为分类结果,输出概率最高的分类。

  • 预测函数(Prediction Function)

    机器学习的核心目标是找到预测函数,用于分类问题的权值(w, b)的计算。

    激活函数(Activation Function)

    激活函数的作用是模拟大脑神经元是否激活,在神经网络中将权值输出值((f(x) = wx + b))转换为分类值((y = K(f(x))))。常用的激活函数有:

    • 隐藏层:TanH、Sigmoid、ReLU
    • 输出层:Softmax

    正向传播(Forward Propagation)

    通过输入数据计算输出数据,为后续反向传播提供基础。

    反向传播(Back Propagation)

    根据计算结果与期望结果的偏差,调整各层神经元的权值和偏置,以优化预测函数。

    正规化(Regularization)

    防止过度拟合的方法,通过惩罚项调整预测函数的复杂度。

    梯度下降(Gradient Descent)

    用于反向传播中调整权值的优化算法,代表计算调整的方向和大小。

    损失函数(Loss Function)

    用于衡量预测结果与真实结果的偏差,计算不准确的代价。

    训练过程

    人工神经网络的训练主要包含以下步骤:

  • 初始化:随机生成初始预测函数(权值w和偏置b)。
  • 正向传播:计算输出数据。
  • 反向传播:根据损失计算误差梯度。
  • 正规化:通过惩罚项抑制过度拟合。
  • 梯度下降:调整权值以减小误差。
  • 重复训练:将上述过程重复多次,逐步优化预测函数。
  • 训练图示

    训练过程可用图示表示,展示数据流向(Forward Propagation)、误差传播(Back Propagation)以及权值更新(Gradient Descent)的全过程。

    神经网络示意图

    完整的神经网络架构包括输入层、隐藏层、输出层等多个层次,数据从输入层经隐藏层处理后输出至分类层。

    参照

    本文主要参考了以下资料:

    (此处可根据实际参考资料填写)

    转载地址:http://zwafz.baihongyu.com/

    你可能感兴趣的文章
    Objective-C实现整个字符串转换为小写字母算法(附完整源码)
    查看>>
    Objective-C实现整数N以内的质数算法(附完整源码)
    查看>>
    Objective-C实现文件传输(附完整源码)
    查看>>
    Objective-C实现文件分割(附完整源码)
    查看>>
    Objective-C实现文件拷贝(附完整源码)
    查看>>
    Objective-C实现文件断点传输(附完整源码)
    查看>>
    Objective-C实现文件的删除、复制与重命名操作实例(附完整源码)
    查看>>
    Objective-C实现无序表查找算法(附完整源码)
    查看>>
    Objective-C实现无锁链表(附完整源码)
    查看>>
    Objective-C实现无锁链表(附完整源码)
    查看>>
    Objective-C实现时间戳转为年月日时分秒(附完整源码)
    查看>>
    Objective-C实现是否为 Pythagoreantriplet 毕氏三元数组算法(附完整源码)
    查看>>
    Objective-C实现显示响应算法(附完整源码)
    查看>>
    Objective-C实现晚捆绑测试实例(附完整源码)
    查看>>
    Objective-C实现普通矩阵A和B的乘积(附完整源码)
    查看>>
    Objective-C实现更新数字指定偏移量上的值updateBit算法(附完整源码)
    查看>>
    Objective-C实现最优二叉搜索树算法(附完整源码)
    查看>>
    Objective-C实现最大和连续子序列算法(附完整源码)
    查看>>
    Objective-C实现最大最小距离算法(附完整源码)
    查看>>
    Objective-C实现最大的非常大的数字算法(附完整源码)
    查看>>