《机器学习实战》第三章 分类
MNIST 数据集进行分类 《机器学习实战：基于Scikit-Learn，Keras和TensorFlow》中第三章内容，英文代码可参考github - handson-ml2/03_classification.ipynb 下面内容对应的Jupyter Notebook代码位于github：3.classification.ipynb 数据集导入 使用Scikit-Learn中的 sklea
《机器学习实战》第四章 训练线性模型
机器学习中的线性模型 以下内容是在《机器学习实战：基于Scikit-Learn，Keras和TensorFlow》中第四章内容基础上进行的总结. 模型原理 基本定义 我们默认向量均为列向量，用小写字符表示向量，大写字符表示矩阵. 假设训练集中总共有 mmm 个样本，第 iii 个样本对应的特征和标签记为 (x(i),y(i))(\boldsymbol{x}^{(i)}, y^{(i)
BP神经网络算法的基本原理及C++实现
通过三天的折腾，总算把神经网络的C代码写出来了（用C写纯属因为我对它更熟悉一些，虽然现在基本人工智能算法都是Python写的，但C++快呀😆）（主要还是对Python不熟练，以后有时间应该用Python重写一遍），代码270行左右（对自己也是一次对代码熟练度的训练），使用BP(Back Propagation)神经网络，学习算法为随机梯度下降法 支持多线程学习（保证跑满CPU，GPU算法还
Perceptron Learning Algorithm 感知器算法 - 神经网络基础
感知器（英语：Perceptron）是Frank Rosenblatt在1957年就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。（From：Wiki-感知器） 感知器可以理解为神经网络中的一个“神经细胞”，在这里我们研究是最简单的神经网络问题，只有一个感知器的情况，
基于循环神经网络RNN的简单音乐生成
循环神经网络 简介 循环神经网络（Recurrent Neural Networks, RNN）是对前馈型全连接神经网络的改进. 全连接神经网络的输入维度在确定网络结构的时候已经固定，而且当特征之间具有的潜在关联性也无法解决. 循环神经网络支持输入任意长度的特征，并且可以通过处理特征之间具有的关联性，这也称为神经网络的记忆力. 一般的RNN具有短期记忆力，使用门控机制（Gating Mecha
Jax+Flax+Optax 常用API
Jax, Flax, Optax 中的常用API 下述代码测试环境CPU: R7-4800U，无GPU Jax jax.jit jax.jit(func, static_argnums=None, static_argnames=None) -> jit_func 用于对入参数类型为矩阵的纯函数 func 进行编译返回包装后的函数 jit_func，其中 static_argnum
Jax+Flax+Optax 学习笔记
As accelerated Numpy 首先Jax有类似 numpy 的函数库，API使用基本一致： import jax.numpy as jnp x = jnp.aranga(int(1e8)) %timeit jnp.dot(x, x) # 比 np.dot() 要快, gpu上更快 First Transformation grad 和数学中求导一致，Jax可以自动对Python中
TensorFlow - 使用GradientTape和重写fit训练结果不同的原因
该问题是在使用GradientTape训练MNIST数据集时发现的，尝试使用了三种方式进行训练：直接GradientTape训练，调用fit函数训练，重写fit函数后训练. 发现重写GradientTape训练的正确率尽然有96%，而后两者的正确率90%都不到，这引起了我很大的好奇心，于是通过查阅大量文档和阅读TF源代码一步一步排除问题，最终找到问题原因. 训练集使用最简单的MNIST，重写f