2023学年的研究生机器学习课程的结课展示报告。 详细算法解释请见PDF，在 GitHub - KataCV/G-VAE 上可以找到全部的图片生成结果和代码文件。

这里我们将基于深度神经网络CNN+CTC loss进行OCR（图像文本识别），可以使用经典CRNN网络，但是我这里使用的是全卷积网络，因为文本长度并不长，所以并不想考虑文本的序列信息，没有使用LSTM部分。 参考文献： (CTC loss)Connectionist Temporal Classification: Labelling Unsegmented Sequence Data wi

YOLO9000: Better, Faster, Stronger(YOLOv2), YOLOv3: An Incremental Improvement 非常好的视频讲解：YouTube - ML For Neerds - YOLO OBJECT DETECTION SERIES 全部代码，自己用JAX+Flax+Optax实现，仅在数据读入处使用TensorFlow，从零开始实现YOLOv

背景介绍 YOLOv1是Joseph Redmon于2015年提出的目标检测检测算法，YOLO系列（2023/09/20已经出到第8个版本）的特点在于其极高的识别速度，经典目标识别网络还有R-CNN和SSD，这些算法具有较高的准确率但是速度比YOLO慢至少一倍。 值得注意的是，作者Joseph Redmon在发布YOLOv3之后就退出CV界了，原因在于YOLO算法被用于商业中隐私窃取和军事武器当

概述 SAC算法可以简单理解为一种将Q-Learning用于策略 πθ(a∣s)\pi_{\theta}(a|s)πθ​(a∣s) 估计的算法，由于使用了策略网络，所以可以用于解决连续问题，与梯度策略定理(A2C)或策略迭代定理(TRPO,PPO)不同，SAC策略网路的更新目标浅显易赅，就是要近似 Qπ∗(s,⋅)Q_{\pi^*}(s,\cdot)Qπ∗​(s,⋅) 对应的 softmax 分

Jax, Flax, Optax 中的常用API 下述代码测试环境CPU: R7-4800U，无GPU Jax jax.jit jax.jit(func, static_argnums=None, static_argnames=None) -> jit_func 用于对入参数类型为矩阵的纯函数 func 进行编译返回包装后的函数 jit_func，其中 static_argnum

As accelerated Numpy 首先Jax有类似 numpy 的函数库，API使用基本一致： import jax.numpy as jnp x = jnp.aranga(int(1e8)) %timeit jnp.dot(x, x) # 比 np.dot() 要快, gpu上更快 First Transformation grad 和数学中求导一致，Jax可以自动对Python中

参考文献：(1). Proximal Policy Optimization Algorithms - OpenAI, (2). Trust Region Policy Optimization - Berkeley，(3). Generalized Advantage Estimation - Berkeley 理论推导 基础定义 与概率论中记法一致，用大写字母表示随机变量，小写字母表

A2C (Advantage Actor-Critic) Algorithm 算法 设 π(a∣s;θ)\pi(a|s;\theta)π(a∣s;θ) 为当前智能体策略网络，其中 θ\thetaθ 为网络参数，Vπ(S)V_\pi(S)Vπ​(S) 为状态价值函数，最优化目标 max⁡θES[Vπ(S)]=:J(θ)\max_\theta\mathbb{E}_S[V_{\pi}(S)] =:

DQN (Deep Q-Network) Algorithm 算法 DQN is based on Q-Learning, it changes the estimate of the Q function from “grid search” to “network search”. It’s an off-policy algorithm, which allow us to store