机器学习

共 11 篇笔记

Transformer

现实中存在大量输入和输出都是变长序列的任务,例如: 核心思想:把输出长度的决定权交给模型,而不是人为指定。 ⚠️ 关键洞察:几乎所有 NLP 任务都可以被 reformulate 成 seq2seq 问题。语法解析输出的…

PAC

核心问题: 训练误差很低,但我们真正关心的是泛化误差。两者之间的关系能被量化吗? 具体而言,以下问题都没有严格答案: 训练误差 5%,测试误差能保证多少? 测试集上表现好,是“真好”还是“碰巧好”? 训练这个模型需要多少…

Self-attention

从序列上下文出发,拆解 Q、K、V 与多头自注意力的计算过程。

卷积神经网络CNN

目标: 给定一张输入图片,输出对各类别的概率分布(猫、狗、树……) 关键设置: 所有输入图片必须是相同尺寸(例如 100×100) 输出是一个 one-hot 向量 ŷ:维度 = 模型能识别的类别数量 模型预测输出 y'…

类神经网络训练不起来怎么办

书接上回,为什么Optimization会失败呢? 微分为0的点统称为critical point,那么怎么知道一个点是局部最小值还是鞍点呢? around can be approximated below: Grad…

机器学习基础

Machine Learning : "Field of study that gives computers the ability to learn without being explicitly programm…

生成式學習的兩種策略:要各個擊破,還是要一次到位

生成式AI---生成有结构的复杂物件,如文句、影像、语音 Autoregressive(AR) Model 产生代表结束的符号时停下来 Non-autoregressive(NAR) Model 怎么知道结束? 法一:固…

PyTorch

PyTorch:python的机器学习框架 特点: 快速进行高维矩阵的计算 自动算微分 三件事情: model架构 loss function optimization算法 DataSet:stores data sam…

第二講:一堂課搞懂 AI Agent 的原理 (AI如何透過經驗調整行為、使用工具和做計劃)

当我们把LLM当作AI Agent来使用的时候,其实做的事情没有任何不同,归根到底,就是: 如何把LLM当成一个AI Agent? 以Alpha Go为例,对于Typical Agent,就是在19 19个选择题中,找到…

第一講:一堂課搞懂生成式人工智慧的技術突破與未來發展

通过有限的选择组合出近乎无穷的可能 基本单位叫token 基本策略:每次只生成一个token y i 类神经网络:本质上是一个function,产生的是一个token的概率分布,给每一个token一个分数 把一个函数分成…

Attention is All You Need

如果无法显示PDF,请 点击这里下载 。

查看全部文章 ↗