数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
三、机器学习三要素
- 机器学习三要素:模型、策略、算法。
3.1 模型
模型定义了解空间。监督学习中,模型就是要学习的条件概率分布或者决策函数。
模型的解空间包含了所有可能的条件概率分布或者决策函数,因此解空间中的模型有无穷多个。
模型为一个条件概率分布:
解空间为条件概率的集合: $ MathJax-Element-58 $ 。其中: $ MathJax-Element-59 $ 为随机变量, $ MathJax-Element-70 $ 为输入空间, $ MathJax-Element-71 $ 为输出空间。
通常 $ MathJax-Element-72 $ 是由一个参数向量 $ MathJax-Element-125 $ 决定的概率分布族: $ MathJax-Element-64 $ 。其中: $ MathJax-Element-65 $ 只与 $ MathJax-Element-77 $ 有关,称 $ MathJax-Element-77 $ 为参数空间。
模型为一个决策函数:
解空间为决策函数的集合: $ MathJax-Element-68 $ 。其中: $ MathJax-Element-69 $ 为变量, $ MathJax-Element-70 $ 为输入空间, $ MathJax-Element-71 $ 为输出空间。
通常 $ MathJax-Element-72 $ 是由一个参数向量 $ MathJax-Element-125 $ 决定的函数族: $ MathJax-Element-74 $ 。其中: $ MathJax-Element-75 $ 只与 $ MathJax-Element-77 $ 有关,称 $ MathJax-Element-77 $ 为参数空间。
解的表示一旦确定,解空间以及解空间的规模大小就确定了。
如:一旦确定解的表示为: $ MathJax-Element-78 $ ,则解空间就是特征的所有可能的线性组合,其规模大小就是所有可能的线性组合的数量。
将学习过程看作一个在解空间中进行搜索的过程,搜索目标就是找到与训练集匹配的解。
3.2 策略
- 策略考虑的是按照什么样的准则学习,从而定义优化目标。
3.2.1 损失函数
对于给定的输入 $ MathJax-Element-79 $ ,由模型预测的输出值 $ MathJax-Element-80 $ 与真实的标记值 $ MathJax-Element-81 $ 可能不一致。此时,用损失函数度量错误的程度,记作 $ MathJax-Element-82 $ ,也称作代价函数。
常用损失函数:
$ L(\tilde y, \hat y)= \begin{cases} 1, & \text{if $\hat y \ne \tilde y$} \\ 0, & \text{if $\hat y = \tilde y$ } \end{cases} $0-1
损失函数:平方损失函数
MSE
: $ MathJax-Element-83 $绝对损失函数
MAE
: $ MathJax-Element-84 $对数损失函数: $ MathJax-Element-85 $ 。
其物理意义是:二分类问题的真实分布与模型分布之间的交叉熵。
一个简单的解释:因为样本 $ MathJax-Element-86 $ 易经出现,所以理论上 $ MathJax-Element-87 $ 。
如果它不为 1,则说明预测存在误差。越远离1,说明误差越大。
训练时采用的损失函数不一定是评估时的损失函数。但通常二者是一致的。
因为目标是需要预测未知数据的性能足够好,而不是对已知的训练数据拟合最好。
3.2.2 风险函数
通常损失函数值越小,模型就越好。但是由于模型的输入、标记都是随机变量,遵从联合分布 $ MathJax-Element-88 $ , 因此定义风险函数为损失函数的期望:
$ R_{exp}=\mathbb E_P\left[L(\tilde y, \hat y)\right]=\int_{\mathcal{X \times Y}}L(\tilde y, \hat y)p(\mathbf {\vec x},y)d\mathbf {\vec x}dy $其中 $ MathJax-Element-89 $ 分别为输入空间和输出空间。
学习的目标是选择风险函数最小的模型 。
求 $ MathJax-Element-90 $ 的过程中要用到 $ MathJax-Element-92 $ ,但是 $ MathJax-Element-92 $ 是未知的。
实际上如果它已知,则可以轻而易举求得条件概率分布,也就不需要学习。
3.2.3 经验风险
经验风险也叫经验损失。
给定训练集 $ MathJax-Element-93 $ ,模型关于 $ MathJax-Element-113 $ 的经验风险定义为:
$ R_{emp}=\frac 1{N} \sum_{i=1}^{N}L(\tilde y_i,\hat y_i) $经验风险最小化 (
$ \min_{ f\in \mathcal{F}} \frac{1}{N}\sum_{i=1}^{N} L(\tilde y_i,f(\mathbf {\vec x}_i)) $empirical risk minimization:ERM
) 策略认为:经验风险最小的模型就是最优的模型。即:经验风险是模型在 $ MathJax-Element-113 $ 上的平均损失。根据大数定律,当 $ MathJax-Element-96 $ 时 $ MathJax-Element-97 $ 。
但是由于现实中训练集中样本数量有限,甚至很小,所以需要对经验风险进行矫正。
结构风险是在经验风险上叠加表示模型复杂度的正则化项(或者称之为罚项)。它是为了防止过拟合而提出的。
给定训练集 $ MathJax-Element-105 $ ,模型关于 $ MathJax-Element-113 $ 的结构风险定义为:
$ R_{srm}=\frac{1}{N} \sum_{i=1}^{N}L(\tilde y_i,\hat y_i)+\lambda J(f) $其中:
- $ MathJax-Element-103 $ 为模型复杂度,是定义在解空间 $ MathJax-Element-101 $ 上的泛函。 $ MathJax-Element-102 $ 越复杂,则 $ MathJax-Element-103 $ 越大。
- $ MathJax-Element-104 $ 为系数,用于权衡经验风险和模型复杂度。
结构风险最小化 (
$ \min_{f \in \mathcal F} \frac{1}{N} \sum_{i=1}^{N}L(\tilde y_i,f(\mathbf {\vec x}_i))+\lambda J(f) $structurel risk minimization:SRM
) 策略认为:结构风险最小的模型是最优的模型。即:结构风险最小化策略符合奥卡姆剃刀原理:能够很好的解释已知数据,且十分简单才是最好的模型。
3.2.4 极大似然估计
极大似然估计就是经验风险最小化的例子。
已知训练集 $ MathJax-Element-105 $ ,则出现这种训练集的概率为: $ MathJax-Element-106 $ 。
根据 $ MathJax-Element-113 $ 出现概率最大,有:
$ \max \prod_{i=1}^{N}p(\tilde y_i\mid \mathbf {\vec x}_i)\rightarrow \max\sum_{i=1}^{N}\log p(\tilde y_i\mid \mathbf {\vec x}_i) \rightarrow \min \sum_{i=1}^{N}(-\log p(\tilde y_i\mid \mathbf {\vec x}_i)) $定义损失函数为: $ MathJax-Element-114 $ ,则有:
$ \min \sum_{i=1}^{N}(-\log p(\tilde y_i\mid \mathbf {\vec x}_i))\rightarrow \min \sum_{i=1}^{N}L(\tilde y_i,\hat y_i) \rightarrow \min \frac{1}{N}\sum_{i=1}^{N}L(\tilde y_i,\hat y_i) $即:极大似然估计 = 经验风险最小化 。
3.2.5 最大后验估计
最大后验估计就是结构风险最小化的例子。
已知训练集 $ MathJax-Element-109 $ ,假设已知参数 $ MathJax-Element-110 $ 的先验分布为 $ MathJax-Element-111 $ ,则出现这种训练集的概率为: $ MathJax-Element-112 $ 。
根据 $ MathJax-Element-113 $ 出现概率最大:
$ \max \prod_{i=1}^{N}p(\tilde y_i\mid \mathbf {\vec x}_i)g(\theta)\rightarrow \max\sum_{i=1}^{N}\log p(\tilde y_i\mid \mathbf {\vec x}_i)+\log g(\theta)\\ \rightarrow \min \sum_{i=1}^{N}(-\log p(\tilde y_i\mid \mathbf {\vec x}_i))+\log \frac{1}{g(\theta)} $定义损失函数为: $ MathJax-Element-114 $ ;定义模型复杂度为 $ MathJax-Element-115 $ ;定义正则化系数为 $ MathJax-Element-116 $ 。则有:
$ \min \sum_{i=1}^{N}(-\log p (\tilde y_i\mid \mathbf {\vec x}_i))+\log \frac{1}{g(\theta)}\rightarrow \min \sum_{i=1}^{N}L(\tilde y_i,\hat y_i)+J(f)\\ \rightarrow \min \frac{1}{N}\sum_{i=1}^{N}L(\tilde y_i,\hat y_i)+\lambda J(f) $即:最大后验估计 = 结构风险最小化。
3.3 算法
- 算法指学习模型的具体计算方法。通常采用数值计算的方法求解,如:梯度下降法。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论