数学基础

统计学习

深度学习

深度学习简介
- 一、介绍
- 二、历史
深度前馈网络
- 一、基础
- 二、损失函数
- 三、输出单元
- 四、隐单元
- 五、结构设计
- 六、历史小记
反向传播算法
- 一、链式法则
- 二、反向传播
- 三、算法实现
- 四、自动微分
正则化
- 一、参数范数正则化
- 二、显式约束正则化
- 三、数据集增强
- 四、噪声鲁棒性
- 五、早停
- 六、参数相对约束
- 七、dropout
- 八、对抗训练
- 九、正切传播算法
- 十、其它相关
深度学习中的最优化问题
- 一、代价函数
- 二、神经网络最优化挑战
- 三、 mini-batch
- 四、基本优化算法
- 五、自适应学习率算法
- 六、二阶近似方法
- 七、共轭梯度法
- 八、优化策略和元算法
- 九、参数初始化策略
- 十、Normalization
- 十一、Online Learning
卷积神经网络
- 一、卷积运算
- 二、卷积层、池化层
- 三、基本卷积的变体
- 四、应用
- 五、历史和现状
CNN：图像分类
- 一、LeNet
- 二、AlexNet
- 三、VGG-Net
- 四、Inception
- 五、ResNet
- 六、ResNet 变种
- 七、SENet
- 八、 DenseNet
- 九、小型网络
循环神经网络 RNN
- 一、RNN 计算图
- 二、训练算法
- 三、长期依赖
- 四、常见 RNN 变种
Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] （粗读）
- 五十一、PaLM2 [2023]（粗读）
- 五十二、Self-Instruct [2022]
句子向量
- 一、Paragraph Vector [2014]
- 二、Skip-Thought Vectors [2015]
- 三、FastSent [2016]
- 四、InferSent [2017]
- 五、Simple-But-Tough-To-Beat Baseline For Sentence Embedding [2017]
- 六、QuickThoughts [2018]
词向量
- 一、向量空间模型 VSM
- 二、LSA
- 三、Word2Vec
- 四、GloVe
- 五、FastText
- 六、ELMo
传统CTR 预估模型
- 一、LR 模型 [2007]
- 二、POLY2 模型 [2010]
- 三、FM 模型 [2011]
- 四、FFM 模型 [2016]
- 五、GBDT-LR 模型 [2014]
- 六、FTRL 工程应用 [2013]
- 七、LS-PLM 模型 [2017]
CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
Graph Embedding 综述
- 一、A Comprehensive Survey of Graph Embedding [2017]
- 二、Graph Embedding Techniques, Applications, and Performance [2017]
- 三、Representation Learning on Graphs [2017]
图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
图神经网络 2
- 一、Deeper Insights into GCN [2018]
- 二、GNNEXPLAINER [2019]
- 三、GCN 自监督学习 [2020]
- 四、GNN 公平比较 [2019]
- 五、GNN 评估陷阱 [2018]
- 六、AGL [2020]
- 七、AliGraph [2019]
图神经网络 3
- 一、Deep Learning On Graph [2018]
- 二、GNN : A Review of Methods and Applications [2018]
- 三、A Comprehensive Survey On GNN [2019]
推荐算法（传统方法）
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
推荐算法（神经网络方法 1）
- 一、MIND [2019]（用于召回）
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020]（用于检索）
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019]（用于召回）
- 八、TDM [2018]（用于检索）
- 九、DR [2020]（用于检索）
- 十、JTM [2019]（用于检索）
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019]（检索）
- 二十、EGES [2018]（Matching 阶段）
- 二十一、SDM [2019]（Matching 阶段）
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020]（检索）
- 二十六、PDN [2021]（mathcing）
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
推荐算法（综述）
- 一、A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation [2022]
多任务学习
- 一、MMOE [2018]
系统架构
- 一、Hidden Technical Debt [2015]
实践方法论
- 一、性能度量
- 二、默认的基准模型
- 三、决定是否收集更多数据
- 四、选择超参数
- 五、调试策略
- 六、示例：数字识别系统
- 七、数据预处理
- 八、变量初始化
- 九、结构设计
深度强化学习 1
- 一、PPO [2017]
自动代码生成
- 一、CodeGen [2022]

工具

CRF
- CRF ++
lightgbm
- lightgbm 使用指南
xgboost
- xgboost 使用指南
scikit-learn
spark
numpy
- Numpy 学习笔记（基于 Numpy 1.11.0）
- Scipy
matplotlib
- matplotlib 使用指南
pandas
- pandas 使用指南
huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
  - 一、基本概念
  - 二、API
- 六、Pipeline
  - 一、基本概念
- 七、Accelerate
  - 一、基础概念
  - 二、API
- 八、Autoclass
  - 一、基本概念
  - 二、API
- 九、应用
- 十、Gradio

Scala

文江博客开发文档 AI 算法工程师手册文章详情

文章来源于网络收集而来，版权归原创者所有，如有侵权请及时联系！

二、默认的基准模型

发布于 2023-07-17 23:38:23 字数 1454 浏览 0 评论 0 收藏 0

根据问题的复杂性，项目开始时可能无需使用深度学习
- 如果只需要正确选择几个线性权重就能解决问题，那么项目开始可以使用一个简单的统计模型，如逻辑回归
如果问题属于 “AI-完全”类型的，如对象识别、语音识别等，那么项目开始于一个合适的深度学习模型，则效果会比较好
根据数据结构选择一类合适的模型：
- 如果是以固定大小的向量作为输入的有监督学习，那么可以使用全连接的前馈网络
- 如果输入已知的拓扑结构（如图像），则可以使用卷积网络
- 如果输入或者输出是一个序列，则使用门控循环网络（LSTM 或者 GRU）
刚开始时可以使用某些分段线性单元：如 ReLU或者其扩展
可以选择具有衰减学习率以及动量的SGD作为优化算法
- 常见的衰减方法有：
  - 衰减到固定最低学习率的线性衰减
  - 指数衰减
  - 每次发生验证错误停滞时将学习率降低 2-10 倍的衰减策略
- 另一种优化选择是 Adam算法
batch normalization对优化性能有着显著的影响，特别是对于卷积网络和具有sigmoid非线性函数的网络而言
- 最初的基准中，可以忽略batch normalization
- 当优化似乎出现问题时，应立即使用batch normalization
除非训练集包含数千万或者更多的样本，否则项目一开始就应该包含一些温和的正则化
- 建议采用早停策略
- 建议采用dropout策略，它也兼容很多模型以及许多正则化项
- batch normalization 有时可以降低泛化误差，此时可以省略dropout策略。因为用于 normalize的统计量估计本身就存在噪音
如果我们的任务和另一个被广泛研究的任务相似，那么通过复制之前研究中已知的性能良好的模型和算法，可能会得到很好的效果
- 你可以从该任务中复制一个训练好的模型。如从ImageNet上训练好的卷积网络的特征来解决其他计算机视觉任务
对于是否使用无监督学习，和特定领域有关
- 对于某些领域，如自然语言处理，能大大受益于无监督学习技术
- 在其他领域，目前无监督学习并没有带来好处
- 如果你所处理的应用，无监督学习是非常重要的，那么将其包含在第一个端到端的基准中；否则只有在解决无监督问题时，才第一次尝试使用无监督学习

收藏 0

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

列表为空，暂无数据

我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的隐私政策了解更多相关信息。单击 接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。

原文