数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
五、List 原理
List
并不是Scala
内建的语法结构,它是由scala
包里的抽象类List
定义的,这个抽象类有两个子类::
和Nil
。xxxxxxxxxx
package scala abstract class List[+T]{ ... }继承关系:
xxxxxxxxxx
List[+T] <<sealed abstract>> / \ ::[T] Nil <<final case>> <<case object>>由于
List
是一个抽象类,因此无法通过调用空的List
构造方法来定义列表,即:new List
是非法的。List
有一个类型参数T
,参数前面的+
表明列表是协变的。正因为如此,我们可以将类型为List[Int]
的对象赋值给类型为List[Any]
的变量:xxxxxxxxxx
val xs = List(1,2,3) val ys: List[Any] = xs所有的列表操作都可以通过三个基本的方法来定义:
xxxxxxxxxx
def isEmpty: Boolean def head: T def tail: List[T]这些方法在
List
类中都是抽象的,其具体定义出现在子类::
以及子对象Nil
中。
Nil
对象:它定义了一个空列表,其定义如下。xxxxxxxxxx
case object Nil extends List[Nothing]{ override def isEmpty = true def head: Nothing = throw new NoSuchElementException("head of empty list") def tail: List[Nothing] = throw new NoSuchElementException("tail of empty list") }Nil
对象继承自类型List[Nothing]
,因为协变的原因,这意味着Nil
和List
类型的每个实例都兼容。这里的三个抽象方法的实现非常简单:
isEmpty
直接返回true
。- 其它两个方法都直接抛出异常。因为
head
没办法返回一个正常的值,所以它只能够通过抛出异常的方式非正常的返回;tail
方法也是如此。
::
类:该类表示非空列表,读作cons
(即英文的construct
)。它之所以如此命名,是为了支持用中缀::
实现模式匹配。由于模式匹配中的每个中缀操作符都被当作是用入参调用该中缀操作符对应的构造方法处理,所以
x :: xs
被处理为::(x, xs)
,其中::
是一个样例类。xxxxxxxxxx
final case class ::[T](hd: T, tl: List[T]) extends List[T]{ def head = hd def tail = tl override def isEmpty: Boolean = false }可以通过构造方法的参数直接实现超类的
head
和tail
方法:xxxxxxxxxx
final case class ::[T](head: T, tail: List[T]) extends List[T]{ override def isEmpty: Boolean = false }之所以可行,是因为样例类的每个参数都隐式的作为该类的字段,就跟在类内部定义了
val head
和val tail
字段一样。而Scala
允许我们用字段来实现抽象的无参方法。List
的所有其它方法都可以用这三个基本方法来编写,如:xxxxxxxxxx
def length: Int = if(isEmpty) 0 else 1 + tail.length def drop(n: Int): List[T] = if(isEmpty) Nil else if(n <= 0 ) this else tail.drop(n-1) def map[U](f: T => U): List[U] = if(isEmpty) Nil else f(head) :: tail.map(f)列表的构造方法
::
和:::
是以冒号结尾,所以它们会绑定到右操作元上。即:x :: xs
会被当作xs.::(x)
,而不是x.::(xs)
,因为x
的类型是列表元素的类型。事实上
x
的类型和xs
的元素类型可以不同:xxxxxxxxxx
abstract class Fruit class Apple extends Fruit class Orange extends Fruit val apples = new Apple :: Nil val fruits = new Orange :: apples::
返回原始列表元素类型Apple
和待添加元素的类型Orange
最具体的公共超类。这种灵活性归功于::
方法的定义:xxxxxxxxxx
def ::[U >: T](x: U): List[U] = new scala.::(x, this)这个方法本身是多态的,其类型参数
U
受到[ U >: T]
的约束,它必须是列表元素类型T
的超类。要添加的元素必须是类型U
的值并且结果是List[U]
。和
::
一样,拼接方法也是多态的,结果类型会按需“自动放宽” 从而包含所有的列表元素。由于
:::
和::
都是以冒号结尾,因此它们都是和右操作元绑定,也就是右结合的。List
类大多数方法的真实实现并没有使用递归,因为递归会出现栈溢出的问题(很多递归都不是尾递归)。这些方法都是通过循环和ListBuffer
来实现。ListBuffer
的toList
方法调用一般是常量时间复杂度,和列表长度无关。xxxxxxxxxx
package scala.collection.immutable final class ListBuffer[T] extends Buffer[T]{ private var start: List[T] = Nil // 指向 ListBuffer 中保存的所有元素的列表 private var last0: ::[T] = _ // 指向该列表最近一个添加的 :: private var exported: Boolean = false // 表示该 ListBuffer 是否已经使用过 toList 转换 override def += (x: T) = { // 追加元素 if (exported) copy() // 已经导出过,但是需要扩展,则拷贝底层数据 if(start.isEmpty){ last0 = new scala.::(x, Nil) start = last0 }else{ val last1 = last0 last0 = new scala.::(x,Nil) last1.tl = last0 } } }其中:
xxxxxxxxxx
final case class ::[U](hd:U, private[scala] var t1: List[U]) extends List[U]{ def head = hd def tail = tl override def isEmpty: Boolean = false }这里
t1
是一个var
,这意味着它是可变的。而private[scala]
的修饰符表明t1
只能在scala
这个包内部被访问。ListBuffer
的实现方式确保只有当ListBuffer
被转成List
之后,还需要进一步扩展时,才需要拷贝。实际上这种操作实际很少出现,ListBuffer
的大部分应用是逐个添加元素,然后最后做一次toList
操作,此时不需要任何拷贝。列表从“外面”看是纯函数式的,但是它的实现从“里面”看是过程式的。这是
Scala
编程的一个典型策略:通过仔细界定非函数式操作,将纯函数式和效率集合起来。注意:当我们用
::
构造列表时,会复用列表的尾部:xxxxxxxxxx
val ys = 1 :: xs val zs = 2 :: xs现在
ys
的尾部和zs
的尾部是共享的,这是为了效率。因为如果每次添加新元素都拷贝xs
,则会慢很多。由于到处都是共享的,因此如果允许改变列表的成员,则很容易出问题:
xxxxxxxxxx
ys.drop(2).tail = Nil // Scala 中不支持这个操作会同时截断
xs
和zs
。所以Scala
中不允许这么做。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论