数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
六、Array
Array
是Scala
提供的数组,它是可变对象,即:可以修改Array
的元素内容。数组在
scala
中是一种特殊的集合。一方面,
scala
的数组跟java
的数组一一对应。即,scala
中的Array[Int]
是用java
的int[]
来表示,scala
中的Array[Double]
是用java
的double[]
来表示。另一方面,
scala
的数组比java
数组提供更多的功能。- 首先,
scala
数组支持泛型。即,可以有Array[T]
,T
为类型参数或者抽象类型。 - 其次,
scala
数组跟scala
的序列兼容(可以在要求Seq[T]
的任何地方传入Array[T]
)。 - 最后,
scala
数组还支持所有的序列操作。
- 首先,
scala
通过使用隐式转换来支持java
数组额外的那些功能。Array
并不是Seq
类型,因为Array
并不是Seq
的子类型。每当数组被用于
Seq
时,它都被隐式转换为Seq
的子类,这个子类叫做scala.collection.mutable.WrappedArray
。xxxxxxxxxx
val a1 = Array(1,2,3) val seq: Seq[Int] = a1 // seq 为 WrappedArray[Int] 类型 val a2 = seq.toArray // a2 为 Array[Int] 类型从这些交互可以看到:数组和序列是兼容的,因为有一个从
Array
到WrappedArray
的隐式转换。如果反过来,希望从
WrappedArray
转换为Array
,则可以通过Traversable
中定义的toArray
方法。此时可以得到与原始数组相同的结果(a2
的内容和a1
完全相同)。另外,每当对数组执行序列的操作时,
Array
都被转换为ArrayOps
对象。Array
到ArrayOps
对象的转换仅仅是将所有的序列方法 “添加” 到数组,但是并没有将数组转换成Seq
的子类。ArrayOps
对象支持所有的序列方法。通常
ArrayOps
的生命周期很短:通常在调用完序列方法之后就不会再使用了,因此它的存储空间可以被立即收回。现代的VM
会完全避免创建这个对象。
这两种隐式转换的区别可以通过以下示例看到:
xxxxxxxxxx
val a1 = Array(1,2,3) val seq: Seq[Int] = a1 // seq 为 WrappedArray[Int] 类型 val seq2 = seq.reverse // seq2 为 WrappedArray[Int] 类型 val ops: collection.mutable.ArrayOps[Int] = a1 //ops 为 ArrayOps[Int] 类型 val a3 = ops.reverse // a3 为 Array[Int] 类型对
WrappedArray
调用reverse
返回WrappedArray
类型,这合乎逻辑。因为对Seq
调用reverse
都会返回Seq
。对
ArrayOps
调用reverse
返回的是Array
而不是Seq
,也不是ArrayOps
。通常你从来都不会自己去创建
ArrayOps
类型的对象,只需要对数据调用Seq
方法即可:xxxxxxxxxx
val a1 = Array(1,2,3) val a3 = a1 reverse // 等价于先人工创建 ArrayOps[Int] 对象,在对其调用 reversescala
会自动插入ArrayOps
对象,因此上述代码和下面的代码等价:xxxxxxxxxx
val ops: collection.mutable.ArrayOps[Int] = a1 //ops 为 ArrayOps[Int] 类型 val a3 = ops.reverse // a3 为 Array[Int] 类型编译器是如何知道选择
WrappedArray
隐式转换,还是选择ArrayOps
隐式转换呢?毕竟这两种隐式转换都可以将数组转换为支持reverse
的类型。答案是:这两个隐式转换存在优先级。
ArrayOps
的优先级高于WrappedArray
转化。前者定义在Predef
对象中,后者定义在scala.LowPriorityImplicits
类中,这个类是Predef
的超类。子类和子对象中的隐式转换比基类的隐式转换优先级更高。因此,如果两个隐式转换同时可用,编译器会选择Predef
中的那个。在
Java
中,你没有办法定义数组的泛型,即没办法写T[]
,其中T
为类型参数。scala
中的数组支持泛型,因此可以写出像Array[T]
的泛型数组。scala
将Array[T]
存储的对象统一映射到AnyRef
,从而支持byte, short,char,int,long,float,double,boolean
等java
基础类型,以及java
对象类型。在运行时,当类型为Array[T]
的数组的元素被访问或更新时,有一系列的类型检查来决定实际的数组类型。然后才是对java
数组的正确操作。这些类型检查会减慢数组操作。可以预期,对泛型数组的访问跟基本类型数组或对象数组的访问相比会慢三到四倍。这意味着:如果你希望最大限度的改善性能,应该考虑具体类型的确定数组,而不是泛型数组。
仅能够表示泛型的数组类型是不够的,我们还需要某种方式来创建泛型数组。为说明问题,我们考虑以下代码:
xxxxxxxxxx
def evenElems[T](xs: Vector[T]): Array[T] = { val arr = new Array[T]((xs.length + 1) / 2) for(i <- 0 untile xs.length by 2){ arr(i/2) = xs(i) } arr }这段代码返回输入
xs
的偶数位置元素组成的Array
。考虑到类型参数T
对应的实际类型信息在运行时被擦除,因此new Array[T]((xs.length + 1) / 2)
甚至无法编译通过。这时编译器需要提供额外的信息来获取类型参数
T
的运行时线索。这个线索的表现形式是类型为scala.reflect.ClassTag
的类标签class tag
。类标签描述的是给定类型 “被擦除的类型”,这也是构造该类型的数组所需要的全部信息。在很多情况下,编译器多可以自行生成类标签。对于具体类型
Int
或者String
就是如此。但是对于某些泛型类型,如List[T]
也是如此,因为有足够多的已知信息来预测被擦除的类型。对于完全泛化的场景,通常的做法是用上下文界定传入类型标签,如:
xxxxxxxxxx
import scala.reflect.ClassTag def evenElems[T: ClassTag](xs: Vector[T]): Array[T] = { .... }此时,当
Array[T]
被创建时,编译器会查找类型参数T
的类标签。也就是说,它会查找一个类型为ClassTag[T]
的隐式值。如果找到这样的值,类标签就被用于构造正确类型的数组。否则,编译器报错。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论