数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
二、迭代器
迭代器并不是集合,而是逐个访问集合元素的一种方式。迭代器
it
的两个基本操作是next
和hasNext
。it.next
方法会返回迭代器的下一个元素,并将迭代器的状态往前推进一步。如果没有更多元素可以返回,则it.next
会抛出NoSuchElementException
异常。it.hasNext
方法可以获知是否还有更多的元素可以返回。
”遍历“迭代器所有元素的最直接方式是通过
while
循环:xxxxxxxxxx
while(it.hasNext) println(it.next())scala
中的迭代器提供了Traversable, Iterable, Seq
等特质中的大部分方法。如it.foreach
方法可以用来对迭代器返回的每个元素执行给定的操作。采用foreach
之后,while
循环等价于:xxxxxxxxxx
it.foreach(println)也可以用
for
表达式来替代涉及到foreach, map, filter, flatMap
的表达式。因此上述方式等价于:xxxxxxxxxx
for (elem <- it) println(elem)迭代器的
foreach
方法和Traversable
的foreach
方法的一个重要区别:- 对迭代器调用
foreach
之后,它执行完之后会将迭代器留在末尾。因此,对相同的迭代器再次调用next
会抛出NoSuchElementException
异常。 - 对
Traversable
调用foreach
之后,会保持集合中的元素数量不变。再次调用foreach
可以得到上一轮foreach
相同的结果。
除了
foreach
操作之外,其它的操作比如map,filter
等等也类似:在执行之后会将迭代器留在末尾。如:
xxxxxxxxxx
val it = Iterator("a", "bc", "def") val it2 = it.map(_.length) // 返回一个新的 Iterator[Int] 对象 it.next() // 抛出 NoSuchElementException 异常- 对迭代器调用
另一个例子是
dropWhile
方法,但是注意:it
在dropWhile
调用中被修改了。xxxxxxxxxx
val it = Iterator("a", "bc", "def") val it2 = it.dropWhile(_.length <= 2) // 返回一个新的 Iterator[String] 对象 it.next() // 返回 "def"经过
dropWhile
调用之后,it
指向的是序列中的第三个单词"def"
。注意,此时it
和it2
都返回相同的序列元素。只有一个标准操作
duplicate
允许重用同一个迭代器:xxxxxxxxxx
val (it1, it2) = it.duplicate对
duplicate
的调用会返回两个迭代器,其中每个迭代器都返回和it
完全相同的元素。而且这两个迭代器相互独立:推进其中一个并不会影响另外一个。而原始的
it
迭代器在duplicate
调用之后就被推进到末端,不再可用。
总体而言,如果你在调用迭代器的方法之后再也不访问它,则迭代器的行为跟集合很像。
Scala
集合类库将这个性质显式表示为一个名为TraversableOnce
的抽象,这是Traversable
和Iterator
的公共超类特质。正如其名称所示,
TraversableOnce
对象可以用foreach
来遍历,但是在遍历之后该对象的状态并无规定。- 如果
TraversableOnce
对象实际上是一个Iterator
,则遍历之后它将位于末端。 - 如果
TraversableOnce
对象实际上是一个Traversable
,则遍历之后它将保持原样。
TraversableOnce
的一个常见用法是作为既可以接收迭代器、又可以接收可遍历集合的方法的入参类型声明。比如,Traversable
特质的++
方法,它接收一个TraversableOnce
参数,从而可以追加来自迭代器或可遍历集合的元素。- 如果
有时候希望有一个可以“向前看” 的迭代器,这样就可以检查下一个要返回的元素,但是并不向前推进。
考虑这样的场景:从一个返回字符串的迭代器中迭代,并且跳过开头的空字符串。一种做法是:
xxxxxxxxxx
def func(it: Iterator[String])={ while (! it.netx().isEmpty){ println(it.next()) } }问题在于:
- 如果
it.next()
返回的是空字符串,则该循环会跳过空字符串并且it
指向下一个字符串。 - 如果
it.next()
返回的是非空字符串,那么循环结束并且it
指向下一个字符串,在这个过程中这个非空字符串完全得不到处理。
这个问题的解决方案是采用带缓冲的迭代器,即
BufferedIterator
特质的实例。BufferedIterator
是Iterator
的子特质,它提供了一个额外的方法head
。对一个带缓冲的迭代器调用head
方法会返回它的当前元素,但是并不会推进到下一个元素。xxxxxxxxxx
def func(it: BufferedIterator[String])={ while (! it.head.isEmpty){ println(it.next()) } }- 如果
每个迭代器都可以被转换为带缓冲的迭代器,方法是调用迭代器的
buffered
方法。xxxxxxxxxx
val it = Iterator(1,2,3,4) val bit = it.buffered println(bit.head) // 打印 1 。只是查看,并不推进 println(bit.next()) // 打印 1 。向前推进 println(bit.next()) // 打印 2 。向前推进Iterator
特质包含的操作:抽象方法:
it.next()
:返回迭代器中的下一个元素,并将it
推进到下一步。it.hasNext
:如果it
能返回下一个元素,则返回true
。
创建另一种迭代器:
it.buffered
:返回一个包含it
所有元素的带缓冲的迭代器。it grouped size
:返回一个以固定大小的“分段” 来交出it
元素的迭代器。it sliding size
:以固定大小的滑动窗口交出it
元素的迭代器。
拷贝:
it copyToBuffer buf
:将it
返回的所有元素拷贝到缓冲buf
。it copyToArray(arr,s,k)
:将it
返回的最多k
个元素拷贝到数组arr
,从数组的下标s
开始。后两个入参皆为可选。
复制:
it.duplicate
:返回一对新的迭代器,它们都相互独立地返回it
所有的元素。
添加:
it1 ++ it2
:返回it1
所有元素,以及it2
所有元素的迭代器。it padTo (len, x)
:返回一个迭代器,新的迭代器返回it
所有元素,以及x
的拷贝直到返回元素的总长度达到len
。
映射:
it map f
:通过对it
返回的每个元素应用函数f
得到的迭代器。it flatMap f
:通过对it
返回的每个元素应用函数f
,其中f
返回的结果是迭代器,将f
返回迭代器结果通过++
拼接得到的迭代器。it collect f
:通过对it
返回的每个元素应用函数f
,并将有定义的结果收集起来得到的迭代器。注意这里的f
必须是一个偏函数PartialFunction
。
转换:
it.toArray/toList/toIterable/toSeq/toIndexSeq/toStream/toSet/toMap
:将it
返回的元素收集到数组/列表/Iterable
/Seq
/IndexSeq
/Stream
/Set
/Map
。
大小信息:注意:大小信息指的是从
it
当前位置开始的大小,而不从头开始。it.isEmpty
:测试迭代器是否为空(跟hasNext
相反)。it.noEmpty
:测试迭代器是否非空(跟hasNext
相同)。it.size
:返回it
元素数量。注意:该操作之后,it
将位于末端。it.length
:等价于it.size
。注意:该操作之后,it
将位于末端。it.hasDefinitSize
:如果已知将返回有限多的元素,则返回true
。(默认同isEmpty
)。
元素获取:
it find p
:以Option
返回it
中首个满足条件p
的元素。如果没有满足条件的,则返回None
。注意:迭代器会推进到刚好跳过首个满足
p
的元素,如果没找到则推进到末端。it indexOf x
:返回it
中首个等于x
元素的下标。注意:迭代器会推进到刚好跳过首个x
的位置。如果找不到,则返回-1
,并且it
推进到末端。it indexWhere p
:返回it
中首个满足条件p
的元素的下标。注意:迭代器会推进到刚好跳过首个满足p
的元素。如果找不到,则返回-1
,并且it
推进到末端。
子迭代器:
it take n
:返回it
的头n
个元素的迭代器。注意:it
将推进到第n
个元素最后的位置,如果少于n
个元素则it
将推进到末端。it drop n
:返回从it
的第n+1
个元素开始的迭代器。注意:it
将推进到与新迭代器相同的位置。it slice (m, n)
:返回从it
的第m
个元素开始到第n
个元素之前为止(不包含)的元素的迭代器。it takeWhile p
: 返回it
中连续位置、直到满足条件p
的元素的迭代器。it dropWhile p
:返回跳过it
中连续位置、直到满足条件p
的元素的迭代器。it filter p
:返回it
中所有满足条件p
的元素的迭代器。it withFilter p
:同it filter p
。这是为了支持for
表达式语法。it filterNot p
:返回it
中所有不满足条件p
的元素的迭代器。
划分:
it partition p
:将it
划分为两个迭代器,其中一个返回it
中所有满足条件p
的元素;另一个返回it
中所有不满足条件p
的元素。
元素条件判断:
it forall p
:返回是否it
中所有元素满足条件p
的布尔值。it exists p
:返回是否it
中存在元素满足条件p
的布尔值。it count p
:返回it
中满足条件p
的元素数量。
折叠:
(z /: it)(op)
:以z
开始从左向右依次对it
中的连续元素应用二元操作op
。(it :\ z)(op)
:以z
开始从右向左依次对it
中的连续元素应用二元操作op
。it.foldLeft(z)(op)
:同(z /: it)(op)
。it.foldRight(z)(op)
:同(it :\z)(op)
。it reduceLeft op
:从左向右依次对非空迭代器it
的连续元素应用二元操作op
。it reduceRight op
:从右向左依次对非空迭代器it
的连续元素应用二元操作op
。
特殊折叠:
it.sum
:迭代器it
中所有元素值的和。it.product
:迭代器it
中所有元素值的乘积。it.min
:迭代器it
中所有元素值的最小值。it.max
:迭代器it
中所有元素值的最大值。
zip
:it1 zip it2
:返回由it1
和it2
对应元素的对偶组成的新迭代器。it1 zipAll (it2, x, y)
:返回由it1
和it2
对应元素的对偶组成的新迭代器,其中较短的序列用x
或y
的元素延展成相同的长度。it zipWithIndex
:返回由it
中的元素及其下标的对偶组成的新迭代器。
更新:
it1 patch (i, it2, r)
:将it1
中从位置i
开始的r
个元素替换成it2
的元素得到的新迭代器。
比较:
it1 sameElement it2
:测试是否it1
和it2
包含相同顺序的相同元素。
字符串:
it addString (b, start, sep, end)
:将一个显示了it
所有元素的字符串添加到StringBuilder b
中,元素以sep
分隔并仅考虑start
和end
之间的元素。it mkString ( start, seq, end)
:将迭代器转换为一个显示了it
所有元素的字符串, 元素以sep
分隔,并仅考虑start
和end
之间的元素。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论