数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
九、Set
Set
是没有重复元素的Iterable
。Scala
提供了scala.collection.immutable.Set
和scala.collection.mutable.Set
这两个trait
来分别表示不可变集和可变集。这里我们称
set
为“集”。可以对
Set
调用+
方法来添加元素。- 对于不可变集,该方法返回一个新的、包含了新元素的集。
- 对于可变集,该方法先将元素添加到集中,然后返回集本身。
Scala collection
类库同时提供了可变和不可变两个版本的Set
和Map
。当写下Set
或Map
时,默认为不可变的版本。Scala
让我们更容易访问不可变版本,这是为了鼓励大家尽量使用不可变的Set/Map
。这种访问便利是通过
Predef
对象完成的,这个对象的内容在每个Scala
源文件都会隐式导入:xxxxxxxxxx
object Predef{ type Map[A, +B] = collection.immutable.Map[A, B] type Set[A] = collection.immutable.Set[A] val Map = collection.immutable.Map val Set = collection.immutable.Set // ... }Predef
利用Type
关键字定义了Set
和Map
这两个别名,分别对应不可变Set
和不可变Map
的完整名称。如果希望使用可变版本,则需要显式导入:
x import scala.collection.mutable val set1 = mutable.Set("1","2") // 可变版本 set1 += "3" // 可以是 val,也可以是 var var set2 = Set("1","2") // 不可变版本 set2 += "3" // 必须是 var
set1
是可变的Set[String]
,经过+=
方法调用之后,set1
仍然指向旧的Set
。set2
是不可变的Set[String]
,经过+=
方法调用之后,set2
指向新创建的Set
。因此set2
必须是var
。
Set
的关键特性是:以==
为标准,同一时刻,Set
内的每个对象最多出现一次。Set
特质的操作:测试:
xs contains x
: 测试x
是否为xs
的 元素。xs(x)
: 等价于xs contains x
。xs subsetOf ys
: 测试xs
是否为ys
的子集。
添加:
xs + x
: 返回包含xs
所有元素以及x
的新Set
。xs + (x,y,z)
: 返回包含xs
所有元素以及x,y,z
的新Set
。xs ++ ys
: 返回包含xs
和ys
所有元素的新Set
。
移除:
xs - x
: 返回包含除x
外xs
所有元素的新Set
。xs - (x,y,z)
: 返回包含除x,y,z
外xs
所有元素的新Set
。xs -- ys
: 返回包含除ys
元素之外xs
所有元素的新Set
。xs.empty
: 返回跟xs
类型相同的空Set
。
二元操作:
xs & ys
: 返回xs
和ys
交集。xs | ys
: 返回xs
和ys
并集。xs union ys
: 等价于xs | ys
。xs &~ ys
: 返回xs
和ys
差集。xs diff ys
: 等价于xs &~ ys
。
可变的
mutable.Set
特质的操作:添加:
xs += x
: 将x
添加到xs
并返回xs
本身。xs += (x,y,z)
: 将x,y,z
添加到xs
并返回xs
本身。xs ++= ys
: 将ys
所有元素添加到xs
并返回xs
本身。xs add x
: 将元素x
添加到xs
中。 如果x
此前并未包含在xs
中,则返回true
;否则返回false
。
移除:
xs -= x
: 将x
从xs
中移除并返回xs
本身。xs -= (x,y,z)
: 将x,y,z
从xs
中移除并返回xs
本身。xs -- = ys
: 将ys
所有元素从xs
中移除并返回xs
本身。xs remove x
: 将元素x
从xs
中移除。 如果x
此前包含在xs
中, 则返回true
;否则返回false
。xs retrain p
: 仅保留xs
中那些满足条件p
的元素。xs.clear()
: 从xs
中移除所有元素。
更新:
xs(x) = b
: 如果布尔参数b
为true
,则将x
添加到xs
; 否则将x
从xs
移除。xs.update(x,b)
: 等价于xs(x) = b
。
拷贝:
xs.clone
: 返回与xs
有相同元素的新的可变Set
。
Set
的交、并、差集有两种形式: 字母的和符号的。 字母的版本有intersect、union、diff
, 符号的版本有& 、| 、&~
。Set
从Traversable
继承的++
可以视为union
或者|
的一个别名, 只不过++
接受Traversable
类型的参数, 而union
和|
接受Set
类型的参数。Set
的.apply
方法等价于.contains
方法,因此Set
可以被用做测试函数:对于那些它包含的元素返回true
。xxxxxxxxxx
val s = Set[Int](1,3,5,7,9) s(1) // 返回 true通常不可变
Set
的+, ++, -, --
等操作用的不多, 因为它们会拷贝整个Set
来构建一个新的Set
。相比之下, 可变Set
的+=, ++=, -=, --=
使用得更多。对于不可变
Set
,+=
等操作可以配合var
使用:xxxxxxxxxx
var s = Set(1,2,3) s += 4 // 新的 Set (1,2,3,4) s -= 2 // 新的 Set(1,3,4) val s2 = mutable.Set(1,2,3) s2 += 4 // 旧的 Set(1,2,3,4) s2 -= 2 // 旧的 Set(1,3,4)因此可以看到有一个重要原则: 可以用一个
var
的不可变Set
替换一个val
的可变Set
, 或者相反。可变
Set
还提供了add/remove
作为+=
和-=
的变种。区别在于: 前者返回的是表示该Set
是否发生改变的布尔值结果。目前可变
Set
默认实现采用了使用Hash
表来保存Set
的元素。不可变Set
默认实现使用了一个跟Set
元素数量相匹配的底层表示:- 空
Set
为单例对象。 - 四个元素以内的
Set
也是由单个以字段保存所有元素的对象。 - 超出四个元素的不可变
Set
实现为哈希字典树hash trie
。
因此, 对于四个元素以内的小型
Set
而言, 不可变Set
比可变Set
更加紧凑和高效。 因此, 如果你预期用到的Set
比较小, 则尽量使用不可变Set
。- 空
创建空
Set
的方法:xxxxxxxxxx
Set.empty // 不可变集 mutable.Set.empty // 可变集初始化
collection
最常见方法是将初始元素传入对应collection
的伴生对象的工厂方法。编译器将会将其转换成对伴生对象的apply
方法的调用。xxxxxxxxxx
List(1,2,3) // 等价于 List.apply(1,2,3)你也可以显示的指定类型:
xxxxxxxxxx
List[Long](1,2,3)如果希望用另一种类型的
collection
来初始化,则可以使用++
操作符:xxxxxxxxxx
val treeSet1 = TreeSet[Long]() ++ List[Long](1,2,3) // 类型为 TreeSet[Long] val treeSet2 = TreeSet[Long]() ++ List(1,2,3) // 类型为 TreeSet[Any]如果希望将其它
collection
转换为Array
,则直接调用其.toArray
方法;如果希望将其它collection
转换为List
,则直接调用其.toList
方法。调用
toList/toArray
方法时会进行所有元素的拷贝,因此对于大型collection
来说可能比较费时。对于
Set/Map
等collection
来说,将它们转化为Array/List
时,转换后的元素顺序等于原始collection
进行迭代的顺序。如:
TreeSet[Long]
的迭代器会按照数字大小的顺序产生元素,因此对TreeSet[Long]
调用toList
是按照大小有序排列的列表。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论