数学基础
- 线性代数
- 概率论与随机过程
- 数值计算
- 蒙特卡洛方法与 MCMC 采样
- 机器学习方法概论
统计学习
深度学习
- 深度学习简介
- 深度前馈网络
- 反向传播算法
- 正则化
- 深度学习中的最优化问题
- 卷积神经网络
- CNN:图像分类
- 循环神经网络 RNN
- Transformer
- 一、Transformer [2017]
- 二、Universal Transformer [2018]
- 三、Transformer-XL [2019]
- 四、GPT1 [2018]
- 五、GPT2 [2019]
- 六、GPT3 [2020]
- 七、OPT [2022]
- 八、BERT [2018]
- 九、XLNet [2019]
- 十、RoBERTa [2019]
- 十一、ERNIE 1.0 [2019]
- 十二、ERNIE 2.0 [2019]
- 十三、ERNIE 3.0 [2021]
- 十四、ERNIE-Huawei [2019]
- 十五、MT-DNN [2019]
- 十六、BART [2019]
- 十七、mBART [2020]
- 十八、SpanBERT [2019]
- 十九、ALBERT [2019]
- 二十、UniLM [2019]
- 二十一、MASS [2019]
- 二十二、MacBERT [2019]
- 二十三、Fine-Tuning Language Models from Human Preferences [2019]
- 二十四 Learning to summarize from human feedback [2020]
- 二十五、InstructGPT [2022]
- 二十六、T5 [2020]
- 二十七、mT5 [2020]
- 二十八、ExT5 [2021]
- 二十九、Muppet [2021]
- 三十、Self-Attention with Relative Position Representations [2018]
- 三十一、USE [2018]
- 三十二、Sentence-BERT [2019]
- 三十三、SimCSE [2021]
- 三十四、BERT-Flow [2020]
- 三十五、BERT-Whitening [2021]
- 三十六、Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings [2019]
- 三十七、CERT [2020]
- 三十八、DeCLUTR [2020]
- 三十九、CLEAR [2020]
- 四十、ConSERT [2021]
- 四十一、Sentence-T5 [2021]
- 四十二、ULMFiT [2018]
- 四十三、Scaling Laws for Neural Language Models [2020]
- 四十四、Chinchilla [2022]
- 四十七、GLM-130B [2022]
- 四十八、GPT-NeoX-20B [2022]
- 四十九、Bloom [2022]
- 五十、PaLM [2022] (粗读)
- 五十一、PaLM2 [2023](粗读)
- 五十二、Self-Instruct [2022]
- 句子向量
- 词向量
- 传统CTR 预估模型
- CTR 预估模型
- 一、DSSM [2013]
- 二、FNN [2016]
- 三、PNN [2016]
- 四、DeepCrossing [2016]
- 五、Wide 和 Deep [2016]
- 六、DCN [2017]
- 七、DeepFM [2017]
- 八、NFM [2017]
- 九、AFM [2017]
- 十、xDeepFM [2018]
- 十一、ESMM [2018]
- 十二、DIN [2017]
- 十三、DIEN [2019]
- 十四、DSIN [2019]
- 十五、DICM [2017]
- 十六、DeepMCP [2019]
- 十七、MIMN [2019]
- 十八、DMR [2020]
- 十九、MiNet [2020]
- 二十、DSTN [2019]
- 二十一、BST [2019]
- 二十二、SIM [2020]
- 二十三、ESM2 [2019]
- 二十四、MV-DNN [2015]
- 二十五、CAN [2020]
- 二十六、AutoInt [2018]
- 二十七、Fi-GNN [2019]
- 二十八、FwFM [2018]
- 二十九、FM2 [2021]
- 三十、FiBiNET [2019]
- 三十一、AutoFIS [2020]
- 三十三、AFN [2020]
- 三十四、FGCNN [2019]
- 三十五、AutoCross [2019]
- 三十六、InterHAt [2020]
- 三十七、xDeepInt [2023]
- 三十九、AutoDis [2021]
- 四十、MDE [2020]
- 四十一、NIS [2020]
- 四十二、AutoEmb [2020]
- 四十三、AutoDim [2021]
- 四十四、PEP [2021]
- 四十五、DeepLight [2021]
- 图的表达
- 一、DeepWalk [2014]
- 二、LINE [2015]
- 三、GraRep [2015]
- 四、TADW [2015]
- 五、DNGR [2016]
- 六、Node2Vec [2016]
- 七、WALKLETS [2016]
- 八、SDNE [2016]
- 九、CANE [2017]
- 十、EOE [2017]
- 十一、metapath2vec [2017]
- 十二、GraphGAN [2018]
- 十三、struc2vec [2017]
- 十四、GraphWave [2018]
- 十五、NetMF [2017]
- 十六、NetSMF [2019]
- 十七、PTE [2015]
- 十八、HNE [2015]
- 十九、AANE [2017]
- 二十、LANE [2017]
- 二十一、MVE [2017]
- 二十二、PMNE [2017]
- 二十三、ANRL [2018]
- 二十四、DANE [2018]
- 二十五、HERec [2018]
- 二十六、GATNE [2019]
- 二十七、MNE [2018]
- 二十八、MVN2VEC [2018]
- 二十九、SNE [2018]
- 三十、ProNE [2019]
- Graph Embedding 综述
- 图神经网络
- 一、GNN [2009]
- 二、Spectral Networks 和 Deep Locally Connected Networks [2013]
- 三、Fast Localized Spectral Filtering On Graph [2016]
- 四、GCN [2016]
- 五、神经图指纹 [2015]
- 六、GGS-NN [2016]
- 七、PATCHY-SAN [2016]
- 八、GraphSAGE [2017]
- 九、GAT [2017]
- 十、R-GCN [2017]
- 十一、 AGCN [2018]
- 十二、FastGCN [2018]
- 十三、PinSage [2018]
- 十四、GCMC [2017]
- 十五、JK-Net [2018]
- 十六、PPNP [2018]
- 十七、VRGCN [2017]
- 十八、ClusterGCN [2019]
- 十九、LDS-GNN [2019]
- 二十、DIAL-GNN [2019]
- 二十一、HAN [2019]
- 二十二、HetGNN [2019]
- 二十三、HGT [2020]
- 二十四、GPT-GNN [2020]
- 二十五、Geom-GCN [2020]
- 二十六、Graph Network [2018]
- 二十七、GIN [2019]
- 二十八、MPNN [2017]
- 二十九、UniMP [2020]
- 三十、Correct and Smooth [2020]
- 三十一、LGCN [2018]
- 三十二、DGCNN [2018]
- 三十三、AS-GCN
- 三十四、DGI [2018]
- 三十五、DIFFPOLL [2018]
- 三十六、DCNN [2016]
- 三十七、IN [2016]
- 图神经网络 2
- 图神经网络 3
- 推荐算法(传统方法)
- 一、Tapestry [1992]
- 二、GroupLens [1994]
- 三、ItemBased CF [2001]
- 四、Amazon I-2-I CF [2003]
- 五、Slope One Rating-Based CF [2005]
- 六、Bipartite Network Projection [2007]
- 七、Implicit Feedback CF [2008]
- 八、PMF [2008]
- 九、SVD++ [2008]
- 十、MMMF 扩展 [2008]
- 十一、OCCF [2008]
- 十二、BPR [2009]
- 十三、MF for RS [2009]
- 十四、 Netflix BellKor Solution [2009]
- 推荐算法(神经网络方法 1)
- 一、MIND [2019](用于召回)
- 二、DNN For YouTube [2016]
- 三、Recommending What Video to Watch Next [2019]
- 四、ESAM [2020]
- 五、Facebook Embedding Based Retrieval [2020](用于检索)
- 六、Airbnb Search Ranking [2018]
- 七、MOBIUS [2019](用于召回)
- 八、TDM [2018](用于检索)
- 九、DR [2020](用于检索)
- 十、JTM [2019](用于检索)
- 十一、Pinterest Recommender System [2017]
- 十二、DLRM [2019]
- 十三、Applying Deep Learning To Airbnb Search [2018]
- 十四、Improving Deep Learning For Airbnb Search [2020]
- 十五、HOP-Rec [2018]
- 十六、NCF [2017]
- 十七、NGCF [2019]
- 十八、LightGCN [2020]
- 十九、Sampling-Bias-Corrected Neural Modeling [2019](检索)
- 二十、EGES [2018](Matching 阶段)
- 二十一、SDM [2019](Matching 阶段)
- 二十二、COLD [2020 ] (Pre-Ranking 模型)
- 二十三、ComiRec [2020](https://www.wenjiangs.com/doc/0b4e1736-ac78)
- 二十四、EdgeRec [2020]
- 二十五、DPSR [2020](检索)
- 二十六、PDN [2021](mathcing)
- 二十七、时空周期兴趣学习网络ST-PIL [2021]
- 推荐算法之序列推荐
- 一、FPMC [2010]
- 二、GRU4Rec [2015]
- 三、HRM [2015]
- 四、DREAM [2016]
- 五、Improved GRU4Rec [2016]
- 六、NARM [2017]
- 七、HRNN [2017]
- 八、RRN [2017]
- 九、Caser [2018]
- 十、p-RNN [2016]
- 十一、GRU4Rec Top-k Gains [2018]
- 十二、SASRec [2018]
- 十三、RUM [2018]
- 十四、SHAN [2018]
- 十五、Phased LSTM [2016]
- 十六、Time-LSTM [2017]
- 十七、STAMP [2018]
- 十八、Latent Cross [2018]
- 十九、CSRM [2019]
- 二十、SR-GNN [2019]
- 二十一、GC-SAN [2019]
- 二十二、BERT4Rec [2019]
- 二十三、MCPRN [2019]
- 二十四、RepeatNet [2019]
- 二十五、LINet(2019)
- 二十六、NextItNet [2019]
- 二十七、GCE-GNN [2020]
- 二十八、LESSR [2020]
- 二十九、HyperRec [2020]
- 三十、DHCN [2021]
- 三十一、TiSASRec [2020]
- 推荐算法(综述)
- 多任务学习
- 系统架构
- 实践方法论
- 深度强化学习 1
- 自动代码生成
工具
- CRF
- lightgbm
- xgboost
- scikit-learn
- spark
- numpy
- matplotlib
- pandas
- huggingface_transformer
- 一、Tokenizer
- 二、Datasets
- 三、Model
- 四、Trainer
- 五、Evaluator
- 六、Pipeline
- 七、Accelerate
- 八、Autoclass
- 九、应用
- 十、Gradio
Scala
- 环境搭建
- 基础知识
- 函数
- 类
- 样例类和模式匹配
- 测试和注解
- 集合 collection(一)
- 集合collection(二)
- 集成 Java
- 并发
二、测试
- 用
Scala
写测试有多种选择,包括Java
工具如JUnit
和TestNG
,以及Scala
工具如ScalaTest,specs2,ScalaCheck
等。
2.1 ScalaTest
ScalaTest
是最灵活的Scala
测试框架,可以很容易定制它来解决不同的问题。ScalaTest
核心概念是套件suite
,即测试的集合。所谓的测试test
可以是任何带有名字,可以被启动,要么成功、要么失败、要么被暂停、要么被取消的代码。在
ScalaTest
中,Suite
特质是核心组合单元。Suite
声明了一组“生命周期”方法,定义了运行测试的默认方式。你也可以重写这些方法来对测试的编写和运行进行定制。ScalaTest
提供了风格特质style trait
,这些特质扩展自Suite
并重写了生命周期方法来支持不同的测试风格。ScalaTest
还提供了混入特质mixin trait
,这些特质扩展自Suite
并重写了生命周期方法来支持特定的测试需要。- 可以组合
style trait
和mixin trait
来定义测试类,也可以通过编写Suite
实例来定义测试套件。
ScalaTest
已经被集成到常见的构建工具(如sbt,maven
)和IDE
(如IDEA,Eclipse
)中。可以通过
ScalaTest
的Runner
应用程序直接运行Suite
,或者在scala
解释器中简单调用其execute
方法。xxxxxxxxxx
// 在 scala 解释器中 (new XXSuite).execute()ScalaTest
的所有风格都被设计为鼓励编写专注的、带有描述性名字的测试。所有的风格都会生成规格说明书般的输出。示例:
x // 源码文件,位于包 model_a 中 class C(val n:Double) { // 具体实现 } // 测试文件 import org.scalatest.FunSuite import model_a.C class CSuite extends FunSuite { test("C should have postive num"){ val c = C(1.0) assert(c.n >=0) } }
FunSuite
中的Fun
指的是函数function
。test
是定义在FunSuite
中的一个方法,我们在CSuite
的主构造方法中调用。调用时:
- 圆括号中通过字符串给出测试的名称。
- 通过花括号给出具体的测试代码。测试代码是一个以传名参数传入
test
的函数。test
将这个函数登记下来,稍后执行。
如果希望得到更详细的关于断言失败的信息,可以使用
ScalaTest
的DiagrammedAssertions
,其错误消息会显式传入assert
的表达式的一张示意图。ScalaTest
的assert
方法并不在错误消息中区分实际结果和预期结果。如果你希望强调实际结果和预期结果,则使用ScalaTest
的assertResult
方法。如:xxxxxxxxxx
asseretResult(2){ // 预期结果:2 c.n // 实际结果 }如果要检查某个方法抛出某个预期的异常,则可以使用
ScalaTest
的assertThrows
方法。xxxxxxxxxx
assertThrows[IllegalArgumentException]{ C("Must be a double,but get a string") }如果花括号中的代码未抛出异常,或者抛出了不同于预期的异常,则
assertThrows
将以TestFailedException
异常终止。如果花括号中的代码以传入的异常类的实例异常终止(即:代码抛出了预期的异常),则
assertThrows
将正常返回。可以使用
intercept
,其机制与assertThrows
相同,唯一区别在于:当代码抛出了预期的异常时,intercept
将返回这个异常。注意:是返回,不是抛出。xxxxxxxxxx
val caught = intercept[ArithmeticException]{1/0} // 返回了预期的异常 print(caught.getMessage)
2.2 BDD 风格
行为驱动开发
BDD
测试风格的重点是:编写人类可读的关于代码预期行为的规格说明,同时给出验证代码具备指定行为的测试。ScalaTest
包含了若干特质来支持这种风格的测试。在
FlatSpec
中,我们以规格子句specifier clause
的形式编写测试。xxxxxxxxxx
import org.scalatest.FlatSpec import org.scalatest.Matchers import Element.elem // 自定义类,即将测试它 class ElementSpec extends FlatSpec with Matchers{ "An Element" should "has a given width" in { val ele = elem("name",2,3) ele.width should be (2) } it should "has a given height" in { val ele = elem("name",2,3) ele.height should be (3) } it should "throw an IAE if passed a negative width" in { an [IllegalArgumentException] should be thrownBy { ele("name",-2,3) } } }- 首先是以字符串表示的待测试的主体
subject
,如示例中的"An Element"
。 - 然后是
should
(或者must/can
)。 - 然后是一个描述该主体需要具备的行为的字符串。
- 然后是
in
。 - 最后是花括号包围的用于测试行为的代码。
- 在后续子句中,可以用
it
来指代最近给出的主体。
- 首先是以字符串表示的待测试的主体
当一个
FlatSpec
被执行时,它将每个规格子句作为ScalaTest
测试运行。FlatSpec
(以及ScalaTest
的其它规则说明特质)在运行后将生成读起来像规格说明书的输出。通过混入
Matchers
特质,可以编写读上去更像自然语言的断言。ScalaTest
在其DSL
中提供了许多匹配器,并允许你用定制的失败消息定义新的matcher
。上面示例中的匹配器包括
should be
和an [...] should be thrownBy{...}
。如果相比
should
你更喜欢must
,也可以选择MustMatchers
。则匹配器可以为:xxxxxxxxxx
result must be >= 0 map must contain key 'c'
BDD
的一个重要思想是:测试可以在软件功能制定者、软件功能实现者、软件功能测试者这三者之间架起一道沟通的桥梁。ScalaTest
的FeatureSpec
就是专门为此设计的。其设计目标是引导关于软件需求的对话:必须指明具体的功能feature
、然后用场景scenario
来描述这些功能。xxxxxxxxxx
import org.scalatest._ class TVSetSpec extends FeatureSpec with GivenWhenThen { features("TV power button") { scenario("User presses power button when TV is off"){ Given(" a TV set that is switched off") When("the power button is pressed") Then("The TV should switch on") pending } } }Given,When,Then
方法由GivenWhenThen
特质提供,能帮助我们将对话聚焦在每个独立场景的具体细节上。最后的
pending
调用表明测试和实际行为都还没有实现:这仅仅是规格说明。一旦所有的测试和给定的行为都实现了,这些测试就会通过。此时我们说需求已经满足了。
2.3 specs2
specs2
测试框架是Eric Torreborre
用Scala
编写的开源工具,也支持TDD
风格的测试,但是语法不同。xxxxxxxxxx
import org.specs2._ import Element.elem // 自定义类,即将测试它 object ElementSpec extends Specification{ "An Element" should "has a given width" in { val ele = elem("name",2,3) ele.width must be_==(2) } it should "has a given height" in { val ele = elem("name",2,3) ele.height must be_==(2) } it should "throw an IAE if passed a negative width" in { ele('name',-2,3) must throwA[IllegalArgumentException] } }和
ScalaTest
一样,specs2
也提供了匹配器DSL
。如上例中的must be_==
和must throwA
。可以单独使用
specs2
,不过它也被集成到ScalaTest
和JUnit
中,因此也可以用这些工具来运行specs2
测试。
2.4 ScalaCheck
Scala
另一个有用的测试工具是ScalaCheck
,这是由Richard Nilsson
编写的开源框架。ScalaCheck
让你能够指定被测试的代码必须满足的性质。对每个性质,ScalaCheck
都会生成数据并执行断言来检查代码是否满足该性质。xxxxxxxxxx
import org.scalatest.WordSpec import org.scalatest.prop.PropertyChecks import org.scalatest.MustMatchers._ import Element.elem // 自定义类,即将测试它 class ElementSpec extends WordSpec with PropertyChecks { "An Element" must "has a given width" in { forAll { (w:Int) => whenever (w>0){ elem("name",w,3).width must euqual (2)} } } }PropertyChecks
特质提供了若干forAll
方法,让你可以将基于性质的测试跟传统的基于断言或基于匹配器的测试混合在一起。whenever
的意思是:只要w>0
为true
,则右边代码块中的表达式必须为true
。通过这一小段代码,
ScalaCheck
就会帮我们生成数百条w
可能的取值并对每一个进行测试,尝试找出不满足该性质的值。如果对每个值,该性质都满足,则测试通过。否则测试将以
TestFailedException
终止,该异常将会包含关于测试失败的信息。
2.5 执行测试
每一个测试框架都提供了某种组织和运行测试的机制。
在
ScalaTest
中,我们通过将Suite
嵌套在别的Suite
当中来组织大型的测试套件。当Suite
被执行时,它将执行嵌套的Suite
和其它测试。可以手动或者自动嵌套测试套件。
- 手动方式:在你的
Suite
中重写nestedSuite
方法,或者将你希望嵌套的Suite
作为参数传递给Suites
类的构造方法。 - 自动方式:将包名提供给
ScalaTest
的Runner
,它会自动发现Suite
套件,并将它们嵌套在一个根Suite
里,并执行这个根Suite
。
- 手动方式:在你的
可以通过命令行调用
ScalaTest
的Runner
应用程序,也可以通过构建工具如sbt,maven,ant
来调用。通过命令行调用
Runner
最简单的方式是通过org.scalatest.run
。该应用程序预期一个完整的测试类名。如:
xxxxxxxxxx
scalac -cp scalatest.jar TVSetSpec.scala # 编译测试类 scala -cp scalatest.jar org.scalatest.run TVSetSpec # 执行测试- 通过
cp
参数将ScalaTest
的JAR
文件包含在类路径中。 org.scalatest.run
是完整的应用程序类名。Scala
将会运行这个app
,并传入剩下的命令行参数。TVSetSpec
这个参数指定了要执行的套件。
- 通过
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论