用于语言建模的交叉熵
我目前正在使用语言建模进行分类任务。该项目的第一部分涉及使用 n-gram 语言模型来使用 c5.0 对文档进行分类。该项目的最后部分要求我使用交叉熵对每个类进行建模，并根据这些模型对测试用例进行分类。
有谁有使用交叉熵的经验，或者有关如何使用交叉熵模型进行数据采样的信息的链接？任何信息都会很棒！谢谢
im currently working on a classification task using language modelling. The first part of the project involved using n-gram language models to classify documents using c5.0. The final part of the project requires me to use cross entropy to model each class and classify test cases against these models.
Does anyone have have experience in using cross entropy, or links to information about how to use a cross entropy model for sampling data? Any information at all would be great! Thanks
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您可以在各种教科书上获得有关将交叉熵与语言模型结合使用的理论背景，例如 Jurafsky 和 Jurafsky 的“语音和语言处理”。马丁，第 2 版第 116-118 页。
至于具体用法，在大多数语言建模工具中，交叉熵不是直接测量的，而是测量“困惑度”，即交叉熵的指数。反过来，困惑度可以用来对文档进行分类。例如，请参阅 SLM 中命令“evallm”的文档，卡内基-梅隆大学语言建模工具 (http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html)
祝你好运:)
You can get theoretic background on using cross-entropy with language models on various textbooks, e.g. "Speech and language processing" by Jurafsky & Martin, pages 116-118 in the 2nd edition.
As to concrete usage, in most language modeling tools the cross-entropy is not directly measured, but the 'Perplexity', which is the exp of the cross-entropy. The perplexity, in turn, can be used to classify documents. see, e.g. the documentation for the command 'evallm' in SLM, the Carnegie-Melon university language modeling tools (http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html)
good luck :)