返回介绍

数学基础

统计学习

深度学习

工具

Scala

四、Logger

发布于 2023-07-17 23:38:23 字数 4408 浏览 0 评论 0 收藏 0

  1. Transformers 有一个集中化的日志系统,默认的 verbosity levelWARNING 。有多种方式可以改变 verbosity level

    • 可以在代码中直接指定:

      
      
      xxxxxxxxxx
      from transformers.utils import logging logging.set_verbosity_info() # 然后使用 logger logger = logging.get_logger("transformers") logger.info("INFO") logger.warning("WARN")
    • 可以通过环境变量指定:

      
      
      xxxxxxxxxx
      TRANSFORMERS_VERBOSITY=error ./myprogram.py
  2. verbosity level (从最少的日志到最多的日志)为:

    • transformers.logging.CRITICALtransformers.logging.FATAL(整数值 50):仅报告最关键的错误。
    • transformers.logging.ERROR(整数值 40):仅报告错误。
    • transformers.logging.WARNINGtransformers.logging.WARN(整数值 30):仅报告错误和警告。这是默认级别。
    • transformers.logging.INFO(整数值 20):报告错误、警告和基本信息。
    • transformers.logging.DEBUG(整数值 10):报告所有信息。
  3. 默认情况下,在模型下载过程中会显示 tqdm 进度条。logging.disable_progress_bar()logging.enable_progress_bar() 可以用来禁止或开启这种行为。

  4. 获取和配置 verbosity level

    
    
    xxxxxxxxxx
    transformers.utils.logging.set_verbosity_warning() transformers.utils.logging.set_verbosity_info() transformers.utils.logging.set_verbosity_debug() transformers.utils.logging.get_verbosity() -> int transformers.utils.logging.set_verbosity(verbosity: int )
  5. transformers.utils.logging.get_logger(name: typing.Optional[str] = None ):获取指定名字的 logger

    这个函数不应该被直接访问,除非你正在编写一个自定义的 transformers module

  6. 开启和禁用 HuggingFace Transformers’s root logger 的默认 handler

    
    
    xxxxxxxxxx
    transformers.utils.logging.enable_default_handler() transformers.utils.logging.disable_default_handler()
  7. transformers.utils.logging.enable_explicit_format():为每个 HuggingFace Transformerslogger 启用显式格式化。显式格式化的内容如下:

    
    
    xxxxxxxxxx
    [LEVELNAME|FILENAME|LINE NUMBER] TIME >> MESSAGE

    当前与 root logger 绑定的所有 handler 都受此方法影响。

  8. transformers.utils.logging.reset_format():为每个 HuggingFace Transformerslogger 重设格式化。

    当前与 root logger 绑定的所有 handler 都受此方法影响。

  9. 开启和禁用 tqdm 进度条:

    
    
    xxxxxxxxxx
    transformers.utils.logging.enable_progress_bar() transformers.utils.logging.disable_progress_bar()

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文