在 python 中验证 yaml 文档

Question

XML 的好处之一是能够根据 XSD 验证文档。 YAML 没有此功能，那么如何验证我打开的 YAML 文档是否符合我的应用程序所需的格式？

Answer 1

鉴于 JSON 和 YAML 非常相似，您可以使用 JSON-Schema 来验证 YAML 的相当大的子集。这是一个代码片段（您需要 PyYAML 和 jsonschema 安装）：

from jsonschema import validate
import yaml

schema = """
type: object
properties:
  testing:
    type: array
    items:
      enum:
        - this
        - is
        - a
        - test
"""

good_instance = """
testing: ['this', 'is', 'a', 'test']
"""

validate(yaml.load(good_instance), yaml.load(schema)) # passes

# Now let's try a bad instance...

bad_instance = """
testing: ['this', 'is', 'a', 'bad', 'test']
"""

validate(yaml.load(bad_instance), yaml.load(schema))

# Fails with:
# ValidationError: 'bad' is not one of ['this', 'is', 'a', 'test']
#
# Failed validating 'enum' in schema['properties']['testing']['items']:
#     {'enum': ['this', 'is', 'a', 'test']}
#
# On instance['testing'][3]:
#     'bad'

这样做的一个问题是，如果您的架构跨越多个文件并且您使用 "$ref" 引用其他文件，那么这些其他文件将需要是 JSON，我认为。但可能有办法解决这个问题。在我自己的项目中，我正在使用 JSON 文件指定架构，而实例是 YAML。

Answer 2

我发现 Cerberus 非常可靠，拥有丰富的文档并且易于使用。

下面是一个基本的实现示例：

my_yaml.yaml：

name: 'my_name'
date: 2017-10-01
metrics:
    percentage:
    value: 87
    trend: stable

在 schema.py 中定义验证架构：

{
    'name': {
        'required': True,
        'type': 'string'
    },
    'date': {
        'required': True,
        'type': 'date'
    },
    'metrics': {
        'required': True,
        'type': 'dict',
        'schema': {
            'percentage': {
                'required': True,
                'type': 'dict',
                'schema': {
                    'value': {
                        'required': True,
                        'type': 'number',
                        'min': 0,
                        'max': 100
                    },
                    'trend': {
                        'type': 'string',
                        'nullable': True,
                        'regex': '^(?i)(down|equal|up)
使用 PyYaml 加载 yaml 文档：
import yaml
def load_doc():
    with open('./my_yaml.yaml', 'r') as stream:
        try:
            return yaml.load(stream)
        except yaml.YAMLError as exception:
            raise exception

## Now, validating the yaml file is straightforward:
from cerberus import Validator
schema = eval(open('./schema.py', 'r').read())
    v = Validator(schema)
    doc = load_doc()
    print(v.validate(doc, schema))
    print(v.errors)

请记住，Cerberus 是一个不可知的数据验证工具，这意味着它可以支持 YAML 以外的格式，例如 JSON 、XML 等。

                    }
                }
            }
        }
    }
}

使用 PyYaml 加载 yaml 文档：

请记住，Cerberus 是一个不可知的数据验证工具，这意味着它可以支持 YAML 以外的格式，例如 JSON 、XML 等。

Answer 3

您可以将 YAML 文档加载为 dict 并使用库 schema 来检查它：

from schema import Schema, And, Use, Optional, SchemaError
import yaml

schema = Schema(
        {
            'created': And(datetime.datetime),
            'author': And(str),
            'email': And(str),
            'description': And(str),
            Optional('tags'): And(str, lambda s: len(s) >= 0),
            'setup': And(list),
            'steps': And(list, lambda steps: all('=>' in s for s in steps), error='Steps should be array of string '
                                                                                  'and contain "=>" to separate'
                                                                                  'actions and expectations'),
            'teardown': And(list)
        }
    )

with open(filepath) as f:
   data = yaml.load(f)
   try:
       schema.validate(data)
   except SchemaError as e:
       print(e)

Answer 4

尚未提及 Pydantic。

从他们的例子来看：

from datetime import datetime
from typing import List, Optional
from pydantic import BaseModel


class User(BaseModel):
    id: int
    name = 'John Doe'
    signup_ts: Optional[datetime] = None
    friends: List[int] = []


# Parse your YAML into a dictionary, then validate against your model.
external_data = {
    'id': '123',
    'signup_ts': '2019-06-01 12:22',
    'friends': [1, 2, '3'],
}
user = User(**external_data)

Answer 5

尝试 Rx，它有一个 Python 实现。它适用于 JSON 和 YAML。

来自 Rx 站点：

“在向 Web 服务添加 API 时，您必须选择如何对通过线路发送的数据进行编码。XML 是一种常见的选择，但它很快就会变得晦涩难懂且繁琐。许多 Web 服务作者希望避免考虑 XML，而选择提供与现代编程语言中的常见数据结构相对应的一些简单数据类型的格式。

不幸的是，虽然这些格式可以轻松传递复杂的数据结构，但它们缺乏验证系统。 XML 具有 XML Schema 和 RELAX NG，但这些标准很复杂，有时甚至令人困惑。它们对于 JSON 提供的数据结构的移植性不太好，如果您想避免将 XML 作为数据编码，那么编写更多 XML 来验证第一个 XML 可能更没有吸引力。

Rx 旨在提供一个与 JSON 风格的数据结构相匹配的数据验证系统，并且与 JSON 本身一样易于使用。”

Answer 6

是的 - 对验证的支持对于许多重要的用例至关重要。请参阅 YAML 以及模式验证 « Stuart Gunter

正如已经提到的，有 Rx，可用于各种语言，并且Kwalify 适用于 Ruby 和 Java。

另请参阅 PyYAML 讨论：YAMLSchemaDiscussion。

相关的工作是 JSON Schema，它甚至有一些 IETF 标准化活动：draft-zyp-json-schema-03 - 用于描述 JSON 结构和含义的 JSON 媒体类型文件

Answer 7

我参与了一个类似的项目，我需要验证 YAML 的元素。

首先，我认为“PyYAML 标签”是最好、最简单的方法。但后来决定使用“PyKwalify”，它实际上定义了 YAML 的架构。

PyYAML 标签：

YAML 文件具有标签支持，我们可以通过为数据类型添加前缀来强制执行此基本检查。 （例如）对于整数 - !!int "123"

有关 PyYAML 的更多信息： http://pyyaml.org/ wiki/PyYAMLDocumentation#Tags
这很好，但如果您要将其公开给最终用户，则可能会引起混乱。
我做了一些研究来定义 YAML 的架构。

• 使用相应的架构验证 YAML 以进行基本数据类型检查。
• 可以在架构中添加自定义验证，例如 IP 地址、随机字符串。
• 单独使用 YAML 架构，使 YAML 数据简单易读。

PyKwalify：

有一个名为 PyKwalify 的包可以用于此目的： https://pypi.python.org/pypi /pykwalify

这个包最适合我的要求。
我在本地设置中尝试了一个小例子，并且正在工作。这是示例架构文件。

#sample schema

type: map
mapping:
    Emp:
        type:    map
        mapping:
            name:
                type:      str
                required:  yes
            email:
                type:      str
            age:
                type:      int
            birth:
                type:     str

此架构的有效 YAML 文件

---
Emp:
    name:   "abc"
    email:  "[email protected]"
    age:    yy
    birth:  "xx/xx/xxxx"
                                                                

谢谢

Answer 8

这些看起来不错。 yaml 解析器可以处理语法错误，并且这些库之一可以验证数据结构。

• （我已经尝试过这个，虽然有点稀疏，但还是不错的。）
• http://discorporate.us/ projects/flatland/ （乍一看不清楚如何验证文件）

Answer 9

您可以使用 python 的 yaml lib 显示加载文件的消息/字符/行/文件。

#!/usr/bin/env python

import yaml

with open("example.yaml", 'r') as stream:
    try:
        print(yaml.load(stream))
    except yaml.YAMLError as exc:
        print(exc)

错误消息可以通过 exc.problem

访问 exc.problem_mark 来获取 对象。

该对象允许您访问属性

• 名称
• 列
• 行

因此您可以创建自己的问题指针：

pm = exc.problem_mark
print("Your file {} has an issue on line {} at position {}".format(pm.name, pm.line, pm.column))

Answer 10

我封装了一些现有的 json 相关 python 库旨在能够将它们与 yaml 一起使用。

生成的 python 库主要包装...

• jsonschema - 针对 json-schema 文件的 json 文件验证器，被包装以支持还针对 yaml 格式的 json-schema 文件验证 yaml 文件。

• jsonpath-ng - Python 的 JSONPath 实现，被包装以支持直接在 yamlJSONPath > files.

...并且可以在 github 上找到：

https://github.com/yaccob/ytools

它可以使用 pip 安装：

pip install ytools

验证示例（来自 https://github.com/yaccob/ytools#validation)：

import ytools
ytools.validate("test/sampleschema.yaml", ["test/sampledata.yaml"])

您还没有开箱即用的是针对 yaml 格式的外部架构进行验证以及。

ytools 并没有提供任何以前不存在的东西——它只是让一些现有解决方案的应用更加灵活和方便。

Answer 11

我不知道 python 解决方案。但是有一个用于 YAML 的 ruby​​ 模式验证器，名为 kwalify< /a>.如果您没有遇到 python 库，您应该能够使用子进程访问它。