使用sys.argv argparse致电main

Question

我有一个主函数，该功能使用argparse从sys.argv中获取ARG：

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument('-arg1', '--argument1', type=str, required=True)
    parser.add_argument('-arg2', '--argument2', type=str, required=True)
    args = parser.parse_args()

主函数从另一个模块称为mod.main（）。 当我打印传递给主要函数的内容时，args是：[' - arg1'，'val1'，'-arg2'，'val2']，这是正确的参数列表。

但是，当我运行时，似乎Argparse的ARGS似乎未正确传递。

['-arg1', 'val1', '-arg2', 'val2']
usage: -arg1 [-h] -arg2 ARG2 -arg1 ARG1
-arg1: error: the following arguments are required: -arg1

问题是我没有运行run_module.py，该py从命令行调用module_to_to_call.main（），而是将其传递给Spark-Supparmit以在EMR上运行。

"HadoopJarStep": {
                "Args": [
                    "spark-submit",..., "run_module.py", "module_to_call", "-arg1", "val1", "-arg2", "val2",...

Answer 1

这是一个最小的示例，

#!/usr/bin/env python
# argparse_example.py
import sys
import argparse

def main():
    print(sys.argv)
    parser = argparse.ArgumentParser()
    parser.add_argument('-arg1', '--argument1', type=str, required=True)
    parser.add_argument('-arg2', '--argument2', type=str, required=True)
    args = parser.parse_args()
    print(args)

if __name__ == "__main__":
    main()

您可以使用它运行

python argparse_example.py -arg1 val1 -arg2 val2

并进行

['argparse_example.py', '-arg1', 'val1', '-arg2', 'val2']
Namespace(argument1='val1', argument2='val2')

或运行它，而无需参数

python argparse_example.py

以获取帮助消息：

['argg.py']
usage: argg.py [-h] -arg1 ARGUMENT1 -arg2 ARGUMENT2
argg.py: error: the following arguments are required: -arg1/--argument1, -arg2/--argument2

Update

从OP的评论中，我意识到sys.argv >在函数main（）函数的途中被某些封底的代码被弄脏，第一个参数被切断了。

参数列表[' - arg1'，'val1'，'-arg2'，'val2']是不是，因为它缺少> sys.argv [0] - 从命令行调用Python脚本的名称。由于argparse processes sys.argv [1：]，它无法找到' - arg1'，因此失败了错误。

在这种情况下，您可以将一个虚拟元素添加到sys.argv以确保-arg1将在代码处时传递到argparse作为模块运行。

#!/usr/bin/env python
# argparse_example.py
import sys
import argparse

def main():
    print(sys.argv)
    if __name__ != "__main__":
        # we are running as a module so add a dummy argument
        sys.argv = ['argparse_example.py'] + sys.argv
    parser = argparse.ArgumentParser()
    parser.add_argument('-arg1', '--argument1', type=str, required=True)
    parser.add_argument('-arg2', '--argument2', type=str, required=True)
    args = parser.parse_args()
    print(args)

if __name__ == "__main__":
    main()

您可以使用以下包裹的代码对其进行测试

#!/usr/bin/env python
# runner.py
import sys
import argparse_example

if __name__ == "__main__":
    sys.argv = sys.argv[1:]
    argparse_example.main()

，并从命令行调用它：

python runner.py -arg1 val1 -arg2 val2

即使sys.argv，结果也应与直接从命令行调用argparse_example时相同。将缺少第一个元素：

['-arg1', 'val1', '-arg2', 'val2']
Namespace(argument1='val1', argument2='val2')