将 API 中的所有页面转换为一个 JSON 响应，并使用 Python 插入到 Snowflake 中的表中

Question

我对 Python 和 Snowflake 都很陌生，我确实阅读了相关主题并尝试了所有这些主题，但它对我不起作用。 该 API 有分页限制，我能够通过使用 Python 中的循环来获取所有页面的所有数据。由于某些 CDC 原因，我想将每个页面的所有 JSON 合并到一个 JSON 对象中，并将其插入到 Snowflake 中的表中。 我使用下面的代码来获取数据并将其推送到 Snowflake：

results=[]
for i in range(1,total_pages+1):
       URL="*********/?page={}".format(i)
       response=requests.get(URL,headers=headers)
       data=response.json()["results"]
       for k in data:
            results.append(k)
   

    
    
def js(obj):
     text = json.dumps(obj, sort_keys=True, indent=4)
      return text
    
final=js(results)
                            
ctx=snowflake.connector.connect(
                               user='**',
                               password = '***',
                               account = '****',
                               warehouse = '****',
                               database = '****',
                               schema = 'LOAD',
                               role='SYSADMIN')
cs=ctx.cursor()
                
try:
cs.execute("insert into test_json_load (select PARSE_JSON('%s'),CURRENT_TIMESTAMP(0) )" % json.dumps(final))
                
               
finally:
cs.close()
ctx.close()

如果我使用响应，代码可以正常工作，但它将最后一页作为一个 JSON 对象写入表中。当我使用final时，它给我：

ProgrammingError: 001003 (42000): SQL编译错误： 解析错误行 1 位于“34”附近的位置 21,288。 语法错误第 1 行位于位置 21,290 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,319。 第 1 行语法错误位于位置 21,322 处出现意外的“”。 语法错误第 1 行位于位置 21,327 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,352。 语法错误第 1 行位于位置 21,360 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,383。 解析错误行 1 位于“34”附近的位置 21,416。 第 1 行语法错误位于位置 21,418 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,441。 语法错误第 1 行位于位置 21,456 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,486。 解析错误行 1 位于“34”附近的位置 21,519。 第 1 行语法错误位于位置 21,521 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,544。 第 1 行语法错误位于位置 21,551 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,575。 语法错误第 1 行位于位置 21,587 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,608。 解析错误行 1 位于“34”附近的位置 21,618。 语法错误第 1 行位于位置 21,620 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,635。 第 1 行语法错误位于位置 21,643 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,665。 第 1 行语法错误位于位置 21,673 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,694。 解析错误行 1 位于“34”附近的位置 21,707。 第 1 行语法错误位于位置 21,709 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,730。 语法错误第 1 行位于位置 21,738 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,755。 解析错误行 1 位于“34”附近的位置 21,776。 第 1 行语法错误位于位置 21,778 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,807。 第 1 行语法错误位于位置 21,815 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,840。 第 1 行语法错误位于位置 21,848 处出现意外的“\n”。 解析错误第 1 行，位于“34”附近的位置 21,871。 解析错误行 1 位于“34”附近的位置 21,904。 第 1 行语法错误位于位置 21,906 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,929。 解析错误行 1 位于“110”附近的位置 21,937。 第 1 行语法错误位于位置 21,944 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 21,974。 解析错误行 1 位于“34”附近的位置 22,007。 第 1 行语法错误位于位置 22,009 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 22,032。 第 1 行语法错误位于位置 22,039 处出现意外的“\n”。 解析错误行 1 位于“34”附近的位置 22,063。 此输入共有 7995 个错误。

我已经检查了最终文件及其有效的 JSOn。

您能帮我解决这个问题吗？

预先感谢您的帮助。

Answer 1

将 JSON 文本复制并粘贴到 JSON 格式化程序和验证程序中。这将帮助您分析 JSON 的格式错误的地方。

https://jsonformatter.org/
https://jsonformatter.curiousconcept.com/
https://elmah.io/tools/json-formatter/
https://jsonlint.com/

首先确保它是真正的 JSON，没有单引号，如这个：{'键'：'值'}。虽然这看起来像 JSON，但事实并非如此。 JSON 要求所有字符串都使用双引号。