bigdata

bigdata

文章 0 浏览 5

通过字符串日期过滤熊猫的过滤数据

这样 的 框 看起来 一个 我 有 数据 ​ ​ ​ ​ ​ ​ 一些价值 2011-01-04 一些价值 ... ... 2012-01-02 某些价值 2012-01-03 某些值 2012-01-04 某…

花海 2025-01-30 01:11:26 2 0

ETL大量数据文件从S3到雪花

我正在尝试构建一条管道,该管道读取来自S3的大型文件,并在某种转换逻辑后将其倒入雪花。 S3中的文件是非结构化的,具有不同的类型和列数。 e.g. clm…

无语# 2025-01-29 21:11:59 6 0

使用Pyspark读取Clickhouse

我想使用pyspark.read.format()阅读我的clickhouse表,但我无法做到 但是,我可以使用Yandex驱动程序写作,但无法阅读,我还使用了Clickhouse-drive…

挽清梦 2025-01-29 20:07:59 4 0

我如何在数据映中创建带有Hive格式的外部表格

我有一个外部表,蜂巢中的格式下面。 CREATE EXTERNAL TABLE cs_mbr_prov( key struct, memkey string, ob_id string, ..... ) ROW FORMAT SERDE 'org…

瘫痪情歌 2025-01-29 13:11:25 3 0

python-解开嵌套的json

我有以下问题:我无法解开“嵌套的json” 来获取此数据集,我使用以下代码: a = pd.json_normalize(variavel, max_level=5) a 嵌套的json 看最后一列…

江湖正好 2025-01-29 06:40:14 4 0

使用Apache Beam重新计算历史数据

我有一个Apache Beam流媒体项目,可以计算数据并将其写入数据库,在错误修复错误后或更改IT在没有大延迟的情况下处理数据的方式后,重新加入所有历史…

山色无中 2025-01-29 04:42:22 6 0

丢弃200个随机健康实例

丢弃200个随机健康实例。 如何在rstudio中实施? 这是数据框架: 我尝试过,但我遇到了错误。 kidney_disease$hd <- ifelse(test=kidney_disease$hd =…

埖埖迣鎅 2025-01-28 19:34:00 2 0

我如何提取一周和一年的日期,并将其作为周1、2022或Week40,2021

我最初使用摘录条款从日期开始提取了1、2、3的几周…

我的鱼塘能养鲲 2025-01-28 11:51:35 4 0

在numpy中的最快方法以获得阵列中n对的产品的距离

例如,我有 n 点数: A = [2, 3] B = [3, 4] C = [3, 3] . . . 它们在类似的数组中: arr = np.array([[2, 3], [3, 4], [3, 3]]) 我需要在 bfs中的所…

滴情不沾 2025-01-28 11:21:52 2 0

从读取Synapse DWH的表格时,Azure Synapse异常

从桌子上读书时我得到 jdbc.sqlserverexception:创建外部表作为sect语句失败,因为路径#######无法将其用于导出。 错误代码:105005 …

戏剧牡丹亭 2025-01-28 08:14:25 2 0

Matlab可以处理数据

我一直在处理855 4000x4000矩阵的处理2个列表。这是855个矩阵的列表,另一个是坐标列表(另外855 4000x4000矩阵)。在一个周期内执行此操作非常重要,…

老旧海报 2025-01-27 19:09:05 5 0

当源查看列更改时,如何防止DBT重建增量表?

我们在DBT中具有以下结构: [events (view), with column1, column2, column3]‒‒‒>[incremental1, using column1 from events] | | └‒‒‒‒>[in…

掐死时间 2025-01-27 15:38:21 2 0

如何更快地供访问,然后搜索更新超过100k的数据?

我有用于后台作业的控制台应用程序。 该应用程序会喜欢这样, 从数据库中获取可以调用表A(具有100K数据)的位置的数据(有100K数据)和可变的位置 ,…

清风不识月 2025-01-27 03:25:41 3 0

多态性数据转换技术 /数据湖 /大数据

背景:我们正在研究一种解决方案,以从各种客户中摄入大量的遥测数据。数据采用XML格式,包含多个具有许多嵌套元素的独立信息组。客户有不同的版本,…

停滞 2025-01-26 18:11:02 5 0

如何基于两个列值将我在DF1中创建的唯一ID与DF2匹配?

我有两个数据范围,我正在努力将我在DF1创建的唯一ID与基于“名称”和“版本”值的DF2匹配。我需要在DF2中添加一个列,我们将其称为['ID'],其值与DF1…

回梦 2025-01-26 11:45:25 3 0
更多

推荐作者

夢野间

文章 0 评论 0

百度③文鱼

文章 0 评论 0

小草泠泠

文章 0 评论 0

zhuwenyan

文章 0 评论 0

weirdo

文章 0 评论 0

坚持沉默

文章 0 评论 0

更多

友情链接

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文