与大的最小二乘（30k x 30k）非平方矩阵相似

Question

令rg = a用于具有形状的密集的非结构化矩阵（例如） x 50k，条目0.0或1.0，大致相同），当然a ：（ 30k x 50k，float32）。

给定a和g，我想找到r的最小二乘解决方案。

我可以使用数百个CPU内核，数百个GB RAM和A40 GPU。使用此类资源来解决问题的最佳方法是什么？ 示例中使用了朱莉娅1.7

我在下面的 零和一个？

尝试使用Julia Linearalgebra在许多CPU中，

我尝试了两种方法：“ Penrose倒数”和“ Right Disemand”

using LinearAlgebra
@show BLAS.get_num_threads()
# defaults to 8. Can change using BLAS.set_num_threads(N)

# build toy problem (order of magnitude smaller sizes)
R_true = rand(Float32, 3_000, 4_000) 
G = rand([0., 1.], 4_000, 5_000)
# note: using true/false here gives same results but is much slower!
A = R_true * G

# solve toy problem using matrix (right) division
R_fitted_rdiv = A / G

# solve toy problem using Penrose inverse
R_fitted_pinv = (pinv(G') * A')'

，首先设置blas.set_num_threads（64） ）（或任何更大的数字）实际上只给我blas.get_num_threads（）返回32。显然，这是上限。其次，

使用32个Blas线程实际上慢< / em>比使用8

。我多次运行了32个线程，以排除汇编时间问题。 我如何利用我的计算能力来解决这个问题？

我认为矩阵部门比Penrose反向方法快。是否应该期望这是期望的？我不知道这两个功能都可以为这些输入做些什么。文档说左部（\）使用旋转的QR分解。我找不到用于pinv或正确的diseman（/）的算法（s）（尽管它可能与> \相同它们通过转移矩阵而言）。我宁愿不太深入研究，因为我在数字线性代数方面的知识非常有限。

问题是，对于我的大型矩阵，任何一种方法都需要永远。 我的〜100核？

方式使用

有没有一种方法可以以某种 > pinv ：

using CUDA
@time matrix = CUDA.rand(Float32, 10_000, 10_500) # 0.003037 seconds (5 allocations: 160 bytes)
@time pinv(matrix) #  57.417559 seconds (678 allocations: 172.094 KiB)

但是，当我尝试在20k尺寸的矩阵上进行矩阵时，我立即得到 error incacterror：trunc（int32，4811456640）。我认为这是由于使用int32使用int32进行索引，即使我不喜欢't理解为什么在这种情况下会导致错误。 （编辑：这大约是拟合到31位的字节中的数组大小。）

试图使用cuarray s使用正确的difers 给出了错误“ dimensionMismatch（” lu vastored matrix一个必须是正方形！”）。我想我必须手动选择其他算法？ 我不知道它叫什么。（尽管大型矩阵可能仍然会崩溃...？）

总结，看起来我可以轻松地使用朱莉娅的GPU解决我的问题。 我应该继续尝试将GPU用于此任务还是坚持许多CPU

？ /em>

Answer 1

使用pytorch的天真答案

，如果系统可以维持与我的笔记本电脑相同的操作吞吐量，则至少需要30GB GPU内存，

import torch
A = torch.randint(0, 2, (50000, 40000), device='cuda', dtype=torch.float32).T
G = torch.randint(0, 2, (50000, 30000), device='cuda', dtype=torch.float32).T
R = torch.lstsq(G.T, A.T)

您应该在15分钟内得到答案。

我建议您尝试扩大尺寸的广义版本，以更好地感觉到您的系统将如何处理它，

def try_it(a,b,c):
  A = torch.randint(0, 2, (a, b), device='cuda', dtype=torch.float32).T
  G = torch.randint(0, 2, (a, c), device='cuda', dtype=torch.float32).T
  R = torch.lstsq(G.T, A.T)

我将一代中的尺寸转换为确保GT和AT是连续的。

您不能在整数上利用太大的优势。与整数相比，这种类型的问题更容易解决真实问题，因为查找整数解决方案需要您搜索解决方案，而通过执行代数操作可以找到的真实解决方案。