将 protobuf-net bcl.Guid 的 HI/LO 与 sql 唯一标识符协调一致以进行相关子查询？

Question

是否有任何标准/样板方法可以将 SQL uniqueidentifiers 转换为与 protobuf-net 的 BCL.Guids 相同的 HI/LO 块？

更新：

因此，给定一个 Guid，"4D1CE8BE-C36B-4FFA-A4C8-9056619E9967"，ProtoBuf.NET 会将其序列化为{"lo":5763133538796628158,"hi":7465171998244653220,"___error___":null}，这就是它随后存储在 Hadoop 中的方式。因此，SQL Server 有一个带有 Guid id 的列，而 Hadoop 最终有单独的 id.lo 和 id.hi 值。我需要的是一个查询，根据 SQL Server 的 id 在 Hadoop 中查找记录。下面的 C# 代码为我提供了我想要的翻译值，但它需要我运行一个中间客户端应用程序来拆分 Guid。我希望能够直接从 SQL 查询获取 id.lo 和 id.hi，这样我就可以将它们直接放入后续 Hadoop Map-Reduce 作业中的过滤器中：

static void TestGuidSplit() {
            // Protobuf.Net serializes the following Guid as:
            // {"lo":5763133538796628158,"hi":7465171998244653220,"___error___":null}
            Guid testGuid = new Guid("4D1CE8BE-C36B-4FFA-A4C8-9056619E9967");
            Tuple<long, long> loHi = LoHi(testGuid);
            Console.WriteLine("lo: {0}, Hi:{1}.", loHi.Item1,loHi.Item2);
            Console.ReadLine();
        }
        static Tuple<long, long> LoHi(Guid someGuid) {
            byte[] bytes = someGuid.ToByteArray();
            long[] longs = new long[2];
            longs[0] = BitConverter.ToInt64(bytes, 0); // [0] = 5763133538796628158 = lo
            longs[1] = BitConverter.ToInt64(bytes, 8); // [1] = 7465171998244653220 = hi
            return new Tuple<long, long>(longs[0], longs[1]);
        }

---

原始问题：

我在 SQL Server 中有大量数据，需要将它们加入到通过 protobuf-net 导出到 Hadoop 的数据中。我们有共同的密钥，但它们都是唯一的标识符。使用同质格式的键，我们可以从 SQL 中提取一个平面文件，在 Hive 中对该平面文件创建一个 tabledef，然后使用 Hive 对该文件和 hadoop 表运行联接查询。但对于不同的 uuid 格式，这似乎不可能。

我们是否需要一个中间过程来协调 uuid 格式？我希望有一种方法可以解决这个问题，即更像一个简单的 ETL 过程。最终，我们只想获取一组 hadoop 数据，其中 some_id 在（sql id 列表）中。如果在没有从 sql 过滤到相关 id 的情况下提取 hadoop 数据，则其大小将难以管理。

我能想到的描述我想要做的事情的最简单的例子是想象我在 SQL Server 中有两个表，“a”和“b”，其中“a”包含几个 uuid 字段，“b”包含多个 uuid 字段。是“a”的副本，只不过 uuid 现在是来自 protobuf-net 的 bcl.guid 的 64 位整数 HI/LO。鉴于这种情况，我想从“b”中选择*，其中someid（从“a”中选择someid，其中interesting = true）。我缺少的是一个从“a”获取 someid 的 HI 和/或 LO 的函数，以提供给来自“b”的查询的 in 子句。

Answer 1

在 SQL 中从 SQL uniqueidentifier 列转换为 protobuf-net 生成的相同 hi / lo 值：

declare @guid uniqueidentifier = convert(uniqueidentifier, '4D1CE8BE-C36B-4FFA-A4C8-9056619E9967')
select @guid as 'guid' -- writes: 4D1CE8BE-C36B-4FFA-A4C8-9056619E9967, to prove it parsed correctly
declare @blob binary(16) = CONVERT(binary(16), @guid)
select CAST(SUBSTRING(@blob, 8, 1) + SUBSTRING(@blob, 7, 1) + SUBSTRING(@blob, 6, 1) + SUBSTRING(@blob, 5, 1) +
       SUBSTRING(@blob, 4, 1) + SUBSTRING(@blob, 3, 1) + SUBSTRING(@blob, 2, 1) + SUBSTRING(@blob, 1, 1) as bigint) as 'lo',
       CAST(SUBSTRING(@blob, 16, 1) + SUBSTRING(@blob, 15, 1) + SUBSTRING(@blob, 14, 1) + SUBSTRING(@blob, 13, 1) +
       SUBSTRING(@blob, 12, 1) + SUBSTRING(@blob, 11, 1) + SUBSTRING(@blob, 10, 1) + SUBSTRING(@blob, 9, 1) as bigint) as 'hi'
       -- writes: 5763133538796628158, 7465171998244653220

请注意，您可以将其包装为UDF某处...