是否有任何（C＃中的）方式（在C＃中）将字符串转换为较小的字符串，当我说较小时，我的意思是“长度缩小＆quot”？

Question

让我解释一下：在我的用例中，系统会给我许多字符串，这些字符串的大小可能会有所不同（字符数；长度），有时可能真的很大！问题是我必须将此字符串保存在“ SQL Server”数据库表的列中，坏消息是我不允许在此数据库中进行任何迁移，好消息是该列已经已经具有键入nvarchar（max）。

我以前做过一些研究，并遵循以下帖子，使用“ Gzip”和“ Brotli”编写数据压缩机。

https://khalidabuhakmeh.com/khalidabuhakmeh.com/ csharp

var value = "hello world";
var level = CompressionLevel.SmallestSize;

var bytes = Encoding.Unicode.GetBytes(value);
await using var input = new MemoryStream(bytes);
await using var output = new MemoryStream();

// GZipStream with BrotliStream
await using var stream = new GZipStream(output, level);

await input.CopyToAsync(stream);

var result = output.ToArray();
var resultString = Convert.ToBase64String(result);

实施转换方法后，我创建了测试，以生成不同尺寸（长度）的随机字符串以验证压缩机的性能，此时，我注意到了以下内容。 “ gzip”和“ brotli”首先转换为字节[]（字节数组），然后应用压缩，该压缩将结果向量向量（字节阵列）缩小尺寸，然后将结果（字节[]）转换为一个基本64字符串，在100％测试中，它具有比初始字符串更多的字符（长度）。

我的随机字符串生成器：

var rd_char = new Random();
var rd_length = new Random();
var wordLength = rd_length.Next(randomWordParameters.WordMinLength, randomWordParameters.WordMaxLength);
var sb = new StringBuilder();
int sourceNumber;
for (int i = 0; i < wordLength; i++)
{
    sourceNumber = rd_char.Next(randomWordParameters.CharLowerBound, randomWordParameters.CharUpperBound);
    sb.Append(Convert.ToChar(sourceNumber));
}
var word = sb.ToString();

我的示例字符串并不完全包含手头案件的完美表示，但我相信它们足够好。这是字符串生成器方法，实际上它在给定的尺寸范围内生成了完全随机的字符串，我在传递给convert.tochar（）方法的33〜127值提供的测试字符中使用。系统提供的字符串是JSON格式的，实际上它们是URL列表（具有数万个URL），URL通常具有随机的字符序列，因此我试图生成尽可能随机的字符串。

事实是，考虑到我试图将最初（压缩之前）的字符串保存在数据库中的情况，该字符串大于列中允许的最大尺寸（长度），当保存在数据库中时，即将进行的“数据”在所讨论的表的列中是结果“基本64”字符串在压缩后生成的，而不是缩小的大小向量（字节数组），我相信数据库将拒绝字符串（基本64），因为它的长度（数字为数字）字符）大于原始字符串的长度。

因此，这是我的问题，是否有任何（可逆的）将字符串转换为较小的方法，当我说较小时，我的意思是“长度减少”？似乎“ Gzip”或“ Brotli”并不能解决问题。

PS：我确保多次强调“长度”一词，以明确说明在文本中，我在谈论字符的数量，而不是记忆中的长度，因为我在几个论坛中注意到了我阅读的几个论坛以前，这种混乱使得很难得出结论。

Answer 1

压缩算法正在利用输入流中的重复模式。典型的URL中没有太多的重复，因此压缩单个URL不太可能产生比原始URL短得多的表示形式。如果URL根本没有重复模式（如果接近随机字符串），则压缩算法将产生比输入更大的输出。

以下是这种行为的证明，使用 <代码> encoding.utf8 将URL转换为字节， encoding.latin1 将压缩字节转换为字符串：

static string Compress(string value)
{
    byte[] bytes = Encoding.UTF8.GetBytes(value);
    using var input = new MemoryStream(bytes);
    using var output = new MemoryStream();
    using (var gz = new GZipStream(output, CompressionLevel.SmallestSize))
        input.CopyTo(gz);
    byte[] result = output.ToArray();
    return Encoding.Latin1.GetString(result);
}

static string Decompress(string compressedValue)
{
    byte[] bytes = Encoding.Latin1.GetBytes(compressedValue);
    using var input = new MemoryStream(bytes);
    using var output = new MemoryStream();
    using (var gz = new GZipStream(input, CompressionMode.Decompress))
        gz.CopyTo(output);
    byte[] result = output.ToArray();
    return Encoding.UTF8.GetString(result);
}

我使用了三个相当长且非重复的URL进行测试：

string[] urls = new string[]
{
    "https://stackoverflow.com/questions/71884821/is-there-any-invertible-way-in-c-to-convert-a-string-into-a-smaller-one-an#comment127033258_71884821",
    "https://github.com/dotnet/runtime/blob/2d4f2d0c8f60d5f49e39f3ddbe1824648ee2b306/src/libraries/System.Private.CoreLib/src/System/Text/Encoding.cs#L77",
    "https://sharplab.io/#v2:CYLg1APgAgTAjAWAFBQMwAJabgdmQb2XWMwygBZ0BZAQwEsA7ACgEoiTCkTvsBOJgEQAJAKYAbMQHt0Ad0kAnMcAEsA3O2IBfZJqA===",
};
foreach (var original in urls)
{
    Console.WriteLine($"Original:     {original.Length} chars, {original.Substring(0, 50)}...");
    var compressed = Compress(original);
    double compression = (original.Length - compressed.Length) / (double)original.Length;
    Console.WriteLine($"Compressed:   {compressed.Length} chars, compression: {compression:0.00%}");
    var decompressed = Decompress(compressed);
    Console.WriteLine($"Decompressed: {decompressed.Length} chars");
    Console.WriteLine($"Successful:   {decompressed == original}");
    Console.WriteLine();
}

输出：output：

Original:     145 chars, https://stackoverflow.com/questions/71884821/is-th...
Compressed:   133 chars, compression: 8.28%
Decompressed: 145 chars
Successful:   True

Original:     148 chars, https://github.com/dotnet/runtime/blob/2d4f2d0c8f6...
Compressed:   143 chars, compression: 3.38%
Decompressed: 148 chars
Successful:   True

Original:     128 chars, https://sharplab.io/#v2:CYLg1APgAgTAjAWAFBQMwAJabg...
Compressed:   141 chars, compression: -10.16%
Decompressed: 128 chars
Successful:   True

在小提琴上尝试一下。

压缩后，三个URL中的两个略短，但第三个URL却肿了。

您可以将压缩值或原始值存储在数据库中，具体取决于较短的值。您可以将存储的值带有一些标记，例如'C'或'u'，以便您知道它是压缩还是未压缩。

Answer 2

NVARCHAR类型（MAX）类型的最大尺寸为2 Gbyte。

由于NVarchar使用每个字符2个字节，因此大约是。十亿个字符。

因此，我认为您实际上不需要进行压缩，如果问题是检索数据时的性能，那么您可以使用服务器端缓存系统。