使用 SqlFileStream 在 SQL Server 中序列化和存储大对象

Question

我正在使用 SqlFileStream 将我的（大）对象存储在 SQL Server 上（在 varbinary(max) 列中），但我无法真正得到它做我想做的事。我一直在尝试找到一些专门针对序列化和存储（不仅仅是从磁盘读取文件进行存储）的文章以及如何最有效地做到这一点。是否有一些我尚未找到的“隐藏”最佳实践文章？或者有人有一个很好的例子来说明如何做到这一点？

我的主要来源是 使用 SqlFileStream 与 C# 访问 SQL Server FILESTREAM 数据

编辑：

添加了示例代码，其中对象 DataObject 必须使用以下方式存储在 SQL Server 表中：文件流。我希望可以将我的对象流式传输到数据库中，但我目前不知道如何以最好的方式进行此操作，我需要对对象做什么才能流式传输它，并记住该对象可以>1 GB，其中结构非常复杂。

新编辑： 我已经用包含很少数据<300 kb 的数据结构对其进行了测试，没有任何问题。然后我在想这是否是缓冲区问题或类似问题？

using System;
using System.Collections.Generic;
using System.Text;

using System.IO;
using System.Transactions;
using System.Data.SqlClient;
using System.Data.SqlTypes;
using System.Data;

namespace QEStore
{
    public class DataObject
    {
        private Dictionary<int, string> _values = new Dictionary<int, string>();
        private string _objName;
    }

    public class Store
    {
        private string _connStr = "Data Source=127.0.0.1;Integrated Security=True;Initial Catalog=my_data;";

        public void InsertObject(int id, DataObject data)
        {
            var insStmt =
                @"insert into data (data_id) values (@dataID);
                  select data_value.PathName(), GET_FILESTREAM_TRANSACTION_CONTEXT() from data where data_id = @dataID;";

            string serverPath;
            byte[] serverTxn;

            using (var ts = new TransactionScope())
            {
                using (var conn = new SqlConnection(this._connStr))
                {
                    conn.Open();
                    using (var cmd = new SqlCommand(insStmt, conn))
                    {
                        cmd.Parameters.Add("@dataID", SqlDbType.Int).Value = id;
                        using (var reader = cmd.ExecuteReader())
                        {
                            reader.Read();
                            serverPath = reader.GetSqlString(0).Value;
                            serverTxn = reader.GetSqlBinary(1).Value;
                            reader.Close();
                        }
                    }
                    using (var dest = new SqlFileStream(serverPath, serverTxn, FileAccess.Write))
                    {
                        // How to write the DataObject to the database using SqlFileStream
                        // dest.Write(...);
                    }
                }
                ts.Complete();
            }
        }
    }
}

我尝试按如下方式序列化对象，但收到 IOException 错误，指出“句柄无效”：

using (var dest = new SqlFileStream(serverPath, serverTxn, FileAccess.Write))
{
    var formatter = new BinaryFormatter();
    formatter.Serialize(dest, data);
    dest.Close();
}

Answer 1

我发现了问题。问题是内置序列化器无法使用 protobuf-net< 处理大数据对象/a> 相反有效。