如何使用 Gorm、mux、postgresql 进行单元测试

Question

我是 Go 和单元测试的新手。我使用 Go 与 Gorm、mux 和 postgresql 构建了一个名为“urlshortener”的小型项目。

搜索了很多文章后，有一个问题让我很烦恼。

为了使问题更清晰，我删除了一些不相关的代码，例如 connect db、.env 等。

我的代码如下（main.go）：

package main

type Url struct {
    ID       uint   `gorm:"primaryKey"` // used for shortUrl index
    Url      string `gorm:"unique"`     // prevent duplicate url
    ExpireAt string
    ShortUrl string
}

var db *gorm.DB
var err error


func main() {
    // gain access to database by getting .env
    ...

    // database connection string
    ...

    // make migrations to the dbif they have not already been created
    db.AutoMigrate(&Url{})

    // API routes
    router := mux.NewRouter()

    router.HandleFunc("/{id}", getURL).Methods("GET")

    router.HandleFunc("/api/v1/urls", createURL).Methods("POST")
    router.HandleFunc("/create/urls", createURLs).Methods("POST")

    // Listener
    http.ListenAndServe(":80", router)

    // close connection to db when main func finishes
    defer db.Close()
}

现在我正在为 getURL 函数构建单元测试，这是一个从我的数据库获取数据的 GET 方法。 postgresql 数据库名为 urlshortener，表名为 urls。

这是 getURL 函数代码：

func getURL(w http.ResponseWriter, r *http.Request) {
    params := mux.Vars(r)
    var url Url

    err := db.Find(&url, params["id"]).Error
    if err != nil {
        w.WriteHeader(http.StatusNotFound)
    } else {
        w.WriteHeader(http.StatusOK)
        json.NewEncoder(w).Encode(url.Url)
    }
}

这对于我的数据库工作得很好。请参阅下面的curl命令：

我知道单元测试不是针对模拟数据的，它的目的是测试一个函数/方法是否稳定。虽然我导入了 mux 和 net/http 进行连接，但我认为对其进行的单元测试应该是“SQL 语法”。因此，我决定重点测试 gorm 是否向测试函数返回正确的值。

在这种情况下，db.Find 将返回一个 *gorm.DB 结构，该结构应与第二行完全相同。 （请参阅文档https://gorm.io/docs/query.html）

db.Find(&url, params["id"])

SELECT * FROM urls WHICH id=<input_number>

我的问题是在这种情况下（gorm+mux）如何编写单元测试来检查 SQL 语法是否正确？我查过一些文章，但大多数都在测试 http 连接状态，但没有测试 SQL。

而我的函数没有返回值，或者我需要重写该函数以具有返回值才能测试它？

下面是我心中的测试结构：

func TestGetURL(t *testing.T) {

    //set const answer for this test

    //set up the mock sql connection

    //call getURL()
    
    //check if equal with answer using assert

}

更新

根据@Emin Laletovic

立即 回答我有一个 testGetURL 的原型。现在我对此有了新的疑问。

func TestGetURL(t *testing.T) {
    //set const answer for this test
    testQuery := `SELECT * FROM "urls" WHERE id=1`
    id := 1

    //set up the mock sql connection
    testDB, mock, err := sqlmock.New()
    if err != nil {
        panic("sqlmock.New() occurs an error")
    }

    // uses "gorm.io/driver/postgres" library
    dialector := postgres.New(postgres.Config{
        DSN:                  "sqlmock_db_0",
        DriverName:           "postgres",
        Conn:                 testDB,
        PreferSimpleProtocol: true,
    })
    db, err = gorm.Open(dialector, &gorm.Config{})
    if err != nil {
        panic("Cannot open stub database")
    }

    //mock the db.Find function
    rows := sqlmock.NewRows([]string{"id", "url", "expire_at", "short_url"}).
        AddRow(1, "http://somelongurl.com", "some_date", "http://shorturl.com")

    mock.ExpectQuery(regexp.QuoteMeta(testQuery)).
        WillReturnRows(rows).WithArgs(id)

    //create response writer and request for testing
    mockedRequest, _ := http.NewRequest("GET", "/1", nil)
    mockedWriter := httptest.NewRecorder()

    //call getURL()
    getURL(mockedWriter, mockedRequest)

    //check values in mockedWriter using assert

}

在代码中，我模拟请求并使用 http、httptest 库进行响应。 我运行测试，但似乎 main.go 中的 getURL 函数无法接收我传入的参数，请参见下图。

当db.find调用时，mock.ExpectQuery接收它并开始比较它，到目前为止一切顺利。

db.Find(&url, params["id"])

mock.ExpectQuery(regexp.QuoteMeta(testQuery)).WillReturnRows(rows).WithArgs(id)

根据测试日志，它表明当db.Find触发时，它只执行SELECT * FROM "urls"，而不是我期望的SELECT * FROM "urls" " 其中“urls”.“id”= $1。

但是当我用 postman 在本地测试 db.Find 并记录 SQL 语法时，它可以正确执行。见下图。

总之，我认为问题是我在getURL(mockedWriter,mockedRequest)中放入的responeWriter/request是错误的，它导致getURL(w http.ResponseWriter, r *http.Request) 无法按我们的预期工作。

如果我遗漏了什么，请告诉我〜

任何重写代码的想法或方法都会有所帮助，谢谢！

Answer 1

如果您只想测试 db.Find 返回的 SQL 字符串，则可以使用 DryRun 功能（根据 文档）。

stmt := db.Session(&Session{DryRun: true}).Find(&url, params["id"]).Statement
stmt.SQL.String() //returns SQL query string without the param value
stmt.Vars // contains an array of input params

但是，要为 getURL 函数编写测试，您可以使用 sqlmock 模拟执行 db.Find 调用时返回的结果。

func TestGetURL(t *testing.T) {
    //set const answer for this test
    testQuery := "SELECT * FROM `urls` WHERE `id` = $1"
    id := 1
    
    //create response writer and request for testing

    //set up the mock sql connection
    testDB, mock, err := sqlmock.New()
    //handle error

    // uses "gorm.io/driver/postgres" library
    dialector := postgres.New(postgres.Config{
        DSN:                  "sqlmock_db_0",
        DriverName:           "postgres",
        Conn:                 testDB,
        PreferSimpleProtocol: true,
    })
    db, err = gorm.Open(dialector, &gorm.Config{})
    //handle error

    //mock the db.Find function
    rows := sqlmock.NewRows([]string{"id", "url", "expire_at", "short_url"}).
        AddRow(1, "http://somelongurl.com", "some_date", "http://shorturl.com")
    mock.ExpectQuery(regexp.QuoteMeta(testQuery)).
        WillReturnRows(rows).WithArgs(id)

    //call getURL()
    getUrl(mockedWriter, &mockedRequest)
    
    //check values in mockedWriter using assert

}

Answer 2

这篇文章和Emin Laletovic 对我帮助很大。

我想我得到了这个问题的答案。

让我们回顾一下这个问题。首先，我使用 gorm 作为 postgresql，使用 mux 作为 http 服务，并构建一个 CRUD 服务。

我需要编写一个单元测试来检查我的数据库语法是否正确（我们假设连接状态为OK），因此我们重点讨论如何编写SQL语法的单元测试。

但是main.go中的处理函数没有返回值，所以我们需要使用mock-sql/ExpectQuery()，当db.Find()时会触发该函数 内getURL()。通过这样做，我们不必返回一个值来检查它是否与我们的目标匹配。

我在更新中遇到的问题已通过这篇文章< /a>，使用 mux 构建单元测试，但该帖子重点关注状态检查和返回值。

我为此测试设置了 const 答案，id 变量是我们期望得到的。注意到$1我不知道如何更改它，并且我尝试了很多次重写但SQL语法仍然是return $1，也许这是某种我不知道的约束。

//set const answer for this test
    testQuery := `SELECT * FROM "urls" WHERE "urls"."id" = $1`
    id := "1"

我通过 doint this 将值传递到 getURL()

//set the value send into the function
    vars := map[string]string{
        "id": "1",
    }
//create response writer and request for testing
    mockedWriter := httptest.NewRecorder()
    mockedRequest := httptest.NewRequest("GET", "/{id}", nil)
    mockedRequest = mux.SetURLVars(mockedRequest, vars)

最后，我们调用 mock.ExpectationsWereMet() 来检查是否出现任何问题。

if err := mock.ExpectationsWereMet(); err != nil {
        t.Errorf("SQL syntax is not match: %s", err)
    }

下面是我的测试代码：

func TestGetURL(t *testing.T) {
    //set const answer for this test
    testQuery := `SELECT * FROM "urls" WHERE "urls"."id" = $1`
    id := "1"

    //set up the mock sql connection
    testDB, mock, err := sqlmock.New()
    if err != nil {
        panic("sqlmock.New() occurs an error")
    }

    // uses "gorm.io/driver/postgres" library
    dialector := postgres.New(postgres.Config{
        DSN:                  "sqlmock_db_0",
        DriverName:           "postgres",
        Conn:                 testDB,
        PreferSimpleProtocol: true,
    })
    db, err = gorm.Open(dialector, &gorm.Config{})
    if err != nil {
        panic("Cannot open stub database")
    }

    //mock the db.Find function
    rows := sqlmock.NewRows([]string{"id", "url", "expire_at", "short_url"}).
        AddRow(1, "url", "date", "shorurl")

    //try to match the real SQL syntax we get and testQuery
    mock.ExpectQuery(regexp.QuoteMeta(testQuery)).WillReturnRows(rows).WithArgs(id)

    //set the value send into the function
    vars := map[string]string{
        "id": "1",
    }

    //create response writer and request for testing
    mockedWriter := httptest.NewRecorder()
    mockedRequest := httptest.NewRequest("GET", "/{id}", nil)
    mockedRequest = mux.SetURLVars(mockedRequest, vars)

    //call getURL()
    getURL(mockedWriter, mockedRequest)

    //check result in mockedWriter mocksql built function
    if err := mock.ExpectationsWereMet(); err != nil {
        t.Errorf("SQL syntax is not match: %s", err)
    }

}

我使用 args(1, 1) 和 args(1, 2) 运行了两个测试，效果很好。见下图（请忽略中文）