批量插入到 iPhone 上的 sqlite 数据库中

Question

我正在插入一批 100 条记录，每条记录都包含一个包含任意长 HTML 字符串的字典，天哪，速度太慢了。在 iPhone 上，运行循环在此事务期间会阻塞几秒钟。我唯一的办法是使用另一个线程吗？我已经使用了几个从 HTTP 服务器获取数据，并且 sqlite 文档明确不鼓励数据库线程化，即使它应该是线程安全的......是否有一些我做的非常错误的事情，如果修复的话，会大大减少完成整个操作所需的时间？

    NSString* statement;
    statement = @"BEGIN EXCLUSIVE TRANSACTION";
    sqlite3_stmt *beginStatement;
    if (sqlite3_prepare_v2(database, [statement UTF8String], -1, &beginStatement, NULL) != SQLITE_OK) {
        printf("db error: %s\n", sqlite3_errmsg(database)); 
        return;
    }
    if (sqlite3_step(beginStatement) != SQLITE_DONE) {
        sqlite3_finalize(beginStatement);
        printf("db error: %s\n", sqlite3_errmsg(database)); 
        return;
    }

    NSTimeInterval timestampB = [[NSDate date] timeIntervalSince1970];
    statement = @"INSERT OR REPLACE INTO item (hash, tag, owner, timestamp, dictionary) VALUES (?, ?, ?, ?, ?)";
    sqlite3_stmt *compiledStatement;
    if(sqlite3_prepare_v2(database, [statement UTF8String], -1, &compiledStatement, NULL) == SQLITE_OK)
    {
        for(int i = 0; i < [items count]; i++){
            NSMutableDictionary* item = [items objectAtIndex:i];
            NSString* tag       = [item objectForKey:@"id"];
            NSInteger hash      = [[NSString stringWithFormat:@"%@%@", tag, ownerID] hash];
            NSInteger timestamp = [[item objectForKey:@"updated"] intValue];
            NSData *dictionary  = [NSKeyedArchiver archivedDataWithRootObject:item];

            sqlite3_bind_int(   compiledStatement, 1, hash);
            sqlite3_bind_text(  compiledStatement, 2, [tag UTF8String], -1, SQLITE_TRANSIENT);
            sqlite3_bind_text(  compiledStatement, 3, [ownerID UTF8String], -1, SQLITE_TRANSIENT);
            sqlite3_bind_int(   compiledStatement, 4, timestamp);
            sqlite3_bind_blob(  compiledStatement, 5, [dictionary bytes], [dictionary length], SQLITE_TRANSIENT);

            while(YES){
                NSInteger result = sqlite3_step(compiledStatement);
                if(result == SQLITE_DONE){
                    break;
                }
                else if(result != SQLITE_BUSY){
                    printf("db error: %s\n", sqlite3_errmsg(database)); 
                    break;
                }
            }
            sqlite3_reset(compiledStatement);
        }
        timestampB = [[NSDate date] timeIntervalSince1970] - timestampB;
        NSLog(@"Insert Time Taken: %f",timestampB);

        // COMMIT
        statement = @"COMMIT TRANSACTION";
        sqlite3_stmt *commitStatement;
        if (sqlite3_prepare_v2(database, [statement UTF8String], -1, &commitStatement, NULL) != SQLITE_OK) {
            printf("db error: %s\n", sqlite3_errmsg(database)); 
        }
        if (sqlite3_step(commitStatement) != SQLITE_DONE) {
            printf("db error: %s\n", sqlite3_errmsg(database)); 
        }

        sqlite3_finalize(beginStatement);
        sqlite3_finalize(compiledStatement);
        sqlite3_finalize(commitStatement);

Answer 1

您需要注意的是，SQLite 文档警告您不要从多个线程访问/写入数据库。只要您从单个线程访问数据库，就可以了。该线程是程序的主线程还是其他线程并不重要。

请记住，iPhone 上 SQLite 的编译版本将其线程模式设置为“多线程”，根据 文档，“禁用数据库连接和预准备语句对象上的互斥。应用程序负责序列化对数据库连接和预准备语句的访问，但启用了其他互斥，以便 SQLite 可以安全地在只要没有两个线程尝试同时使用同一数据库连接，就可以在多线程环境中使用。”因此，如果您决定将此事务放在另一个线程上，请注意您尝试对数据库执行的其他操作。

话虽这么说，我首先会听从 Yonel 的建议，切换到“开始”和“提交”。如果这没有帮助，请将事务移至另一个线程。据我所知，使用“blob”可能会非常慢。

Answer 2

您是否尝试与您的代码相同，但使用 "BEGIN" 和 "COMMIT" 而不是 "BEGIN EXCLUSIVE TRANSACTION" 和 "提交交易”？

我只是使用 BEGIN 和 COMMIT，它比提交每个事务要快得多，所以我猜它正在使用这些关键字。

http://www.sqlite.org/lang_transaction.html

Answer 3

我看到很多情况下，刚接触 iPhone 的开发人员认为代码很慢，而实际上只是要求轻量级硬件进行大量处理。处理数百（数千？）“任意长的 HTML 字符串”对于 iPhone 来说可能是一项繁重的任务，无法及时执行。

请记住，iPhone 并不是一个非常强大的硬件。它使用专用硬件来完成所有漂亮的图形，您无法使用其计算能力来执行其他任务。即使您优化了代码，根据您使用成熟的笔记本电脑和台式机的经验，它也可能比您直观预期的要慢得多。

我建议您使用 Instruments（甚至仅使用带有时间戳的 NSLog）来分析代码，而不是猜测瓶颈在哪里，以准确了解代码大部分时间都花在哪里。

Answer 4

避免阻塞问题的更好方法是使用异步回调。
尝试使用 Enorm EGO sqlite 包装器https://github.com/jdp-global/egodatabase

查看我的自述文件部分，了解 EGODatabaseRequest - 异步请求/插入数据库。

2) 添加 requestDidSucceed /requestDidFail 回调方法。

 -(void)requestDidSucceed:(EGODatabaseRequest*)request withResult:(EGODatabaseResult*)result
    idx++
    if ([items count]<idx) [self insertRow];

}

-(void)requestDidFail:(EGODatabaseRequest*)request withError:(NSError*)error{

    NSLog(@"WARNING requestDidFail");
}




-(void)insertRow{
    NSMutableDictionary* item = [items objectAtIndex:idx];
    NSInteger hash      = [[NSString stringWithFormat:@"%@%@", tag, ownerID] hash];
    NSInteger timestamp = [[item objectForKey:@"updated"] intValue];
    NSData *dictionary  = [NSKeyedArchiver archivedDataWithRootObject:item];
    NSString *qry = [NSString stringWithFormat:@"INSERT OR REPLACE INTO item (hash, tag, owner, timestamp, dictionary) VALUES (%@, %@, %@, %@, %@);",NUMBER(hash),[tag UTF8String],[ownerID UTF8String],NUMBER(timestamp),dictionary];

    // be sure to use NSNumbers not NSIntegers
    EGODatabaseRequest* request = [[EGODatabaseRequest alloc] initWithQuery:qry parameters:nil];
    request.delegate = self;
    request.database = appDelegate.database;
    request.requestKind = EGODatabaseUpdateRequest; // use update not select
    [request fire];
    [request release];
}