Android Room-未知令牌-Ftsoptions.Tokenizer_unicode61

Question

我正在将FTS4与令牌化器一起删除变节。数据库用房间抽象。

类似：

content

@Entity(
        tableName = "test"
)
public class Test {

    @PrimaryKey(autoGenerate = true)
    @ColumnInfo(name = "id")
    private Long mId;

    @ColumnInfo(name = "name")
    String mName;

    public Test(String name) {
        mName = name;
    }

    public Long getId() {
        return mId;
    }

    public void setId(Long id) {
        mId = id;
    }

    public String getName() {
        return mName;
    }

    public void setName(String name) {
        mName = name;
    }
}

fts

@Entity(tableName = "search_fts")
@Fts4(
        contentEntity = Test.class,
        tokenizer = FtsOptions.TOKENIZER_UNICODE61,
        tokenizerArgs = {
                "remove_diacritics=2"
        }
)
public class SearchFts {

    @PrimaryKey
    @ColumnInfo(name = "rowid")
    int mRowId;

    @ColumnInfo(name = "name")
    String mName;

    public SearchFts(int rowId, String name) {
        mRowId = rowId;
        mName = name;
    }

    public int getRowId() {
        return mRowId;
    }

    public void setRowId(int rowId) {
        mRowId = rowId;
    }

    public String getName() {
        return mName;
    }

    public void setName(String name) {
        mName = name;
    }
}

这会导致sqlite查询：

CREATE VIRTUAL TABLE IF NOT EXISTS search_fts
USING FTS4(
     'name' TEXT,
     tokenize=unicode61 'remove_diacritics=2', content='test'
);

一切都在较新的Android版本（即API 30）上起作用（即API 30），但是在较旧版本（IEAPI 25或27）上，我得到了以下错误：

android.database.sqlite.SQLiteException: unknown tokenizer (code 1)

官方文档：

“ Unicode61”令牌可以从SQLite版本3.7.13（2012-06-11）开始。 Unicode61的工作非常类似于“简单”，除了它根据Unicode版本6.1中的规则进行简单的Unicode案例折叠，并且识别Unicode空间和标点符号和标点符号，并使用这些字符将其分开。

。

API和数据库版本：

logcat：

2022-07-26 11：36：36：56.532 16176-16229/hr.laserline.sisis e/sqlitelog：（1）语句在28：[创建虚拟表格，如果不存在search_fts使用search_fts 使用使用fts4（name文本，tokenize = unicode61 remove_diacritics = 2，content = test）]未知令牌

.... ... 2022-07-26 11：36：56.539 16176-16229/hr.laserline.sise e/hr.laserline.sos.service.service.service.sync.sync.syncservicepresenter：同步错误！ DB交易回滚... android.database.sqlite.sqliteException：未知令牌（代码1） at android.database.sqlite.sqliteconnection.nativeexecuteforchangedrowcount（本机方法） at android.database.sqlite.sqliteconnection.executeforchangedrowcount（sqliteconnection.java:735） at android.database.sqlite.sqliteessession.executeforchangedrowcount（sqlitesession.java:754） at android.database.sqlite.sqlitestatement.executeupdatedelete（sqlitestatement.java:64） at android.database.sqlite.sqlitedatabase.executesql（sqlitedatabase.java:1754） at android.database.sqlite.sqlitedatabase.execsql（sqlitedatabase.java:1682） at androidx.sqlite.db.framework.frameworksqlitedatabase.execsql（frameworksqlitedatabase.java:265） 在hr.laserline.sis.data.db.llamaroomdatabase_impl $ 1.CREATEALLTABLES（LlamaroomDataBase_Impl.java:148） 在Androidx.Room.Roomopenhelper.Oncreate（Roomopenhelper.java:74） at androidx.sqlite.db.framework.frameworksqliteopenhelper $ openhelper.oncreate（frameworksqlitesqlitesqliteopenhelper.java:177） at android.database.sqlite.sqliteopenhelper.getDatabaselocked（sqliteopenhelper.java:333） at android.database.sqlite.sqliteopenhelper.getWritabledatabase（sqliteopenhelper.java:238） at androidx.sqlite.db.framework.frameworksqlitesqliteopenhelper $ openhelper.getWritablesupportDatabase（frameworksqliteworkssqliteopenhelper.java：151） at androidx.sqlite.db.framework.frameworksqlitepenhelper.getWritabledatabase（FrameworksqliteSqliteSqliteOpenHelper.java:112） 在Androidx.Room.RoomDatabase.Intransaction（RoomDatabase.Java:706） 在Androidx.Room.RoomDatabase.AssertnotsuspendingTransaction（RoomDatabase.java:483） 在hr.laserline.sis.data.dao.dao.parameterdao_impl.getsyncnumperchunk（parameterdao_impl.java:610） 在hr.laserline.sis.data.repositories.parameterrepository.getsyncnumperchunk（parameterrepository.java:72） 在hr.laserline.siser.service.sync.sync.syncserviceinteractor.setnumperchunk（SyncServiceInteractor.java:62） 请访问hr.laserline.siser.service.sync.sync.syncservicepresenter.lambda $ startSyncwitherp $ 0 $ hr-laserline-service-service-service-sync-sync-syncsyncservicepresenter（syncservicepreSenter.java：98） 在hr.laserline.sos.service.sync.sync.syncservicepresenter $$外部灵性lambda2.get（未知来源：10） 在io.reaectivex.rxjava3.internal.operators.Observable.ObservableDefer.SubscribeActual（observabledefer.java:33） 在io.reeactivex.rxjava3.core.observable.subscribe（observable.java:13176） 在io.Reactivex.rxjava3.internal.operators.Observable.Observablesubscribeon $ sisscribetask.run（observablesubscribeon.java:96）） 在io.reeactivex.rxjava3.internal.schedulers.scheduleddirecttask.call（scheduleddirecttask.java:38） 在io.reeactivex.rxjava3.internal.schedulers.scheduleddirecttask.call（scheduleddirecttask.java:25） 在java.util.concurrent.futuretask.run（futuretask.java:266） at Java.util.concurrent.threadpoolexecutor.runworker（threadpoolexecutor.java:1162） at Java.util.concurrent.threadpoolexecutor $ worker.run（threadpoolexecutor.java:636） 在java.lang.thread.run（thread.java:764） 在hr.laserline

有什么建议吗？

Answer 1

这不仅是房间，这是FTS3-4/Unicode61令牌的一般问题。

只需将

• tokenize = unicode61带有android minsdk = 21要求。
• tokenize = unicode61'remove_diacritics = 0 | 1'具有Android minsdk = 21要求。
• tokenize = unicode61'remove_diacritics = 2'具有Android minsdk = 30要求。

sqlite 3.27.0.0.0 （从Android Api 30嵌入Android Api 30）

将remove_diacritics = 2选项添加到fts3和fts5。

请参阅我的