如何使用 inltk 标记印度语言
我使用这个 NLP 文档做到了这一点，请查看： https://inltk.readthedocs.io/en/latest/index.html
from inltk.inltk import tokenize
text="जो मुझको सताती है तुझे वो बातें आती है जब सामने तू होता नहीं बेचैनी बढ़ जाती है मैं रूठ "
tokenize(text ,'hi')
错误是：
RuntimeError: Internal: src/sentencepiece_processor.cc(890)
[model_proto->ParseFromArray(serialized.data(), serialized.size())]
i did this using this NLP documentation check it out:
https://inltk.readthedocs.io/en/latest/index.html
from inltk.inltk import tokenize
text="जो मुझको सताती है तुझे वो बातें आती है जब सामने तू होता नहीं बेचैनी बढ़ जाती है मैं रूठ "
tokenize(text ,'hi')
the error is:
RuntimeError: Internal: src/sentencepiece_processor.cc(890)
[model_proto->ParseFromArray(serialized.data(), serialized.size())]
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您遇到的问题通常是在使用了错误的 SPM 模型或存在与 SPM 模型相关的任何其他问题时出现的。
确保首先设置语言支持：
The issue you encountered usually appears when a wrong SPM model is used, or when there is any other issue related to SPM model.
Make sure you set up the language support first: