为什么Pytorch创建另一个数据repro torchdata
为什么Pytorch创建另一个称为torchdata的Repro，用于相似/新 dataset 和dataloader，而不是在现有的pytorch repro中添加它们？ 数据集和datapipe有什么区别？谢谢。
Why PyTorch creates another repro called TorchData for similar/new Dataset and DataLoader instead of adding them in the existing PyTorch repro? What's the difference of Dataset and Datapipe? Thanks.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
torchdata是一个通用模块化数据加载原语的库，用于轻松构建灵活和性能的数据管道。它的目的是提供可合并的
Itable style和map-style构建块，称为dataPipes，它们可以与Pytorch的数据载体一起使用。它包含功能性，可以重现火炬和火炬文字中的许多不同数据集，即加载，解析，缓存以及其他几个实用程序（例如检查）。datapipe只是用于组合用法的pytorch数据集的重命名和重新应用。 DataPipe通过Python数据结构接收一些访问功能，__ Iter __用于iterdatapipes和__ getitem __ getitem __for MapDataPipes，并返回一个新的访问功能应用转换。TorchDatais a library of common modular data loading primitives for easily constructing flexible and performant data pipelines.It aims to provide composable
Iterable-styleandMap-stylebuilding blocks calledDataPipesthat work well out of the box with the PyTorch's DataLoader. It contains functionality to reproduce many different datasets in TorchVision and TorchText, namely including loading, parsing, caching, and several other utilities (e.g. hash checking).DataPipeis simply a renaming and repurposing of the PyTorch Dataset for composed usage. A DataPipe takes in some access function over Python data structures,__iter__forIterDataPipesand__getitem__for MapDataPipes, and returns a new access function with a slight transformation applied.