训练数据来源方法

分享

其他推荐

训练数据来源方法

训练数据可以通过合成数据生成、公共数据集、数据市场和众包平台获得。

训练数据可以来源于许多不同的地方,这取决于您的机器学习应用程序。数据几乎可以在任何地方找到——从免费的公开数据集到可供购买的私人数据,再到众包数据。这些类型的数据集被称为有机数据或自然发生的数据集。

合成数据

合成数据集是用作训练数据的一个常见选项,如上所述。使用合成数据的好处是,它可以在任何给定的一组适用约束下从内部获得。此外,它可以大量产生,具有短的生成来模拟训练周转,并且当先前条件已知时易于创建。缺点是合成数据生产成本高,而且消耗资源。

公共数据集

其他替代方案包括使用谷歌或Kaggle等平台来提取数据集。那里提供的数据集通常由政府机构或企业公司维护。一些公司有内部团队或使用数据标签或数据收集服务来获取他们正在寻找的训练数据。

众包数据集

众包数据是获取训练数据的另一个选项,具体取决于给定的应用程序。TAUS HLP平台是一个提供众包数据解决方案的例子。有了这个平台,TAUS根据应用程序的特定要求提供定制的数据集。

市场

如何以及从哪里获取训练数据集,无论是有机数据还是合成数据,实际上取决于您使用它的目的。例如,如果您希望训练一个NLP模型,那么您将需要一个由音频或文本数据组成的大型数据集来相应地训练您的模型。包含训练数据的平台的一个示例是TAUS数据市场,其中存在多种世界语言的数百个数据集。

(机器翻译,轻度译后编辑,仅供参考)

编辑:胡跃

原文链接

Was it helpful ?