在2024年6月17日的一篇论文中，eBay介绍了自己的一系列大型语言模型(LLMs)，专门为电子商务领域量身定制。
这些模型名为LiLiuM 1B、7B和13B，是内部开发的，以满足eBay跨各种应用程序(包括电子商务领域的翻译)的特定需求，提供对许可证、数据、词汇表和体系结构的完全控制。
作者说:“这些模型旨在消除对eBay内部第三方LLMs的依赖。”
他们解释说，使用可以访问和调整特定用例的基础模型，例如LLaMA-2模型，“在许可、数据安全和未来验证等方面存在风险。”此外，他们指出，“这些模型非常通用，而且主要是在以英语为中心的数据上训练的。”
他们使用包含3万亿个令牌的庞大数据集从头开始开发LLMs，其中包括多种语言的通用文本和电子商务特定文本。他们使用ParaCrawl语料库以及来自电子商务领域的较小的内部语料库。这种方法确保了它们在处理不同语言和领域特定任务时的健壮性。
此外，eBay开发了自己的标记器和模型词汇表，为电子商务定制。他们说:“这给我们带来了几个优势，即(i)完全控制包括特殊标记在内的词汇;(ii)更好地支持多语言;(iii)更好地适应电子商务的特定用例。”
消除依赖关系
根据作者的说法，他们的模型的表现与流行的LLaMA-2模型相当，甚至更好，特别是在非英语机器翻译，以及自然语言理解(NLU)任务和电子商务特定应用方面表现出色。
作者解释说，这种性能提升归因于在预训练期间包含了大量非英语和电子商务特定数据，这增强了模型对非英语语言任务的理解和性能。此外，为电子商务任务定制的词汇表显著提高了文本生成的速度，比LLaMA-2高出34%。
作者期望这些模型“被用作微调和指令调优的基础，消除对外部模型的依赖。”
未来的工作将集中于增强数据管道，整合更多的ebay特定数据，训练更大的模型，并探索混合专家架构以提高效率。
（机器翻译，轻度译后编辑，仅供参考。）
编辑：陈驭格