支付宝申请文本生成相关专利，增加显存空间利用率

金融界2024年12月9日消息，国家知识 *** 信息显示，支付宝（杭州）信息技术有限公司申请一项名为“一种文本生成 *** 、装置、存储介质设备和程序产品”的专利，公开号 CN 119090015 A，申请日期为2024年8月。

专利摘要显示，本说明书提供一种文本生成 *** 、装置、存储介质设备和程序产品，应用于LLM中，LLM的每轮循环中可以：通过投机采样的 *** ，得到当前文本序列之后的之一文本序列，并形成多个备选序列。在键值缓存中，为多个备选序列中的文本单元分配逻辑块，并将逻辑块映射为物理块。在映射物理块过程中，投机采样得到的多个备选序列中，针对相同文本单元分配的多个逻辑块被映射为同一物理块。再利用键值缓存存储的注意力信息，通过LLM确定本次循环新生成的文本单元。针对投机采样和分页管理相结合的情况下，多个备选序列存在相同文本单元这一特殊场景，提出了逻辑块映射为物理块的之一准则，使得多个备选序列可以占用尽量少的显存空间，增加了显存空间的利用率。

来源：金融界

标签： 利用率 显存 生成 文本 支付