技术咨询
代买器件
商务客服
研发客服11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。
摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。
vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型(LLM)的推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
文章来源于:21IC 原文链接
本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关文章
英伟达禁止别家使用CUDA？摩尔线程：未受影响(2024-03-06)
的任何结果，并在非英伟达平台上进行转译。”
而此前的CUDA 11.4 和 11.5 版本安装的 EULA 文档中没有该条款。
CUDA是英伟达推出的一个基于C语言的编程框架，可以让开发者在GPU上编......
打破NVIDIA垄断！英国公司实现CUDA软件在AMD GPU上无缝运行(2024-07-18)
打破NVIDIA垄断！英国公司实现CUDA软件在AMD GPU上无缝运行;
7月18日消息，英国新创公司Spectral Compute近日推出了名为“SCALE”的GPGPU编程工具包，成功......
打破NVIDIA垄断！英国公司实现CUDA软件在AMD GPU上无缝运行(2024-07-18)
打破NVIDIA垄断！英国公司实现CUDA软件在AMD GPU上无缝运行;7月18日消息，英国新创公司Spectral Compute近日推出了名为“SCALE”的GPGPU编程工具包，成功......
NVIDIA 宣布微软、腾讯、百度采用 CV-CUDA 开发计算机视觉 AI(2023-03-22)
应该加速所有视频处理并重新降低能耗。”
CV-CUDA 致力于帮助世界各地的公司在 GPU 上建立和扩展端到端的、基于 AI 的计算机视觉和图像处理流程。
使用AI 优化互联网规模的视觉计算
大部......
NVIDIA 宣布微软、腾讯、百度采用 CV－CUDA 开发计算机视觉 AI(2023-03-23 11:09)
应该加速所有视频处理并重新降低能耗。”CV-CUDA 致力于帮助世界各地的公司在 GPU 上建立和扩展端到端的、基于 AI 的计算机视觉和图像处理流程。使用AI 优化......
AMD叫板英伟达为何吃力不讨好？国产GPU不能只看算力(2023-07-05)
兼容CUDA。
作为AMD的GPU软件开发框架，HIP对应的是CUDA API，其提供的HIPify-perl和HIPify-clang工具，可用于CUDA到HIP的代......
NVIDIA 宣布微软、腾讯、百度采用 CV-CUDA 开发计算机视觉 AI(2023-03-22)
公测版时强调了该开源项目在内容理解、视觉搜索和深度学习方面的成果。CV-CUDA 是一个云计算级别的计算机视觉开源 GPU 加速库。
黄仁勋在 NVIDIA GTC 大会主题演讲中表示：“80......
GPU主要用途及相关API标准(2024-03-07)
C++编程开发，不支持多语言开发；
Part 03 ● 通用计算API标准 ●
GPU的通用计算API标准主要有：OpenCL、CUDA。
3.1 OpenCL
OpenCL（Open......
基于统一计算架构技术的视频显示系统设计(2024-09-11)
近年来推出的通用并行计算架构，它以高性能显卡GPU为硬件依托，采用CPU+GPU的混合计算极大的提高了大规模的图形数据实时处理效率。本文设计的视频显示系统，采用CUDA开发方式实现了计算机桌面图片的分割计算、贝塞......
加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI(2024-11-06)
加速替代CUDA！摩尔线程开源vLLM-MUSA 加速国产GPU AI;
11月5日消息，近日，摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本，为开......