cube-studio

data-infra/cube-studio

cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台

2.3k
Stars
181
Forks
27
Open issues
24
Watchers
Python OtherLast pushed Jul 4, 2026

Overview

CubeStudio是一个面向云计算环境开发的全方位机器学习和深度学习解决方案,提供全面的服务如单点登录(SSO),多租户支持,算法全链路流程管理等。

Categories

Tags

Similar tools

Install

pip install cube-studio

README

不再同步更新旧仓库 tencent/cube-studio

CubeStudio

English | 简体中文

整体架构

帮助文档

https://github.com/data-infra/cube-studio/wiki

开源共建

学习、部署、体验、开源建设欢迎来撩。或添加微信luanpeng1234,备注<开源建设>

公司

功能清单

CubeStudio是 开源一站式云原生机器学习平台,目前主要包含

模块分组功能功能描述
用户权限SSO单点登录
  • 账号密码注册自动登录
  • 支持对接公司账号体系AUTH_OID/AUTH_LDAP/AUTH_REMOTE_USER等登录注册方式,支持消息推送

  • 增加登录验证,强密码,远程用户,登录频率限制,密码密文传输显示等
  • 用户权限项目组管理
  • AI平台需要通过项目划分,支持配置相应项目组用户的权限,任务/服务的挂载,资源组,集群,服务代理,项目组内角色控制,支持用户和项目组删除,支持为项目组指定命名空间,项目组支持绑定多个资源组,支持设置组内用户可用资源组
  • 用户权限用户管理
    角色管理/权限管理
  • 管理平台用户的基本信息,组织架构,支持账号密码,rbac权限体系

  • 增加修改和删除,清理等操作的历史记录,支持菜单权限控制

  • 支持只读者public角色,支持控制角色可访问接口,以及接口访问类型

  • 支持多租户(多个用户公司)
  • 算力调度数据大屏
  • 支持全局,项目组,个人级别的任务pod的分布情况
  • 算力调度多资源组/多集群
  • 支持划分多资源组,支持docker运行时,支持多k8s集群,支持ipvs网络模式,支持containerd容器运行态,支持边缘集群模式
  • 算力调度gpu调度能力
  • 提供多种规格的资源支持不同的使用场景,cpu/gpu等 支持T4/V100/A100等多种卡型

  • 支持gpu禁用模型,共享模式,独占模式,vgpu模式,支持虚拟化占用显存设定,英伟达支持指定卡序号,支持gpu调度binpack调度策略,支持ib/roce的rdma协议
  • 算力调度支持多种算力
  • 平台底层外部组件支持arm架构,前后端镜像支持arm架构,任务模板支持arm架构,notebook镜像支持arm架构,超参搜索支持arm架构,aihub应用70%支持arm架构

  • 支持调度海光dcu,华为npu算力,壁仞,沐曦、寒武纪、摩尔线程,百度昆仑芯
  • 算力调度算力市场
  • 支持算力市场机器空闲状态查看,支持按需占用,和包月包日模式租赁
  • 算力调度租赁实例
  • 支持租赁启动pod实例管理,开关机释放等,支持查看当前租赁信息和使用费用ssh登录信息等

  • 支持包月账单的管理
  • 算力调度计量计费功能
  • 1、支持平台资源限制的分配和查看

  • 项目组资源限制,用户资源限制、任务资源限制,项目组下个人的资源限制,包括开发资源,训练资源、推理资源等

  • 额度限制限制在notebook,docker构建,pipeline,超参搜索,内部服务,推理服务中的生效

  • 限制支持单任务,并行任务总和和历史任务总和等方法

  • 2、提供统一的开发、训练、推理服务资源监控,从用户、项目、任务角度分析模型资源分配及使用情况

  • 3、支持自定义计费模式,通过计量结果自定义获取计费值

  • 4、按需占用日结账单,产生用户每日账单费用和明细
  • 算力调度机器资源管理
  • web界面控制机器调度类型,所属资源组,是否启动rdma,是否启动vgpu,可用任务场景等
  • 算力调度存储盘管理
  • 支持web界面添加存储盘,支持项目组绑定,notebook pipeline 推理服务,直接在pod中挂载外部分布式存储

  • 支持nfs,cfs,oss,nas,cos,glusterfs,cephfs,s3/minio
  • 基础能力网络
  • 支持80、非80端口,支持公网/域名,支持反向代理和内网穿透方式访问,支持https
  • 基础能力数据库存储
  • 支持外部mysql/postgres/OceanBase/人大金仓/达梦作为元数据库(不含标注模块)
  • 基础能力国际化能力
  • mlops支持配置多语言配置,目前支持8国语言翻译
  • 数据管理数据地图
  • 元数据库表管理,指标,维表
  • 数据管理数据计算
  • sqllab交互查询,支持mysql,postgresql,clickhouse,hive,presto,达梦数据库等计算引擎,支持数据分析建模
  • 数据管理数据集管理
  • 允许用户随时上传样本集(图片、音频、文本等),对表格数据支持数据集一键探索功能
  • 数据标注数据标注
  • 支持图/文/音/多模态各类型标注能力

  • 支持分布式存储打通mlops平台

  • 支持项目组权限控制,支持普通用户标注草稿,审核员核定,标注质量打分,导入导出批量删除设置等区分角色的权限控制

  • 标注任务分配

  • 目前支持8国语言翻译

  • labelstudio标注数据导入pipeline

  • 支持从数据集模块导入和导出到数据集模块

  • 支持pg/人大金仓数据库

  • 支持项目状态管理和webhook
  • 数据标注数据标注
  • 支持自动化标注:支持目标识别,目标边界识别,目标遮罩识别,图片分类,图片描述,ocr,支持图片转markdown,关键点检测,视频多目标跟踪,多说话人语音分隔,语音识别,结构化数据标注

  • 支持视觉大模型自动化标注:支持目标识别万物识别,支持目标边界检测万物分隔,支持目标遮罩万物分隔

  • 支持大模型自动化标注:文本分类,文本翻译,命名实体识别,阅读理解,问答,摘要提取,答案排序
  • 在线开发镜像功能
  • 镜像仓库/镜像管理/在线构建镜像

  • 同时提供平台所有镜像,包括模板镜像/服务镜像/notebook镜像/gpu基础环境的构建方法和构建后镜像,

  • 支持同一仓库多个秘钥配置,支持在线镜像构建
  • 在线开发notebook
  • 支持基于开源的Jupyterlab/vscode汉化版,提供在线的交互式开发调试工具

  • 提供多种可选环境ide和开发示例,支持资源类型选择

  • 支持大数据版本,机器学习版本,深度学习版本

  • 大数据版本支持用户信息,hdfs客户端,hive客户端和spark客户端

  • 支持ssh remote与notebook对接远程开发,方便快速将本地代码提交到平台的训练环境

  • ssh jumpproxy,单端口开放

  • 支持gpu,cpu,内存,监控,支持git交互

  • 支持自定义notebook镜像,便于封装公司自己的notebook

  • 多环境notebook,支持R语言/julia语言/python2.7/python3.6/python3.