Apache Spark 相关的热门 GitHub AI项目仓库

我们提供一个基于大型语言模型的聊天机器人，它可以接入微信公众号、企业微信、飞书和钉钉等平台。您可以选择使用GPT-3.5、GPT-4、GPT-Neo、DeepSeek、Claude、文心一言、讯飞星火、通义千问、Gemini、GLM-4、Claude、Kimi或LinkAI等多种模型。该机器人可以处理文字、语音和图片，还能访问操作系统和互联网，并支持根据您自己的知识库定制企业智能客服系统。

数据科学Python笔记：深度学习（TensorFlow、Theano、Caffe、Keras）、scikit-learn、Kaggle、大数据（Spark、Hadoop MapReduce、HDFS）、matplotlib、pandas、NumPy、SciPy、Python基础、AWS和各种命令行工具。

开源机器学习生命周期平台

This repository delivers end-to-end, code-first tutorials covering every layer of production-grade GenAI agents, guiding you from spark to scale with proven patterns and reusable blueprints for real-world launches.

适用于TensorFlow、Keras、PyTorch和Apache MXNet的分布式训练框架

与本地GPT进行私密聊天，支持文档、图片、视频等多种格式。100% 保护隐私，采用 Apache 2.0 许可证。支持 oLLaMa、Mixtral、llama.cpp 等多种模型。演示地址：https://gpt.h2o.ai/ https://gpt-docs.h2o.ai/

Botkit是一个开源的开发者工具，用于构建聊天机器人、应用程序以及与主要消息平台的自定义集成。

SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.

H2O是一个开源的、分布式的、快速且可扩展的机器学习平台，支持深度学习、梯度提升机（GBM）和XGBoost、随机森林、广义线性模型（带有弹性网络的GLM）、K均值聚类、主成分分析（PCA）、广义相加模型（GAM）、RuleFit、支持向量机（SVM）、堆叠集成、自动机器学习（AutoML）等多种算法。

Alluxio：云端分析和机器学习的数据编排工具

用于大规模机器学习的灵活高效的参数服务器

一款用Rust语言实现的现代列式数据格式，专为机器学习(ML)和大型语言模型(LLMs)设计。只需两行代码即可从Parquet格式转换，实现100倍更快的随机访问、向量索引和数据版本控制。兼容Pandas、DuckDB、Polars、Pyarrow和PyTorch，并即将支持更多集成。

简单分布式机器学习

Cube Studio是一个开源的云原生AI平台，提供一站式机器学习、深度学习和大模型解决方案。它支持单点登录（SSO），可与大数据平台对接，并提供在线Notebook开发环境。用户可以通过拖拽方式编排任务流，支持多机多卡分布式训练、超参数搜索以及GPU/VGPU推理服务。此外，它还包含边缘计算、数据标注平台（含自动化标注）、大模型微调、LLM推理（例如vLLM）、LLM运维（LLMops）、私有知识库以及AI模型应用商店等功能。平台支持一键式模型开发、推理和微调，兼容国产CPU、GPU和NPU芯片，并支持RDMA以及PyTorch、TensorFlow、MXNet、DeepSpeed、PaddlePaddle、ColossalAI、Horovod、Spark、Ray、Volcano等多种分布式框架和DeepSeek训练推理。

RF-DETR是由Roboflow开发的一个实时目标检测模型架构，采用Apache 2.0许可证发布。

最先进的自然语言处理

The ops and reference implementation for Apache Dubbo.

TensorFlowOnSpark 将 TensorFlow 程序带到 Apache Spark 集群中。

一款精准、高效、易用的中文自然语言处理（NLP）预处理和解析工具包，访问 www.jionlp.com 获取更多信息。

BigDL：在 Apache Spark/Flink 和 Ray 上运行的分布式 TensorFlow、Keras 和 PyTorch