Airflow 相关的热门 GitHub AI项目仓库

Elyra 在 JupyterLab 的基础上，增加了以 AI 为中心的特性。

数据工程与机器学习知识中心

免费获得机器学习模型和数据！通过设计、构建和部署端到端的批量机器学习系统，我们将提供超过一百万条数据记录以及250万条用于训练和测试的额外数据。

deployKF 在 Kubernetes 上构建机器学习平台。我们将 Kubeflow、Airflow 和 MLflow 的优势整合到一个完整的平台中。

一个端到端的LLM参考实现，为Airflow和Astronomer提供问答接口。

构建现代化数据栈，并编排工作流程，从而为分析和机器学习应用创建高质量数据。

Data Forge — a modern data stack playground to practice flows and best practices, not just tools. Spark, Trino, Kafka, Iceberg, ClickHouse, Airflow, MinIO, Superset — all wired together locally with Docker Compose.

Apache Liminals的目标是将机器学习流程自动化，让数据科学家能够快速地将成功的实验转化为生产环境中模型训练、验证、部署和推理的自动化流水线。Liminal提供了一种领域特定语言，用于在Apache Airflow之上构建机器学习工作流。

K3ai 是一款轻量级工具，可在几分钟内而非几天内搭建起 AI 基础设施栈。它将为您处理 Kubernetes 的设置，部署您选择的 AI 工具，甚至在其上运行您的代码。

与Medium博客文章《使用Kafka、Airflow和MLflow保持你的机器学习模型健康》相关的代码库

这是一个基于检索增强生成 (RAG) 的法律文档查询应用。它结合使用 PostgreSQL 数据库、Elasticsearch 搜索引擎和大型语言模型 (LLM)，根据用户查询提供摘要和建议。应用还包含使用 Airflow 进行数据导入、使用 Grafana 进行实时监控以及使用 Streamlit 构建的用户界面。

? Batch data pipeline with Airflow, DuckDB, Delta Lake, Trino, MinIO, and Metabase. Full observability and data quality.

基于 Apache Airflow 的微信智能应用编排框架，通过可视化工作流驱动 AI 与数据自动化任务。支持 智能客服（多轮对话/知识库）、AI 图文/短视频生成、智能提醒等应用，灵活扩展多模态交互与大模型能力。

一个高度可扩展的、云原生的全栈机器学习系统，用于实时数据流的需 求预测，包含推理、再训练循环等功能。

Code for DE101 book at https://de101.startdataengineering.com/

低成本的AI赋能CRM架构，专为需要高效处理和分析销售数据的初创企业设计。

一个可扩展、生产就绪的数据管道，支持实时流处理和批量处理，集成了Kafka、Spark、Airflow、AWS、Kubernetes和MLflow。该管道支持端到端的数据摄取、转换、存储、监控和AI/ML模型服务，并使用Terraform和GitHub Actions实现CI/CD自动化。

如何利用Apache Airflow构建健壮可靠的机器学习流水线：实用案例

사용자가 채팅웹을 통해 자신이 처한 법률적 상황을 제시하면, 입력에 대한 문맥을 모델이 이해하여 가이드라인을 제시하고, 유사한 상황의 판례를 제공하는 웹 서비스입니다. (2023.08.18 서비스 종료)

机器学习的 Airflow 数据管道