数据科学与机器学习工程套件：从EDA到MLOps的全流程生产级解决方案

ai-ml-data-science by vasilyu1983/ai-agents-public

147 周安装量

53 GitHub Stars

GitHub

安装命令

npx skills add https://github.com/vasilyu1983/ai-agents-public --skill ai-ml-data-science

AI/机器学习开发运维数据处理

🇨🇳中文介绍

数据科学工程套件 - 快速参考

此技能将原始数据和问题转化为经过验证、有文档记录的模型，为生产环境做好准备：

EDA 工作流：包含漂移检测的结构化探索
特征工程：具有防泄漏和训练/服务一致性的可复现特征管道
模型选择：基线优先；强大的表格数据默认方案；仅在合理时增加复杂度
评估与报告：切片分析、不确定性、模型卡、生产指标
SQL 转换：用于暂存/中间/集市层的 SQLMesh
MLOps：CI/CD、CT（持续训练）、CM（持续监控）
生产模式：数据契约、血缘关系、反馈循环、流式特征

现代重点（2026年）： 特征存储、自动重训练、漂移监控（Evidently）、训练-服务一致性以及智能体 ML 循环（计划 -> 执行 -> 评估 -> 改进）。工具：LightGBM、CatBoost、scikit-learn、PyTorch、Polars（用于大于内存数据集的惰性求值）、用于数据版本控制的 lakeFS。

快速参考

任务	工具/框架	命令	使用场景
EDA 与数据剖析	Pandas, Great Expectations	`df.describe()`, `ge.validate()`

广告位招租

在这里展示您的产品或服务

触达数万 AI 开发者，精准高效

联系我们

数据湖与湖仓一体

有关全面的数据湖/湖仓一体模式（超越 SQLMesh 转换），请参阅 data-lake-platform：

表格式： Apache Iceberg, Delta Lake, Apache Hudi
查询引擎： ClickHouse, DuckDB, Apache Doris, StarRocks
替代转换方案： dbt（SQLMesh 的替代方案）
数据摄取： dlt, Airbyte（连接器）
流处理： Apache Kafka 模式
编排： Dagster, Airflow

此技能侧重于ML 特征工程和建模。通用数据基础设施请使用 data-lake-platform。

决策树：选择数据科学方法

用户需要 ML 解决：[问题类型]
  - 表格数据？
    - 中小规模（<100 万行）？ -> LightGBM（快速、高效）
    - 大规模且复杂（>100 万行）？ -> 先 LightGBM，必要时再尝试神经网络
    - 高维稀疏（文本、计数）？ -> 线性模型，然后是浅层神经网络

  - 时间序列？
    - 有季节性？ -> LightGBM，然后参考 ai-ml-timeseries
    - 有长期依赖关系？ -> Transformers（参考 ai-ml-timeseries）

  - 文本或多模态数据？
    - LLMs/Transformers -> 参考 ai-llm

  - SQL 转换？
    - SQLMesh（暂存/中间/集市层）

经验法则： 对于表格数据，基于树的梯度提升是一个强基线，但必须根据替代方案和约束条件进行验证。

核心概念（与供应商无关）

问题界定：在建模前定义成功指标、基线和决策阈值。
防泄漏：确保所有特征在预测时可用；在适当时按时间/组进行划分。
不确定性：报告置信区间和稳定性（折间方差、自助法），而非单点指标。
可复现性：版本化代码/数据/特征，固定随机种子，并记录环境。
运维交接：与 MLOps 一起定义监控、重训练触发器和回滚标准。

实施实践（工具示例）

跟踪实验和工件（运行 ID、提交哈希、数据版本）。
在管道中添加数据验证门（模式 + 分布 + 新鲜度）。
优先使用可复现、可测试的特征代码（共享转换、时间点正确性）。
将数据表/模型卡和评估报告作为部署前提条件（数据集数据表：https://arxiv.org/abs/1803.09010；模型卡：https://arxiv.org/abs/1810.03993）。

从基线和简单模型开始，及早暴露泄漏和数据问题。
在建议部署前进行切片分析并记录故障模式。
保持不变的评估集；在不污染评估的情况下刷新训练数据。

避免对时间序列或用户相关数据进行随机划分。
避免“指标游戏”（优化数字而不验证业务影响）。
避免在预测时间戳之后创建的标签上进行训练（隐性的未来泄漏）。

核心模式（概述）

模式 1：端到端数据科学项目生命周期

使用场景： 启动或重构任何数据科学/机器学习项目。

问题界定 - 业务目标、成功指标、基线
数据与可行性 - 来源、覆盖率、粒度、标签质量
EDA 与数据质量 - 模式、缺失值、异常值、泄漏检查
特征工程 - 按数据类型进行，集成特征存储
建模 - 基线优先，然后 LightGBM，必要时增加复杂度
评估 - 离线指标、切片分析、错误分析
报告 - 模型评估报告 + 模型卡
MLOps - CI/CD、CT（持续训练）、CM（持续监控）

详细指南： EDA 最佳实践

模式 2：特征工程

使用场景： 在建模前或模型改进期间设计特征。

按数据类型：

数值型： 标准化、处理异常值、转换偏度、缩放
分类型： 独热/序数编码（低基数）、目标/频率/哈希编码（高基数）
- 特征存储集成： 集中存储编码器、映射、统计信息
文本型： 清洗、TF-IDF、嵌入、简单统计
时间型： 日历特征、最近性、滚动/滞后特征

关键现代实践： 使用特征存储（Feast、Tecton、Databricks）进行版本控制、共享和训练-服务一致性。

详细指南： 特征工程模式

模式 3：数据契约与血缘关系

使用场景： 构建具有数据质量要求的生产级机器学习系统。

契约： 模式 + 范围/可空性 + 新鲜度 SLA
血缘关系： 跟踪来源 -> 特征存储 -> 训练 -> 服务
特征存储卫生： 物化频率、回填/重放、编码器版本控制
模式演进： 通过影子运行进行向后/向前兼容的迁移

详细指南： 数据契约与血缘关系

模式 4：模型选择与训练

使用场景： 选择模型系列并开始实验。

决策指南（现代基准）：

表格数据： 从强基线开始（线性/逻辑回归，然后是梯度提升），并根据错误分析进行迭代
基线： 始终先实现简单基线（多数类、均值、朴素预测）
训练/验证/测试集划分： 基于时间（预测）、基于组（用户/物品泄漏）或随机（独立同分布）
超参数调优： 从手动开始，然后是贝叶斯优化（Optuna、Ray Tune）
过拟合控制： 正则化、早停、交叉验证

详细指南： 建模模式

模式 5：评估与报告

使用场景： 确定最终模型候选或移交生产。

指标选择： 主要指标（ROC-AUC、PR-AUC、RMSE）+ 护栏指标（校准、公平性）
阈值选择： ROC/PR 曲线、成本敏感、F1 最大化
切片分析： 按地理、用户细分、产品类别评估性能
错误分析： 收集高错误样本，按错误类型聚类，识别系统性故障
不确定性： 置信区间（在适当时使用自助法）、折间方差和稳定性检查
评估报告： 8 部分报告（目标、数据、特征、模型、指标、切片、风险、建议）
模型卡： 面向利益相关者的文档（预期用途、数据、性能、伦理、运维）

详细指南： 评估模式

模式 6：可复现性与 MLOps

使用场景： 确保实验可复现且为生产做好准备。

现代 MLOps（CI/CD/CT/CM）：

CI（持续集成）： 自动化测试、数据验证、代码质量
CD（持续交付）： 环境特定的推广（开发 -> 预发布 -> 生产）、金丝雀部署
CT（持续训练）： 漂移触发和计划重训练
CM（持续监控）： 实时数据漂移、性能、系统健康度

代码（git 提交）、数据（DVC、LakeFS）、特征（特征存储）、模型（MLflow Registry）
随机种子（可复现性）、超参数（实验跟踪器）

详细指南： 可复现性检查清单

模式 7：特征新鲜度与流处理

使用场景： 管理实时特征和流处理管道。

新鲜度契约： 按特征定义新鲜度 SLA，监控延迟，对违规发出警报
批处理 + 流处理一致性： 跨批处理/流处理的相同特征逻辑，幂等更新
模式演进： 版本化模式，添加向前/向后兼容的解析器，通过回滚进行回填
数据质量门： PII/格式检查、范围检查、分布漂移（KL、KS、PSI）

详细指南： 特征新鲜度与流处理

模式 8：生产反馈循环

使用场景： 捕获生产信号并实施持续改进。

信号捕获： 记录预测 + 用户编辑/接受/放弃（清除 PII）
标注： 将故障/边缘案例路由到人工审核，创建平衡集
数据集刷新： 定期刷新（每周/每月），包含血缘关系，保护评估集
在线评估： 影子/金丝雀新模型，跟踪解决率、校准、成本、延迟

详细指南： 生产反馈循环

资源（详细指南）

有关全面的操作模式和检查清单，请参阅：

EDA 最佳实践 - 探索性数据分析的结构化工作流
特征工程模式 - 按数据类型的操作模式
数据契约与血缘关系 - 数据质量、版本控制、特征存储运维
建模模式 - 模型选择、超参数调优、训练/测试集划分
评估模式 - 指标、切片分析、评估报告、模型卡
可复现性检查清单 - 实验跟踪、MLOps（CI/CD/CT/CM）
特征新鲜度与流处理 - 实时特征、模式演进
生产反馈循环 - 在线学习、标注、金丝雀部署
类别不平衡模式 - 重采样、成本敏感学习、阈值调优、偏斜数据集的评估
超参数优化 - 贝叶斯优化、早停、搜索策略、预算分配
可解释性与可说明性 - SHAP、LIME、特征重要性、受监管领域的模型卡

将这些作为复制粘贴的起点：

项目与工作流模板

标准数据科学项目模板： assets/project/template-standard.md
快速数据科学实验模板： assets/project/template-quick.md

特征工程模板： assets/features/template-feature-engineering.md
EDA 检查清单与笔记本模板： assets/eda/template-eda.md

模型评估报告： assets/evaluation/template-evaluation-report.md
模型卡： assets/evaluation/template-model-card.md
ML 实验评审： assets/review/experiment-review-template.md

SQL 转换（SQLMesh）

用于基于 SQL 的数据转换和特征工程：

SQLMesh 项目设置： ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-project.md
SQLMesh 模型类型： ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-model.md（FULL, INCREMENTAL, VIEW）
增量模型： ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-incremental.md
DAG 与依赖关系： ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-dag.md
测试与数据质量： ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-testing.md

使用 SQLMesh 的场景：

构建基于 SQL 的特征管道
管理增量数据转换
创建暂存/中间/集市层
使用单元测试和审计测试 SQL 逻辑

对于数据摄取（加载原始数据），请使用：

ai-mlops 技能（用于 REST API、数据库、数据仓库的 dlt 模板）

data/sources.json - 精选的外部参考资料

请参阅 data/sources.json 获取精选的基础和实现参考资料：

核心 ML/DL：scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, JAX
数据处理：pandas, NumPy, Polars, DuckDB, Spark, Dask
SQL 转换：SQLMesh, dbt（暂存/集市/增量模式）
特征存储：Feast, Tecton, Databricks Feature Store（集中式特征管理）
数据验证：Pydantic, Great Expectations, Pandera, Evidently（质量 + 漂移）
可视化：Matplotlib, Seaborn, Plotly, Streamlit, Dash
MLOps：MLflow, W&B, DVC, Neptune（实验跟踪 + 模型注册表）
超参数调优：Optuna, Ray Tune, Hyperopt
模型服务：BentoML, FastAPI, TorchServe, Seldon, Ray Serve
编排：Kubeflow, Metaflow, Prefect, Airflow, ZenML
云平台：AWS SageMaker, Google Vertex AI, Azure ML, Databricks, Snowflake

使用此技能端到端执行数据科学项目：具体的检查清单、模式和模板，而非理论。

在最终答案前，使用网络搜索/网页抓取来验证当前的外部事实、版本、定价、截止日期、法规或平台行为。
优先使用一手来源；对于易变信息，报告来源链接和日期。
如果无法访问网络，请说明限制并将指导标记为未经验证。

🇺🇸English

Data Science Engineering Suite - Quick Reference

This skill turns raw data and questions into validated, documented models ready for production:

EDA workflows : Structured exploration with drift detection
Feature engineering : Reproducible feature pipelines with leakage prevention and train/serve parity
Model selection : Baselines first; strong tabular defaults; escalate complexity only when justified
Evaluation & reporting: Slice analysis, uncertainty, model cards, production metrics
SQL transformation : SQLMesh for staging/intermediate/marts layers
MLOps : CI/CD, CT (continuous training), CM (continuous monitoring)
Production patterns : Data contracts, lineage, feedback loops, streaming features

Modern emphasis (2026): Feature stores, automated retraining, drift monitoring (Evidently), train-serve parity, and agentic ML loops (plan -> execute -> evaluate -> improve). Tools: LightGBM, CatBoost, scikit-learn, PyTorch, Polars (lazy eval for larger-than-RAM datasets), lakeFS for data versioning.

Quick Reference

Task	Tool/Framework	Command	When to Use
EDA & Profiling	Pandas, Great Expectations	`df.describe()`, `ge.validate()`	Initial data exploration and quality checks
Feature Engineering	Pandas, Polars, Feature Stores	`df.transform()`, Feast materialization	Creating lag, rolling, categorical features
Model Training	Gradient boosting, linear models, scikit-learn	`lgb.train()`, `model.fit()`	Strong baselines for tabular ML
Hyperparameter Tuning	Optuna, Ray Tune	`optuna.create_study()`, `tune.run()`	Optimizing model parameters
SQL Transformation	SQLMesh	`sqlmesh plan`, `sqlmesh run`	Building staging/intermediate/marts layers
Experiment Tracking	MLflow, W&B	`mlflow.log_metric()`, `wandb.log()`	Versioning experiments and models
Model Evaluation	scikit-learn, custom metrics	`metrics.roc_auc_score()`, slice analysis	Validating model performance

Data Lake & Lakehouse

For comprehensive data lake/lakehouse patterns (beyond SQLMesh transformation), see data-lake-platform :

Table formats: Apache Iceberg, Delta Lake, Apache Hudi
Query engines: ClickHouse, DuckDB, Apache Doris, StarRocks
Alternative transformation: dbt (alternative to SQLMesh)
Ingestion: dlt, Airbyte (connectors)
Streaming: Apache Kafka patterns
Orchestration: Dagster, Airflow

This skill focuses on ML feature engineering and modeling. Use data-lake-platform for general-purpose data infrastructure.

Related Skills

For adjacent topics, reference:

ai-mlops - APIs, batch jobs, monitoring, drift, data ingestion (dlt)
ai-llm - LLM prompting, fine-tuning, evaluation
ai-rag - RAG pipelines, chunking, retrieval
ai-llm-inference - LLM inference optimization, quantization
ai-ml-timeseries - Time series forecasting, backtesting
qa-testing-strategy - Test-driven development, coverage
data-sql-optimization - SQL optimization, index patterns (complements SQLMesh)
data-lake-platform - Data lake/lakehouse infrastructure (ClickHouse, Iceberg, Kafka)

Decision Tree: Choosing Data Science Approach

User needs ML for: [Problem Type]
  - Tabular data?
    - Small-medium (<1M rows)? -> LightGBM (fast, efficient)
    - Large and complex (>1M rows)? -> LightGBM first, then NN if needed
    - High-dim sparse (text, counts)? -> Linear models, then shallow NN

  - Time series?
    - Seasonality? -> LightGBM, then see ai-ml-timeseries
    - Long-term dependencies? -> Transformers (see ai-ml-timeseries)

  - Text or mixed modalities?
    - LLMs/Transformers -> See ai-llm

  - SQL transformations?
    - SQLMesh (staging/intermediate/marts layers)

Rule of thumb: For tabular data, tree-based gradient boosting is a strong baseline, but must be validated against alternatives and constraints.

Core Concepts (Vendor-Agnostic)

Problem framing : define success metrics, baselines, and decision thresholds before modeling.
Leakage prevention : ensure all features are available at prediction time; split by time/group when appropriate.
Uncertainty : report confidence intervals and stability (fold variance, bootstrap) rather than single-point metrics.
Reproducibility : version code/data/features, fix seeds, and record the environment.
Operational handoff : define monitoring, retraining triggers, and rollback criteria with MLOps.

Implementation Practices (Tooling Examples)

Track experiments and artifacts (run id, commit hash, data version).
Add data validation gates in pipelines (schema + distribution + freshness).
Prefer reproducible, testable feature code (shared transforms, point-in-time correctness).
Use datasheets/model cards and eval reports as deployment prerequisites (Datasheets for Datasets: https://arxiv.org/abs/1803.09010; Model Cards: https://arxiv.org/abs/1810.03993).

Do / Avoid

Do start with baselines and a simple model to expose leakage and data issues early.
Do run slice analysis and document failure modes before recommending deployment.
Do keep an immutable eval set; refresh training data without contaminating evaluation.

Avoid

Avoid random splits for temporal or user-correlated data.
Avoid "metric gaming" (optimizing the number without validating business impact).
Avoid training on labels created after the prediction timestamp (silent future leakage).

Core Patterns (Overview)

Pattern 1: End-to-End DS Project Lifecycle

Use when: Starting or restructuring any DS/ML project.

Stages:

Problem framing - Business objective, success metrics, baseline
Data & feasibility - Sources, coverage, granularity, label quality
EDA & data quality - Schema, missingness, outliers, leakage checks
Feature engineering - Per data type with feature store integration
Modelling - Baselines first, then LightGBM, then complexity as needed
Evaluation - Offline metrics, slice analysis, error analysis
Reporting - Model evaluation report + model card
MLOps - CI/CD, CT (continuous training), CM (continuous monitoring)

Detailed guide: EDA Best Practices

Pattern 2: Feature Engineering

Use when: Designing features before modelling or during model improvement.

By data type:

Numeric: Standardize, handle outliers, transform skew, scale
Categorical: One-hot/ordinal (low cardinality), target/frequency/hashing (high cardinality)
- Feature Store Integration: Store encoders, mappings, statistics centrally
Text: Cleaning, TF-IDF, embeddings, simple stats
Time: Calendar features, recency, rolling/lag features

Key Modern Practice: Use feature stores (Feast, Tecton, Databricks) for versioning, sharing, and train-serve parity.

Detailed guide: Feature Engineering Patterns

Pattern 3: Data Contracts & Lineage

Use when: Building production ML systems with data quality requirements.

Components:

Contracts: Schema + ranges/nullability + freshness SLAs
Lineage: Track source -> feature store -> train -> serve
Feature store hygiene: Materialization cadence, backfill/replay, encoder versioning
Schema evolution: Backward/forward-compatible migrations with shadow runs

Detailed guide: Data Contracts & Lineage

Pattern 4: Model Selection & Training

Use when: Picking model families and starting experiments.

Decision guide (modern benchmarks):

Tabular: Start with a strong baseline (linear/logistic, then gradient boosting) and iterate based on error analysis
Baselines: Always implement simple baselines first (majority class, mean, naive forecast)
Train/val/test splits: Time-based (forecasting), group-based (user/item leakage), or random (IID)
Hyperparameter tuning: Start manual, then Bayesian optimization (Optuna, Ray Tune)
Overfitting control: Regularization, early stopping, cross-validation

Detailed guide: Modelling Patterns

Pattern 5: Evaluation & Reporting

Use when: Finalizing a model candidate or handing over to production.

Key components:

Metric selection: Primary (ROC-AUC, PR-AUC, RMSE) + guardrails (calibration, fairness)
Threshold selection: ROC/PR curves, cost-sensitive, F1 maximization
Slice analysis: Performance by geography, user segments, product categories
Error analysis: Collect high-error examples, cluster by error type, identify systematic failures
Uncertainty: Confidence intervals (bootstrap where appropriate), variance across folds, and stability checks
Evaluation report: 8-section report (objective, data, features, models, metrics, slices, risks, recommendation)
Model card: Documentation for stakeholders (intended use, data, performance, ethics, operations)

Detailed guide: Evaluation Patterns

Pattern 6: Reproducibility & MLOps

Use when: Ensuring experiments are reproducible and production-ready.

Modern MLOps (CI/CD/CT/CM):

CI (Continuous Integration): Automated testing, data validation, code quality
CD (Continuous Delivery): Environment-specific promotion (dev -> staging -> prod), canary deployment
CT (Continuous Training): Drift-triggered and scheduled retraining
CM (Continuous Monitoring): Real-time data drift, performance, system health

Versioning:

Code (git commit), data (DVC, LakeFS), features (feature store), models (MLflow Registry)
Seeds (reproducibility), hyperparameters (experiment tracker)

Detailed guide: Reproducibility Checklist

Pattern 7: Feature Freshness & Streaming

Use when: Managing real-time features and streaming pipelines.

Components:

Freshness contracts: Define freshness SLAs per feature, monitor lag, alert on breaches
Batch + stream parity: Same feature logic across batch/stream, idempotent upserts
Schema evolution: Version schemas, add forward/backward-compatible parsers, backfill with rollback
Data quality gates: PII/format checks, range checks, distribution drift (KL, KS, PSI)

Detailed guide: Feature Freshness & Streaming

Pattern 8: Production Feedback Loops

Use when: Capturing production signals and implementing continuous improvement.

Components:

Signal capture: Log predictions + user edits/acceptance/abandonment (scrub PII)
Labeling: Route failures/edge cases to human review, create balanced sets
Dataset refresh: Periodic refresh (weekly/monthly) with lineage, protect eval set
Online eval: Shadow/canary new models, track solve rate, calibration, cost, latency

Detailed guide: Production Feedback Loops

Resources (Detailed Guides)

For comprehensive operational patterns and checklists, see:

EDA Best Practices - Structured workflow for exploratory data analysis
Feature Engineering Patterns - Operational patterns by data type
Data Contracts & Lineage - Data quality, versioning, feature store ops
Modelling Patterns - Model selection, hyperparameter tuning, train/test splits
Evaluation Patterns - Metrics, slice analysis, evaluation reports, model cards
Reproducibility Checklist - Experiment tracking, MLOps (CI/CD/CT/CM)
Feature Freshness & Streaming - Real-time features, schema evolution
Production Feedback Loops - Online learning, labeling, canary deployment
Class Imbalance Patterns - Resampling, cost-sensitive learning, threshold tuning, evaluation for skewed datasets

Templates

Use these as copy-paste starting points:

Project & Workflow Templates

Standard DS project template: assets/project/template-standard.md
Quick DS experiment template: assets/project/template-quick.md

Feature Engineering & EDA

Feature engineering template: assets/features/template-feature-engineering.md
EDA checklist & notebook template: assets/eda/template-eda.md

Evaluation & Reporting

Model evaluation report: assets/evaluation/template-evaluation-report.md
Model card: assets/evaluation/template-model-card.md
ML experiment review: assets/review/experiment-review-template.md

SQL Transformation (SQLMesh)

For SQL-based data transformation and feature engineering:

SQLMesh project setup: ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-project.md
SQLMesh model types: ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-model.md (FULL, INCREMENTAL, VIEW)
Incremental models: ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-incremental.md
DAG and dependencies: ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-dag.md
Testing and data quality: ../data-lake-platform/assets/transformation/sqlmesh/template-sqlmesh-testing.md

Use SQLMesh when:

Building SQL-based feature pipelines
Managing incremental data transformations
Creating staging/intermediate/marts layers
Testing SQL logic with unit tests and audits

For data ingestion (loading raw data), use:

ai-mlops skill (dlt templates for REST APIs, databases, warehouses)

Navigation

Resources

Templates

Data

data/sources.json - Curated external references

External Resources

See data/sources.json for curated foundational and implementation references:

Core ML/DL : scikit-learn, XGBoost, LightGBM, PyTorch, TensorFlow, JAX
Data processing : pandas, NumPy, Polars, DuckDB, Spark, Dask
SQL transformation : SQLMesh, dbt (staging/marts/incremental patterns)
Feature stores : Feast, Tecton, Databricks Feature Store (centralized feature management)
Data validation : Pydantic, Great Expectations, Pandera, Evidently (quality + drift)
Visualization : Matplotlib, Seaborn, Plotly, Streamlit, Dash
MLOps : MLflow, W&B, DVC, Neptune (experiment tracking + model registry)
Hyperparameter tuning : Optuna, Ray Tune, Hyperopt
Model serving : BentoML, FastAPI, TorchServe, Seldon, Ray Serve
Orchestration : Kubeflow, Metaflow, Prefect, Airflow, ZenML
Cloud platforms : AWS SageMaker, Google Vertex AI, Azure ML, Databricks, Snowflake

Use this skill to execute data science projects end-to-end : concrete checklists, patterns, and templates, not theory.

Fact-Checking

Use web search/web fetch to verify current external facts, versions, pricing, deadlines, regulations, or platform behavior before final answers.
Prefer primary sources; report source links and dates for volatile information.
If web access is unavailable, state the limitation and mark guidance as unverified.

Weekly Installs

129

Repository

vasilyu1983/ai-…s-public

GitHub Stars

First Seen

Jan 23, 2026

Security Audits

Gen Agent Trust HubPass SocketPass SnykPass

Installed on

codex110

gemini-cli108

opencode108

cursor106

github-copilot103

cline90

Hyperparameter Optimization - Bayesian optimization, early stopping, search strategies, budget allocation

Interpretability & Explainability - SHAP, LIME, feature importance, model cards for regulated domains

数据科学与机器学习工程套件：从EDA到MLOps的全流程生产级解决方案

🇨🇳中文介绍

数据科学工程套件 - 快速参考

快速参考

相关 Skills

数据湖与湖仓一体

相关技能

决策树：选择数据科学方法

核心概念（与供应商无关）

实施实践（工具示例）

应做 / 避免

核心模式（概述）

模式 1：端到端数据科学项目生命周期

模式 2：特征工程

模式 3：数据契约与血缘关系

模式 4：模型选择与训练

模式 5：评估与报告

模式 6：可复现性与 MLOps

模式 7：特征新鲜度与流处理

模式 8：生产反馈循环

资源（详细指南）

模板

项目与工作流模板

特征工程与 EDA

评估与报告

SQL 转换（SQLMesh）

导航

外部资源

事实核查

🇺🇸English

Data Science Engineering Suite - Quick Reference

Quick Reference

Data Lake & Lakehouse

Related Skills

Decision Tree: Choosing Data Science Approach

Core Concepts (Vendor-Agnostic)

Implementation Practices (Tooling Examples)

Do / Avoid

Core Patterns (Overview)

Pattern 1: End-to-End DS Project Lifecycle

Pattern 2: Feature Engineering

Pattern 3: Data Contracts & Lineage

Pattern 4: Model Selection & Training

Pattern 5: Evaluation & Reporting

Pattern 6: Reproducibility & MLOps

Pattern 7: Feature Freshness & Streaming

Pattern 8: Production Feedback Loops

Resources (Detailed Guides)

Templates

Project & Workflow Templates

Feature Engineering & EDA

Evaluation & Reporting

SQL Transformation (SQLMesh)

Navigation

External Resources

Fact-Checking

最新 Skills