fitpathly
本站致力于IT相关技术的分享
  文章分类
架构设计 5 可观测性 3 MLOps 5 后端架构 5 移动端架构 1 可观测性与韧性工程 1 数据工程与存储 2 数据工程 1 分布式架构 2 云原生与DevOps 1 架构与设计 2 平台工程 1 API Gateway 1
集成 Keras Kubeflow 与 Solid.js 构建模型推理的实时可观测性前端 集成 Keras Kubeflow 与 Solid.js 构建模型推理的实时可观测性前端
模型通过 Kubeflow 管道成功部署到生产环境，这通常被视为终点，但在我的团队里，这恰恰是问题的开始。一个已经部署的 Keras 模型就像一个黑盒，标准的 Kubernetes 指标（CPU、内存）告诉你容器是否存活，却无法回答关键业务
2023-11-15 MLOps
可观测性 Solid.js Kubeflow Keras
在 AWS Lambda 中集成 Consul Connect 实现基于 mTLS 的 MLOps 模型安全调用 在 AWS Lambda 中集成 Consul Connect 实现基于 mTLS 的 MLOps 模型安全调用
在一个不断扩展的MLOps平台中，我们面临一个日益棘手的架构问题：数百个部署为AWS Lambda函数的模型需要以安全、可审计且敏捷的方式，调用一组VPC内的后端微服务（如特征存储、日志服务、结果写入器）。这些服务可能部署在EC2、ECS或
2023-10-27 MLOps
Ansible NumPy AWS Lambda MLOps Consul Connect
构建基于 Laravel 与 Neo4j 的 MLOps 血缘追踪系统以纳管 Kubeflow 工作流 构建基于 Laravel 与 Neo4j 的 MLOps 血缘追踪系统以纳管 Kubeflow 工作流
失控的 MLOps 流程始于一个简单的 Python 脚本和 S3 存储桶。很快，模型版本变成了文件名，数据集变成了文件夹路径，实验参数散落在几十个 config.yaml 文件里。当线上模型出现性能衰减时，想要回答“这个模型究竟是用哪个版
2023-10-27 MLOps
Kubeflow Kubernetes Neo4j Laravel Frontend
集成Seaborn程序化可视报告的Spinnaker LLM MLOps流水线质量门设计 集成Seaborn程序化可视报告的Spinnaker LLM MLOps流水线质量门设计
在为大型语言模型（LLM）构建部署流水线时，一个核心的挑战是定义“完成”标准。传统的软件工程中，二进制文件通过单元测试和集成测试后，其行为是相对确定的。但在MLOps领域，尤其是LLM，模型的产出具有统计性，其质量评估本质上是一个多维度、充
2023-10-27 MLOps
MLOps Spinnaker LLM Seaborn Kubernetes
构建基于 Packer 镜像的标准化 AI 服务单元集成 NestJS 与 BentoML on Ray 构建基于 Packer 镜像的标准化 AI 服务单元集成 NestJS 与 BentoML on Ray
团队里数据科学家交付的模型越来越多，但工程侧的部署效率却成了瓶颈。每个新模型都伴随着一套临时的 Flask API、一个手写的、充满“最佳实践”却无人维护的 Dockerfile，以及一套在 Wiki 上都找不到的部署脚本。结果就是，模型迭
2023-10-27 MLOps
Packer BentoML NestJS Ray