归档: 2023/10 | fitpathly

2023

10

27

在为大型语言模型（LLM）构建部署流水线时，一个核心的挑战是定义“完成”标准。传统的软件工程中，二进制文件通过单元测试和集成测试后，其行为是相对确定的。但在MLOps领域，尤其是LLM，模型的产出具有统计性，其质量评估本质上是一个多维度、充

2023-10-27 MLOps

MLOps Kubernetes Spinnaker LLM Seaborn

27

我们面临一个棘手的工程问题。市场部门即将启动一个大型营销活动，落地页使用 Nuxt 3 构建的静态站点（SSG）以获得极致的加载性能和全球CDN分发能力。这个页面上有一个关键的“潜在客户”信息提交表单。后端的CRM系统集成服务是出了名的脆弱

2023-10-27 后端架构

TDD SSG Dead Letter Queue Pinia RabbitMQ Nuxt

27

接收第三方Webhook是一个看似简单实则充满陷阱的工程问题。当系统需要以高可用、可扩展的方式处理来自外部的、可能重复的、无序的事件时，架构设计上的任何一点疏忽都可能在生产环境中被无限放大。核心挑战可以归结为三点：如何确保消息不丢失？如何处

2023-10-27 后端架构

AWS SNS API与架构测试 Webhook Serverless

27

当数据湖的规模触及数PB级别，其核心的 Apache Iceberg 表数量成千上万时，一个严峻的挑战便浮出水面：如何实时洞察这些数据表的元数据变更？下游的ETL任务、数据质量监控、乃至数据治理平台，都极度依赖这些信息。例如，一个关键事实表

2023-10-27 数据工程

Node.js Apache Iceberg ActiveMQ Server-Sent Events (SSE) React Testing Library

27

项目初期，我们依赖一个纯 Python 的 Flask 应用对外提供命名实体识别（NER）服务，其核心是基于 spaCy 的一个定制化模型。随着内部平台用户量的增长，这个服务的性能瓶颈日益凸显。Python 的全局解释器锁（GIL）在高并发

2023-10-27 后端架构

Actix-web spaCy SAML GitHub Rust Python

27

失控的 MLOps 流程始于一个简单的 Python 脚本和 S3 存储桶。很快，模型版本变成了文件名，数据集变成了文件夹路径，实验参数散落在几十个 config.yaml 文件里。当线上模型出现性能衰减时，想要回答“这个模型究竟是用哪个版

2023-10-27 MLOps

Kubeflow Kubernetes Neo4j Laravel Frontend