# LLMOps

LLMOps（大语言模型操作）是一套全面的实践和流程，涵盖大型语言模型（如GPT系列）的开发、部署、维护和优化。LLMOps旨在确保这些强大AI模型的高效、可扩展和安全使用，以构建和运行现实世界的应用程序。它涉及模型训练、部署、监控、更新、安全.

下表展示了在使用 DIN 的服务层之前和之后，AI 应用开发各个阶段的差异：

| Steps                                          | Before                                                                                                   | After                                                                    | Save time |
| ---------------------------------------------- | -------------------------------------------------------------------------------------------------------- | ------------------------------------------------------------------------ | --------- |
| Developing Frontend & Backend for Applications | Integrating and encapsulating LLM capabilities requires a lot of time to develop front-end applications. | Directly use  backend services to develop based on a WebApp scaffold.    | -80%      |
| Prompt Engineering                             | Can only be done by calling APIs or Playground.                                                          | Debug based on the user's input data.                                    | -25%      |
| Data Preparation and Embedding                 | Writing code to implement long text data processing and embedding.                                       | Upload text or bind data sources to the platform.                        | -80%      |
| Application Logging and Analysis               | Writing code to record logs and accessing databases to view them.                                        | The platform provides real-time logging and analysis.                    | -70%      |
| Data Analysis and Fine-Tuning                  | Technical personnel manage data and create fine-tuning queues.                                           | Non-technical personnel can collaborate and adjust the model visually.   | -60%      |
| AI Plugin Development and Integration          | Writing code to create and integrate AI plugins.                                                         | The platform provides visual tools for creating and integrating plugins. | -50%      |

在使用 LLMOps 平台之前，基于 LLM 开发应用程序可能会繁琐且耗时。开发者需要独立处理每个阶段的任务，这导致了效率低下、扩展困难和安全问题。以下是在使用 LLMOps 平台之前的开发过程：

* **数据准备**：手动收集和预处理数据，可能涉及复杂的数据清理和标注工作，需要大量代码。
* **提示工程**：开发者只能通过 API 调用或 Playground 编写和调试提示，缺乏实时反馈和可视化调试。
* **嵌入和上下文管理**：手动处理长上下文的嵌入和存储，优化和扩展可能很具挑战性，需要相当多的编程工作，并熟悉模型嵌入和向量数据库。
* **应用监控与维护**：手动收集和分析性能数据，可能无法实时检测和解决问题，甚至可能缺乏日志记录。
* **模型微调**：独立管理微调数据的准备和训练过程，这可能导致效率低下，并需要更多的代码。
* **系统与操作**：开发管理后台需要技术人员参与或成本，增加开发和维护成本，且缺乏对协作和非技术用户的支持。

随着 LLMOps 平台的引入，基于 LLM 开发应用程序变得更加高效、可扩展和安全。以下是开发 LLM 应用的优势：

* **数据准备**：平台提供数据收集和预处理工具，简化数据清理和标注任务，最小化或消除编码工作。
* **提示工程**：所见即所得的提示编辑和调试，允许根据用户输入数据进行实时优化和调整。
* **嵌入和上下文管理**：自动处理长上下文的嵌入、存储和管理，提高效率和可扩展性，无需大量编码。
* **应用监控与维护**：实时监控性能数据，快速识别和解决问题，确保应用程序的稳定运行，并提供完整的日志记录。
* **模型微调**：平台提供基于之前标注的真实使用数据的一键微调功能，提高模型性能，减少编码工作。
* **系统与操作**：用户友好的界面可供非技术用户使用，支持多个团队成员之间的协作，降低开发和维护成本。与传统开发方法相比，服务层提供了更透明、易于监控的应用管理，使团队成员能够更好地理解应用的运行情况。


---

# Agent Instructions: Querying This Documentation

If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.

Perform an HTTP GET request on the current page URL with the `ask` query parameter:

```
GET https://docs.din.lol/din-cook-data-for-ai/chinese/din-cao-zuo-yu-jie-shao/comprehensive-network-architecture/fu-wu-ceng-ai-dai-li-gong-ju-bao/llmops.md?ask=<question>
```

The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.