导航：首页 > 互联网科技 >

怎么为机器学习工程设计Python接口

发表于：2024-11-25 作者：千家信息网编辑

千家信息网最后更新 2024年11月25日，本篇内容主要讲解"怎么为机器学习工程设计Python接口"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"怎么为机器学习工程设计Python接口"吧!1.预测

千家信息网最后更新 2024年11月25日怎么为机器学习工程设计Python接口

本篇内容主要讲解"怎么为机器学习工程设计Python接口"，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习"怎么为机器学习工程设计Python接口"吧!

1.预测器只是一个Python类

Cortex的核心是我们的预测器，它本质上是一个预测API，包括所有的请求处理代码和依赖关系。预测器接口为这些预测api实施了一些简单的需求。

因为Cortex采用微服务的方式来进行模型服务，预测器界面严格关注两件事:

初始化模型
提供预测

在这种精神下，Cortex的预测界面需要两种功能，即剩余的init__()和predict()，它们或多或少做你所期望的事情:

import torchfrom transformers import pipeline
class PythonPredictor:    def __init__(self, config):        # Use GPUs, if available        device = 0 if torch.cuda.is_available() else -1        # Initialize model        self.summarizer = pipeline(task="summarization", device=device)
    def predict(self, payload):        # Generate prediction        summary = self.summarizer(            payload["text"], num_beams=4, length_penalty=2.0, max_length=142, no_repeat_ngram_size=3        )        # Return prediction        return summary[0]["summary_text"]

初始化之后，您可以将一个预测器看作一个Python对象，当用户查询端点时，将调用它的单个predict()函数。

这种方法的最大好处之一是，对于任何有软件工程经验的人来说，它都是直观的。不需要接触数据管道或模型训练代码。模型只是一个文件，而预测器只是一个导入模型并运行predict()方法的对象。

然而，除了语法上的吸引力之外，这种方法还提供了一些关键的好处，即它如何补充了皮层更广泛的方法。

2. 预测只是一个HTTP请求

为生产中提供预测服务而构建接口的复杂性之一是，输入几乎肯定会与模型的训练数据不同，至少在格式上是这样。

这在两个层面上起作用:

POST请求的主体不是一个NumPy数组，也不是您的模型用来处理的任何数据结构。

机器学习工程就是使用模型来构建软件，这通常意味着使用模型来处理它们没有受过训练的数据，例如使用GPT-2来编写民间音乐。

因此，预测器接口不能对预测API的输入和输出固执己见。预测只是一个HTTP请求，开发人员可以随意处理它。例如，如果他们想部署一个多模型端点，并基于请求参数查询不同的模型，他们可以这样做:

import torchfrom transformers import pipelinefrom starlette.responses import JSONResponse
class PythonPredictor:    def __init__(self, config):        self.analyzer = pipeline(task="sentiment-analysis")        self.summarizer = pipeline(task="summarization")
    def predict(self, query_params, payload):        model_name = query_params.get("model")        if model_name == "sentiment":            return self.analyzer(payload["text"])[0]        elif model_name == "summarizer":            summary = self.summarizer(payload["text"])[0]        else:            return JSONResponse({"error": f"unknown model: {model_name}"}, status_code=400)