PHP大模型深度学习库TransformersPHP

程序员咋不秃头 2024-08-25 01:57:45

概述

TransformersPHP是一个工具包,PHP开发人员可以轻松地将机器学习魔法添加到他们的项目中。你可能听说过Hugging Face的Python库,它以处理文本而闻名,比如总结长文章,在语言之间进行翻译,甚至是与图像和音频相关的任务。Transformers PHP将这种能力带到了PHP世界。

TransformersPHP被设计为在功能上等同于Python库,同时仍然保持相同的性能和易用性。这个库建立在Hugging Face的Transformers库之上,该库提供了100多种语言的数千个预训练模型。它被设计成一个简单易用的库,供PHP开发人员使用类似于Python库的API。这些模型可用于各种任务,包括文本生成、摘要、翻译等。

TransformersPHP使用ONNX运行时来运行模型,这是开放神经网络交换(ONNX)模型的高性能评分引擎。您可以轻松地将任何PyTorch或TensorFlow模型转换为ONNX,并使用TensorOptimum与TransformersPHP一起使用。

官方文档:https://codewithkyrian.github.io/transformers-php

使用预训练模型

TransformersPHP背后的核心思想是让你使用已经训练好的模型。“预训练模型”只是从大量文本数据中获得和学习的机器学习模型。它们已经准备好开箱即用,可以执行各种任务。使用TransformersPHP,这些模型直接在PHP应用程序中运行。这意味着您不需要使用外部服务或API来处理数据。一切都发生在本地,在你的服务器上。

什么是ONNX?

ONNX引擎看起来似乎是一个复杂的术语,但它本质上是一个高性能引擎,旨在推断和加速机器学习模型。开放神经网络交换(ONNX)格式是该引擎的核心,是机器学习模型的通用格式。这意味着无论最初使用哪个框架来训练模型-无论是PyTorch,TensorFlow,JAX,甚至是经典的机器学习库,如scikit-learn,LightGBM,XGBoost等-可以转换为ONNX格式。这种格式可以在不同的平台上高效运行,包括PHP应用程序。

灵感

TransformersPHP的开发受到Xenova/transformers项目的启发,Xenova/transformers项目也是一个类似的使用ONNX运行时的JavaScript项目。这种共享的灵感意味着大多数为Xenova/transformers准备的模型也与TransformersPHP兼容。它在机器学习世界和PHP开发之间创建了一个无缝的桥梁,允许您在应用程序中利用强大的模型。

快速浏览

Python

from transformers import pipeline# Allocate a pipeline for sentiment-analysispipe = pipeline('sentiment-analysis')out = pipe('I love transformers!')# [{'label': 'POSITIVE', 'score': 0.999806941}]

PHP

use function Codewithkyrian\Transformers\Pipelines\pipeline;// Allocate a pipeline for sentiment-analysis$pipe = pipeline('sentiment-analysis');$out = $pipe('I love transformers!');// [{'label': 'POSITIVE', 'score': 0.999808732}]

Javascript

import {pipeline} from '@xenova/transformers';// Allocate a pipeline for sentiment-analysislet pipe = await pipeline('sentiment-analysis');let out = await pipe('I love transformers!');// [{'label': 'POSITIVE', 'score': 0.999817686}]

你可以看到它在不同语言之间是多么的相似,如果你在它们之间切换或学习一种新的语言,这会让你更容易。

特性本地模型执行。直接在PHP项目中部署大量NLP模型,无需依赖外部API即可实现语言理解、文本生成等功能。易于集成。轻松地将高级AI功能嵌入到您的PHP应用程序中,通过文本分类和实体识别等功能对其进行增强。针对性能进行了优化。享受快速处理和高效的资源使用,允许跨任何规模的项目提供可扩展的AI解决方案,而不会牺牲速度或性能。安装

您可以通过Composer安装库。这是安装库的推荐方法:

composer require codewithkyrian/transformers

TransformersPHP所需的所有共享库都将自动安装。如果由于某种原因失败,您可以使用以下命令手动安装它们:

./vendor/bin/transformers install

说明:共享库是特定于平台的,因此在执行代码的目标平台上运行composerrequire或transformers install命令非常重要。在大多数情况下,这将是您的开发机器或部署应用程序的服务器,但如果您使用Docker容器,请在该容器中运行composer require命令。

就是这样!现在您已经准备好在PHP应用程序中使用TransformersPHP了。

预下载模型

默认情况下,当您第一次使用管道或预训练模型时,TransformersPHP会自动从Hugging Face模型中心检索模型权重(ONNX格式)。为了节省时间并增强用户体验,最好提前下载ONNX型号权重,尤其是对于较大的型号。TransformersPHP包含一个命令行工具来促进这一点:

./vendor/bin/transformers download <model_name_or_path> [<task>] [options]

例如,要下载Xenova/bert-base-uncased模型,您可以运行:

./vendor/bin/transformers download Xenova/bert-base-uncased基本用法

开始使用TransformersPHP的最快和最直接的方法是通过管道API。如果您熟悉Python的Transformers库,您会发现这种方法非常相似。它是一个用户友好的API,将模型与特定任务的所有必要预处理和后处理步骤捆绑在一起。

创建管道

要创建管道,您需要指定要使用它的任务。例如,如果你想使用一个管道进行情感分析,你可以创建一个这样的管道:

use function Codewithkyrian\Transformers\Pipelines\pipeline;$classifier = pipeline('sentiment-analysis');

第一次运行时,TransformersPHP将下载并缓存默认的预训练模型,以进行即时情绪分析。这个初始设置可能需要一点时间,但随后的运行会快得多。

使用不同的模型

每个任务都有一个用于推理的默认模型。但是,您可以指定要使用的其他模型:

$classifier = pipeline('sentiment-analysis', 'Xenova/bert-base-multilingual-uncased-sentiment');

您还可以指定是否应使用量化模型(默认值为true):

$classifier = pipeline('sentiment-analysis', quantized: false);

使用流水线

现在你已经有了管道,使用它就像调用一个函数一样简单。只需提供您想要分析的文本即可:

$result = $classifier('I love TransformersPHP!');

你会得到情感分析结果

['label' => 'POSITIVE', 'score' => 0.9995358059835]

你不限于一次一个文本,你也可以传递一个文本数组来获得多个分析:

$results = $classifier([ 'I love TransformersPHP!', 'I hate TransformersPHP!',]);

输出将为您提供每个文本的情感评分

[ ['label' => 'POSITIVE', 'score' => 0.99980061678407], ['label' => 'NEGATIVE', 'score' => 0.99842234422764],]
0 阅读:0