@happ-integ/llm

LLM сервис с автоматическим fallback между провайдерами.

Установка

pnpm add @happ-integ/llm

Провайдеры

Провайдер	Описание
openai	OpenAI GPT-4, GPT-3.5
claude	Anthropic Claude
gemini	Google Gemini
groq	Groq (Llama 3.3 70B)

Использование

Базовое использование

import { LLMService } from "@happ-integ/llm";

const llm = new LLMService({
	primary: "groq",
	secondary: "claude", // fallback при ошибке
	env,
});

// Chat
const response = await llm.chat({
	messages: [
		{ role: "system", content: "Ты помощник" },
		{ role: "user", content: "Привет!" },
	],
	model: "llama-3.3-70b-versatile", // опционально
	temperature: 0.7, // опционально
});

console.log(response.text);
console.log(response.usage); // { promptTokens, completionTokens, totalTokens }

Embeddings

// Один текст
const embedding = await llm.embedding({
	text: "Hello world",
	model: "text-embedding-3-small", // опционально
});
// => number[] (вектор)

// Несколько текстов
const embeddings = await llm.embeddings({
	texts: ["Hello", "World"],
});
// => number[][] (массив векторов)

Автоматический Fallback

При ошибке primary провайдера автоматически используется secondary:

const llm = new LLMService({
	primary: "groq",
	secondary: "claude",
	env,
});

// Если Groq недоступен → автоматически Claude
const response = await llm.chat({ messages });

Fallback логируется в консоль:

Primary provider (openai) failed, falling back to claude: Error...

API

LLMService

new LLMService(config: ILLMServiceConfig)

Config:

Параметр	Тип	Описание
primary	"openai" | "claude" | "gemini" | "groq"	Primary провайдер
secondary	"openai" | "claude" | "gemini" | "groq"	Fallback провайдер (опционально)
openaiKey	string	OpenAI API Key
claudeKey	string	Anthropic API Key
geminiKey	string	Google Gemini API Key
groqKey	string	Groq API Key

Методы

chat(params): Promise<ILLMChatResponse>

interface ILLMChatParams {
	messages: Array<{
		role: "system" | "user" | "assistant";
		content: string;
	}>;
	model?: string;
	temperature?: number;
	maxTokens?: number;
}

interface ILLMChatResponse {
	text: string;
	usage: {
		promptTokens: number;
		completionTokens: number;
		totalTokens: number;
	};
}

embedding(params): Promise<number[]>

interface ILLMEmbeddingParams {
	text: string;
	model?: string;
}

embeddings(params): Promise<number[][]>

interface ILLMEmbeddingsParams {
	texts: string[];
	model?: string;
}

Прямой доступ к провайдерам

Для специфичных возможностей можно использовать провайдеры напрямую:

import { OpenAIService, ClaudeService, GeminiService, GroqService } from "@happ-integ/llm";

const openai = new OpenAIService(apiKey);
const claude = new ClaudeService(apiKey);
const gemini = new GeminiService(apiKey);
const groq = new GroqService(apiKey);