Ollama для агентов

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # любое значение
)

response = client.chat.completions.create(
    model="qwen3.5:4b",
    messages=[{"role": "user", "content": "Привет! Как дела?"}]
)
print(response.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"
)

# Описываем инструменты
tools = [{
    "type": "function",
    "function": {
        "name": "get_weather",
        "description": "Получить погоду для города",
        "parameters": {
            "type": "object",
            "properties": {
                "city": {"type": "string", "description": "Название города"}
            },
            "required": ["city"]
        }
    }
}]

# Модель решает, нужен ли инструмент
response = client.chat.completions.create(
    model="qwen3.5:4b",
    messages=[{"role": "user", "content": "Какая погода в Токио?"}],
    tools=tools
)

message = response.choices[0].message
if message.tool_calls:
    for tool_call in message.tool_calls:
        name = tool_call.function.name
        args = tool_call.function.arguments
        print(f"Модель вызвала: {name}({args})")
else:
    print(f"Ответ модели: {message.content}")

from openai import OpenAI
import json

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"
)

# Реальные функции, которые будет вызывать агент
def search_web(query: str) -> str:
    """Поиск в интернете (заглушка для примера)"""
    return f"Результаты поиска по запросу '{query}': найдено 42 страницы"

def calculate(expression: str) -> str:
    """Вычисление математического выражения"""
    try:
        return str(eval(expression))
    except:
        return "Ошибка вычисления"

AVAILABLE_TOOLS = {
    "search_web": search_web,
    "calculate": calculate,
}

TOOL_SCHEMAS = [{
    "type": "function",
    "function": {
        "name": "search_web",
        "description": "Поиск информации в интернете",
        "parameters": {
            "type": "object",
            "properties": {
                "query": {"type": "string", "description": "Поисковый запрос"}
            },
            "required": ["query"]
        }
    }
}, {
    "type": "function",
    "function": {
        "name": "calculate",
        "description": "Вычисление математического выражения",
        "parameters": {
            "type": "object",
            "properties": {
                "expression": {"type": "string", "description": "Выражение"}
            },
            "required": ["expression"]
        }
    }
}]

def agent_loop(user_input: str, max_steps: int = 5):
    """Полный агентский цикл на OpenAI SDK + Ollama."""
    
    messages = [{"role": "user", "content": user_input}]
    
    for step in range(max_steps):
        response = client.chat.completions.create(
            model="qwen3.5:4b",
            messages=messages,
            tools=TOOL_SCHEMAS
        )
        
        msg = response.choices[0].message
        messages.append(msg)
        
        if msg.tool_calls:
            for tc in msg.tool_calls:
                name = tc.function.name
                args = json.loads(tc.function.arguments)
                
                print(f"  ▶ Шаг {step+1}: {name}({args})")
                
                # Выполняем функцию
                result = AVAILABLE_TOOLS[name](**args)
                
                messages.append({
                    "role": "tool",
                    "tool_call_id": tc.id,
                    "content": result
                })
        else:
            return msg.content
    
    return "Достигнут лимит шагов"

# Тест
result = agent_loop("Сколько будет 2 + 2 * 3? И найди информацию про AI-агентов")
print(f"\nОтвет: {result}")

from openai import OpenAI
from pydantic import BaseModel

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"
)

class UserData(BaseModel):
    name: str
    age: int
    city: str

completion = client.beta.chat.completions.parse(
    model="qwen3.5:4b",
    messages=[{"role": "user", "content": "Извлеки: Иван, 25, Москва"}],
    response_format=UserData,
)

user = completion.choices[0].message.parsed
print(f"Имя: {user.name}, Возраст: {user.age}, Город: {user.city}")

stream = client.chat.completions.create(
    model="qwen3.5:4b",
    messages=[{"role": "user", "content": "Напиши рассказ про робота"}],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)