跳过内容

流式传输

流式传输允许您订阅 Agent 运行的更新,并在其进行时接收更新。这对于向最终用户显示进度更新和部分响应非常有用。

要进行流式传输,您可以调用 Runner.run_streamed(),它将为您提供一个 RunResultStreaming。调用 result.stream_events() 会为您提供一个 StreamEvent 对象的异步流,如下文所述。

原始响应事件

RawResponsesStreamEvent 是直接从 LLM 传递的原始事件。它们采用 OpenAI Responses API 格式,这意味着每个事件都有一个类型(例如 response.createdresponse.output_text.delta 等)和数据。如果您希望在生成后立即将响应消息流式传输给用户,这些事件将非常有用。

例如,这将以 token 为单位输出 LLM 生成的文本。

import asyncio
from openai.types.responses import ResponseTextDeltaEvent
from agents import Agent, Runner

async def main():
    agent = Agent(
        name="Joker",
        instructions="You are a helpful assistant.",
    )

    result = Runner.run_streamed(agent, input="Please tell me 5 jokes.")
    async for event in result.stream_events():
        if event.type == "raw_response_event" and isinstance(event.data, ResponseTextDeltaEvent):
            print(event.data.delta, end="", flush=True)


if __name__ == "__main__":
    asyncio.run(main())

运行项事件和 Agent 事件

RunItemStreamEvent 是更高级别的事件。它们会通知您何时已完全生成一个项。这允许您在“消息生成”、“工具运行”等层面上推送进度更新,而不是每个 token。 类似地,AgentUpdatedStreamEvent 会在当前 Agent 更改时(例如,作为交接的结果)向您提供更新。

例如,这将忽略原始事件并向用户流式传输更新。

import asyncio
import random
from agents import Agent, ItemHelpers, Runner, function_tool

@function_tool
def how_many_jokes() -> int:
    return random.randint(1, 10)


async def main():
    agent = Agent(
        name="Joker",
        instructions="First call the `how_many_jokes` tool, then tell that many jokes.",
        tools=[how_many_jokes],
    )

    result = Runner.run_streamed(
        agent,
        input="Hello",
    )
    print("=== Run starting ===")

    async for event in result.stream_events():
        # We'll ignore the raw responses event deltas
        if event.type == "raw_response_event":
            continue
        # When the agent updates, print that
        elif event.type == "agent_updated_stream_event":
            print(f"Agent updated: {event.new_agent.name}")
            continue
        # When items are generated, print them
        elif event.type == "run_item_stream_event":
            if event.item.type == "tool_call_item":
                print("-- Tool was called")
            elif event.item.type == "tool_call_output_item":
                print(f"-- Tool output: {event.item.output}")
            elif event.item.type == "message_output_item":
                print(f"-- Message output:\n {ItemHelpers.text_message_output(event.item)}")
            else:
                pass  # Ignore other event types

    print("=== Run complete ===")


if __name__ == "__main__":
    asyncio.run(main())