Azure OpenAI 服务多节点连接服务
config/config.yaml
格式:
AZURE_OPENAI: # 固定名称
api_type: "azure" # 固定名称
api_version: "2023-12-01-preview" # 你的api版本
regions: # 你的不同区域的配置信息
Japan: # 假设你在日本有个节点,可以取名为Japan,方便区分节点
api_base: "https://xxx.openai.azure.com/" # 日本节点的api_base
available_models: [
"gpt-4", "gpt-4-1106-preview", "gpt-35-turbo", "gpt-35-turbo-16k"] # 你在该节点下部署的模型名称
region2: # 其他节点仿照日本节点配置
...
参见llm.azure_openai.py
python -m unittest test.test_azure_openai