产品功能

  • - 提供易用、可靠的 AI 网关集成服务，支持 100 多种大语言模型和版本。
  • - 提供开源和云上商业化版本的 AI 网关。
  • - 提供一站式的 AI 插件集和增强后端模型调度处理能力。
  • - 支持多模型代理，能够统一调用方式转发不同大模型的请求，支持模型级 Fallback。
  • - 保护和大模型交互时的数据安全，对输入和输出的数据进行隐私保护和内容过滤。
  • - 支持精确缓存及语义缓存推理的结果上下文，节省 Token 并减小时延。
  • - 对大模型使用的 Token 数量进行追踪和限流，管理调用 AI 服务中的用户额度。
应用市场介绍

**产品介绍**：

Higress AI网关，提供多模型灵活切换与兜底重试，确保服务稳定，同时保障大模型内容安全合规，提升数据安全性。语义化缓存机制可优化效率，实现资源优化。支持大模型流量灰度，确保平稳过渡，并提供调用成本审计，助力成本控制。支持100多种大语言模型和版本，提供开源及云上商业化版本，配套一站式AI插件集和增强后端模型调度处理能力，保护数据安全并追踪管理Token使用。

收起

用户评价

立即分享产品体验

你的真实体验，为其他用户提供宝贵参考

宝石
评论可得 100 宝石
宝石随心兑换应用高级会员，每周更新 前往查看 >>
活动动态 共 0 人参加
查看更多评论