Groq is Fast AI Inference

产品功能

• - 提供快速的人工智能推理服务，支持开源模型如Llama 3.1。
• - 通过更改三行代码，可以轻松从其他提供商如OpenAI迁移到Groq。
• - 提供与OpenAI端点的兼容性，允许用户设置Groq API Key和选择模型运行。
• - 声称其速度即时，并通过Artificial Analysis的独立基准测试证明其基础开源模型的快速推理能力。
• - 支持市场上领先的开源AI模型，如LLAMA、MIXTRAL、GEMMA和WHISPER。
• - 提供全球访问的GroqCloud™服务，包括公共、私有和共云实例。
• - 提供开发者层级，支持更高的速率限制和批量API 25%的折扣。
• - 提供Flex Tier beta访问，支持按需处理，适用于优先快速推理的工作负载。
• - 引入新的用例，支持在Groq速度下运行的AI应用程序。