w
water wei
  1. 需求背景
当前项目中存在大量 local 和 cloud 部署的区分，非技术用户面对这个区别，使用上有学习成本；而技术开发者面对这个区别，也有额外的适配工作要处理。客观上当前基于openai 的 api 进行开发已经变成了事实标准，qanything 当前项目中使用了 fastchat 兼容 openai 的 llm api；社区中还有另外的类似 fastchat明星项目 xinference 不但兼容 llm，也已经把Embedding、reranking 这类模型也兼容 openai 了。
  1. 用户故事
  • 作为一个非技术用户，我需求 qanything 能一键部署，开箱即用。而不是在run.sh时，还需要区分 local 和 cloud 的细微差别。
  • 作为选型 rag 产品的项目经理，我前期基于 openai api 已经储备了大量的测试用例。我希望能qanything 能兼容 openai api ，这样我能快速知道 qanything 到底适合不适合我。
  • 作为一个基于 qanything 进行agent开发的开发者，我能找到大量基于 openai api 的代码作为参考，我需要能把这些代码直接移植，而不需要额外的调试和修改。
  1. 功能描述
兼容openai api