广受欢迎的内存数据结构存储系统 Redis 最近发布了其增强版的查询引擎，恰逢向量数据库因在 GenAI 应用程序中的检索增强生成()功能而日益受到重视。
Redis 宣布对其查询引擎进行了重大改进，使用多线程来增强查询吞吐量，并确保低延迟。Redis 方面表示：
下图描述了 Redis 的垂直扩展设计。
Redis伸缩性设计
Redis 方面强调，随着文档数据量增长到数亿份，复杂查询可能会限制吞吐量，因此这一改进至关重要。Redis 声称其响应时间可以保持在亚毫秒级别，且查询的平均延迟低于 10 毫秒。
Redis 承认传统的单线程架构在处理某些操作时存在一定限制。他们解释说，长时间运行的查询在单线程环境中可能会导致系统拥堵，并降低整体的处理能力，特别是在使用倒排索引搜索数据等操作的情况下。
他们进一步阐述了搜索操作的复杂性：
Redis 方面表示，新的多线程方案有效地解决了这些问题，使 Redis 在保持高性能简单操作的同时，显著提高了如向量相似性搜索等计算密集型任务的吞吐量。
Redis 强调，“为了有效扩展搜索功能，需要将数据负载水平分布（即横向扩展）和垂直多线程化，以实现索引的并发访问（即纵向扩展）。”
单分片Redis多线程查询引擎主线程和线程池
上图描述了新的架构，多个查询同时进行，每个查询都在自己的独立线程中运行。Redis 概述了一个包含三个步骤的流程：
Redis 宣称，这种新架构不仅可以保持主线程对标准 Redis 操作的响应性，还能同时处理多个复杂查询，从而显著提升了整个系统的吞吐量和可扩展性。
为了验证查询引擎的性能，Redis 进行了广泛的基准测试，将其与三类向量数据库供应商进行了对比：纯向量数据库、具有向量能力的通用数据库和完全托管的内存 Redis 云服务供应商（CSP）。Redis 宣称，升级后的查询引擎在速度和可扩展性方面超越了纯向量数据库，同时在整体性能上显著超越了通用数据库和完全托管的 Redis 云服务供应商。
向量数据库市场近年来出现了显著增长，众多产品纷纷涌入这一领域。这种快速增长为新进入者和用户创造了一个充满挑战的环境。行业专家指出，市场上已经有太多可选择的向量数据库，这使得新入局的产品难以突出自身特点并确立独特的价值主张。
Reddit 首席工程师Doug Turnbull指出：
这种观点强调了在 AI 驱动的数据检索中，需要一个全面的解决方案来应对更广泛的挑战。
新的 Redis 查询引擎声称与前一代相比查询吞吐量提升了 16 倍。特别值得一提的是，查询引擎对 GenAI 应用的需求进行了优化，例如依赖实时RAG的聊天机器人，它们需要快速地处理多个步骤，同时从向量数据库中检索数据。
Gmail 作者Paul Buchheit提出了“”，即每个交互都应该在 100 毫秒内发生，以便让用户感觉是即时的。
在 RAG（检索增强生成）架构中，延迟涉及网络往返、LLM（大型语言模型）处理、GenAI（生成式人工智能）应用程序操作和向量数据库查询等环节，这些因素共同导致了平均端到端响应时间为 1513 毫秒（1.5 秒）。为了应对这一挑战，开发者需要重新审视他们的数据架构，以构建符合 100 毫秒法则的实时 GenAI 应用程序。实时RAG让应用程序在利用 AI 能力的同时保持快速响应，确保用户能够体验到近乎即时的交互并保持对应用程序的满意度和参与度。
Vectera 的Ofer Mendelevitch提醒我们，虽然向量数据库的性能至关重要，但它只是 AI 应用程序开发中整体大蓝图的一部分。
RisingWave Labs创始人对向量数据库的发展提供了补充观点：
Redis 通过强化其现有基础设施，与这一理念不谋而合，可能为开发者提供了一个更加集成化和高效率的解决方案。
全面的基准测试涉及了数据摄取和搜索工作负载评估。在数据摄取方面，Redis 测量了使用（)算法、近似最近邻（)搜索进行数据摄取和索引的时间。在查询方面，重点放在纯 K 最近邻（)搜索上，测量了每秒请求数（RPS）和包括往返时间（RTT）在内的平均客户端延迟。
Redis 对gist-960-euclidean、glove-100-angular、deep-image-96-angular、dbpedia-openai-1M-angular数据集进行了基准测试。这些数据集覆盖了不同的向量维度和距离度量方法，确保了测试的全面性。为了模拟真实环境，Redis 采用了行业标准的基准测试工具，如Qdrant的vector-db-benchmark，以确保测试结果的可靠性和可重复性。
尽管 Redis 在其基准测试中展示了卓越的性能，但综合其他行业参与者的见解同样重要。Redis 的一个竞争对手通过比较研究提供了对 Redis 性能的不同看法。此外，数据库即服务（DBaaS）管理平台提供商也分享了他们对 Redis 的见解。
新的查询引擎已加入到 Redis 中，并计划在秋季推出 Redis Cloud。要了解如何在 LangChain 框架中使用 Redis 向量数据库，请观看这个演示，它展示了这些技术如何被用来解决现实世界中的问题。有关向量数据库的更多信息，请观看这个PostgresML演示，并收听InfoQ播客，其中 Pinecone 向量数据库创始人兼首席执行官Edo Liberty分享了他对这些技术在 RAG 应用程序中应用的看法。
原文链接 ：
