AgentDB 向量搜索：比传统方案快150倍的高性能语义搜索工具

AgentDB Vector Search by chrislemke/stoffy

GitHub

安装命令

npx skills add https://github.com/chrislemke/stoffy --skill 'AgentDB Vector Search'

AI/机器学习 Node.js 数据库

🇨🇳中文介绍

AgentDB 向量搜索

功能概述

利用 AgentDB 的高性能向量数据库实现基于向量的语义搜索，其操作速度比传统解决方案快 150 倍至 12,500 倍。具备 HNSW 索引、量化和亚毫秒级搜索（<100µs）功能。

先决条件

Node.js 18+
AgentDB v1.0.7+（通过 agentic-flow 或独立安装）
OpenAI API 密钥（用于嵌入）或自定义嵌入模型

使用 CLI 快速开始

初始化向量数据库

# 使用默认维度初始化（OpenAI ada-002 为 1536）
npx agentdb@latest init ./vectors.db

# 为不同的嵌入模型自定义维度
npx agentdb@latest init ./vectors.db --dimension 768  # sentence-transformers
npx agentdb@latest init ./vectors.db --dimension 384  # all-MiniLM-L6-v2

# 使用预设配置
npx agentdb@latest init ./vectors.db --preset small   # <10K 向量
npx agentdb@latest init ./vectors.db --preset medium  # 10K-100K 向量
npx agentdb@latest init ./vectors.db --preset large   # >100K 向量

# 用于测试的内存数据库
npx agentdb@latest init ./vectors.db --in-memory

查询向量数据库

# 基础相似性搜索
npx agentdb@latest query ./vectors.db "[0.1,0.2,0.3,...]"

# Top-k 结果
npx agentdb@latest query ./vectors.db "[0.1,0.2,0.3]" -k 10

# 带相似度阈值（余弦相似度）
npx agentdb@latest query ./vectors.db "0.1 0.2 0.3" -t 0.75 -m cosine

# 不同的距离度量
npx agentdb@latest query ./vectors.db "[...]" -m euclidean  # L2 距离
npx agentdb@latest query ./vectors.db "[...]" -m dot        # 点积

# 用于自动化的 JSON 输出
npx agentdb@latest query ./vectors.db "[...]" -f json -k 5

# 带距离的详细输出
npx agentdb@latest query ./vectors.db "[...]" -v

导入/导出向量

# 将向量导出为 JSON
npx agentdb@latest export ./vectors.db ./backup.json

# 从 JSON 导入向量
npx agentdb@latest import ./backup.json

# 获取数据库统计信息
npx agentdb@latest stats ./vectors.db

使用 API 快速开始

import { createAgentDBAdapter, computeEmbedding } from 'agentic-flow/reasoningbank';

// 使用向量搜索优化进行初始化
const adapter = await createAgentDBAdapter({
  dbPath: '.agentdb/vectors.db',
  enableLearning: false,       // 仅向量搜索
  enableReasoning: true,       // 启用语义匹配
  quantizationType: 'binary',  // 内存减少 32 倍
  cacheSize: 1000,             // 快速检索
});

// 存储带嵌入的文档
const text = "The quantum computer achieved 100 qubits";
const embedding = await computeEmbedding(text);

await adapter.insertPattern({
  id: '',
  type: 'document',
  domain: 'technology',
  pattern_data: JSON.stringify({
    embedding,
    text,
    metadata: { category: "quantum", date: "2025-01-15" }
  }),
  confidence: 1.0,
  usage_count: 0,
  success_count: 0,
  created_at: Date.now(),
  last_used: Date.now(),
});

// 使用 MMR（最大边际相关性）进行语义搜索
const queryEmbedding = await computeEmbedding("quantum computing advances");
const results = await adapter.retrieveWithReasoning(queryEmbedding, {
  domain: 'technology',
  k: 10,
  useMMR: true,              // 多样化结果
  synthesizeContext: true,    // 丰富的上下文
});

核心功能

1. 向量存储

// 自动嵌入存储
await db.storeWithEmbedding({
  content: "Your document text",
  metadata: { source: "docs", page: 42 }
});

2. 相似性搜索

// 查找相似文档
const similar = await db.findSimilar("quantum computing", {
  limit: 5,
  minScore: 0.75
});

3. 混合搜索（向量 + 元数据）

// 结合向量相似性和元数据过滤
const results = await db.hybridSearch({
  query: "machine learning models",
  filters: {
    category: "research",
    date: { $gte: "2024-01-01" }
  },
  limit: 20
});

高级用法

RAG（检索增强生成）

// 构建 RAG 管道
async function ragQuery(question: string) {
  // 1. 获取相关上下文
  const context = await db.searchSimilar(
    await embed(question),
    { limit: 5, threshold: 0.7 }
  );

  // 2. 使用上下文生成答案
  const prompt = `Context: ${context.map(c => c.text).join('\n')}
Question: ${question}`;

  return await llm.generate(prompt);
}

批量操作

// 高效的批量存储
await db.batchStore(documents.map(doc => ({
  text: doc.content,
  embedding: doc.vector,
  metadata: doc.meta
})));

MCP 服务器集成

# 为 Claude Code 启动 AgentDB MCP 服务器
npx agentdb@latest mcp

# 添加到 Claude Code（一次性设置）
claude mcp add agentdb npx agentdb@latest mcp

# 现在可以在 Claude Code 中使用 MCP 工具：
# - agentdb_query: 语义向量搜索
# - agentdb_store: 存储带嵌入的文档
# - agentdb_stats: 数据库统计信息

性能基准测试

# 运行全面的基准测试
npx agentdb@latest benchmark

# 结果：
# ✅ 模式搜索：快 150 倍（100µs 对比 15ms）
# ✅ 批量插入：快 500 倍（100 个向量 2ms 对比 1s）
# ✅ 大规模查询：快 12,500 倍（1M 向量 8ms 对比 100s）
# ✅ 内存效率：通过量化减少 4-32 倍

量化选项

AgentDB 提供多种量化策略以提高内存效率：

二进制量化（减少 32 倍）

const adapter = await createAgentDBAdapter({
  quantizationType: 'binary',  // 768 维 → 96 字节
});

标量量化（减少 4 倍）

const adapter = await createAgentDBAdapter({
  quantizationType: 'scalar',  // 768 维 → 768 字节
});

乘积量化（减少 8-16 倍）

const adapter = await createAgentDBAdapter({
  quantizationType: 'product',  // 768 维 → 48-96 字节
});

距离度量

# 余弦相似度（默认，适用于大多数用例）
npx agentdb@latest query ./db.sqlite "[...]" -m cosine

# 欧几里得距离（L2 范数）
npx agentdb@latest query ./db.sqlite "[...]" -m euclidean

# 点积（用于归一化向量）
npx agentdb@latest query ./db.sqlite "[...]" -m dot

高级功能

HNSW 索引

O(log n) 搜索复杂度
亚毫秒级检索 (<100µs)
自动索引构建

缓存

1000 个模式的内存缓存
< 1ms 模式检索
自动缓存失效

MMR（最大边际相关性）

多样化的结果集
避免冗余
平衡相关性和多样性

性能优化建议

启用 HNSW 索引：AgentDB 自动启用，速度快 10-100 倍
使用量化：二进制（减少 32 倍）、标量（减少 4 倍）、乘积（减少 8-16 倍）内存
批量操作：批量插入速度快 500 倍
匹配维度：1536（OpenAI）、768（sentence-transformers）、384（MiniLM）
相似度阈值：从 0.7 开始以保证质量，根据用例调整
启用缓存：为频繁查询设置 1000 个模式缓存

故障排除

问题：搜索性能慢

# 检查 HNSW 索引是否启用（自动）
npx agentdb@latest stats ./vectors.db

# 预期：搜索时间 <100µs

问题：内存使用率高

# 启用二进制量化（减少 32 倍）
# 在适配器中使用：quantizationType: 'binary'

问题：相关性差

# 调整相似度阈值
npx agentdb@latest query ./db.sqlite "[...]" -t 0.8  # 更高阈值

# 或使用 MMR 获取多样化结果
# 在适配器中使用：useMMR: true

问题：维度错误

# 检查嵌入模型维度：
# - OpenAI ada-002: 1536
# - sentence-transformers: 768
# - all-MiniLM-L6-v2: 384

npx agentdb@latest init ./db.sqlite --dimension 768

数据库统计信息

# 获取全面的统计信息
npx agentdb@latest stats ./vectors.db

# 显示：
# - 总模式/向量数
# - 数据库大小
# - 平均置信度
# - 领域分布
# - 索引状态

性能特征

向量搜索：<100µs（HNSW 索引）
模式检索：<1ms（带缓存）
批量插入：100 个向量 2ms
内存效率：通过量化减少 4-32 倍
可扩展性：高效处理 1M+ 向量
延迟：大多数操作亚毫秒级

了解更多

GitHub：https://github.com/ruvnet/agentic-flow/tree/main/packages/agentdb
文档：node_modules/agentic-flow/docs/AGENTDB_INTEGRATION.md
MCP 集成：npx agentdb@latest mcp 用于 Claude Code
网站：https://agentdb.ruv.io
CLI 帮助：npx agentdb@latest --help
命令帮助：npx agentdb@latest help <command>

每周安装量

代码仓库

chrislemke/stoffy

首次出现

1970年1月1日

安全审计

Gen Agent Trust HubWarn SocketPass SnykPass

🇺🇸English

AgentDB Vector Search

What This Skill Does

Implements vector-based semantic search using AgentDB's high-performance vector database with 150x-12,500x faster operations than traditional solutions. Features HNSW indexing, quantization, and sub-millisecond search (<100µs).

Prerequisites

Node.js 18+
AgentDB v1.0.7+ (via agentic-flow or standalone)
OpenAI API key (for embeddings) or custom embedding model

Quick Start with CLI

Initialize Vector Database

# Initialize with default dimensions (1536 for OpenAI ada-002)
npx agentdb@latest init ./vectors.db

# Custom dimensions for different embedding models
npx agentdb@latest init ./vectors.db --dimension 768  # sentence-transformers
npx agentdb@latest init ./vectors.db --dimension 384  # all-MiniLM-L6-v2

# Use preset configurations
npx agentdb@latest init ./vectors.db --preset small   # <10K vectors
npx agentdb@latest init ./vectors.db --preset medium  # 10K-100K vectors
npx agentdb@latest init ./vectors.db --preset large   # >100K vectors

# In-memory database for testing
npx agentdb@latest init ./vectors.db --in-memory

Query Vector Database

# Basic similarity search
npx agentdb@latest query ./vectors.db "[0.1,0.2,0.3,...]"

# Top-k results
npx agentdb@latest query ./vectors.db "[0.1,0.2,0.3]" -k 10

# With similarity threshold (cosine similarity)
npx agentdb@latest query ./vectors.db "0.1 0.2 0.3" -t 0.75 -m cosine

# Different distance metrics
npx agentdb@latest query ./vectors.db "[...]" -m euclidean  # L2 distance
npx agentdb@latest query ./vectors.db "[...]" -m dot        # Dot product

# JSON output for automation
npx agentdb@latest query ./vectors.db "[...]" -f json -k 5

# Verbose output with distances
npx agentdb@latest query ./vectors.db "[...]" -v

广告位招租

在这里展示您的产品或服务

触达数万 AI 开发者，精准高效

联系我们

AgentDB 向量搜索：比传统方案快150倍的高性能语义搜索工具

🇨🇳中文介绍

AgentDB 向量搜索

功能概述

先决条件

使用 CLI 快速开始

初始化向量数据库

查询向量数据库

导入/导出向量

使用 API 快速开始

核心功能

1. 向量存储

2. 相似性搜索

3. 混合搜索（向量 + 元数据）

高级用法

RAG（检索增强生成）

批量操作

MCP 服务器集成

性能基准测试

量化选项

二进制量化（减少 32 倍）

标量量化（减少 4 倍）

乘积量化（减少 8-16 倍）

距离度量

高级功能

HNSW 索引

缓存

MMR（最大边际相关性）

性能优化建议

故障排除

问题：搜索性能慢

问题：内存使用率高

问题：相关性差

问题：维度错误

数据库统计信息

性能特征

了解更多

🇺🇸English

AgentDB Vector Search

What This Skill Does

Prerequisites

Quick Start with CLI

Initialize Vector Database

Query Vector Database

相关 Skills

Import/Export Vectors

Quick Start with API

Core Features

1. Vector Storage

2. Similarity Search

3. Hybrid Search (Vector + Metadata)

Advanced Usage

RAG (Retrieval Augmented Generation)

Batch Operations

MCP Server Integration

Performance Benchmarks

Quantization Options

Binary Quantization (32x reduction)

Scalar Quantization (4x reduction)

Product Quantization (8-16x reduction)

Distance Metrics

Advanced Features

HNSW Indexing

Caching

MMR (Maximal Marginal Relevance)

Performance Tips

Troubleshooting

Issue: Slow search performance

Issue: High memory usage

Issue: Poor relevance

Issue: Wrong dimensions

Database Statistics

Performance Characteristics

Learn More

最新 Skills