【向量数据库】向量数据库的构建和检索

作者：风好衣轻
1、使用 sentence-transformers 将文本编码为向量

安装 sentence-transformers：

1. pip install-U sentence-transformers

复制代码

在 huggingface 下载 all-MiniLM-L6-v2 模型权重（1_Pooling 是文件夹，里面包含一个 config.json 文件）：

1. ~$ ls
2. 1_Pooling    config_sentence_transformers.json  model.safetensors  sentence_bert_config.json  tokenizer_config.json  train_script.py
3. config.json  data_config.json                   modules.json       special_tokens_map.json    tokenizer.json         vocab.txt

复制代码

运行下面的示例脚本，将一句话编码为一个向量：

1. from sentence_transformers import SentenceTransformer
3. model_path ="/hub/weights/all-MiniLM-L6-v2"
4. model = SentenceTransformer(model_path)
5. sentence =['This framework generates embeddings for each input sentence']
6. embedding = model.encode(sentence)print(len(embedding),len(embedding[0]))# 1 384

复制代码

2、使用SQuAD-explorer数据集构建向量数据库

下载 SQuAD-explorer 数据集，这个数据集分为 Training Set 和 Dev Set ，Dev Set 更小更方便格式化预览数据集的结构，也更方便调试。

也可以使用其他的数据集，像第一节演示的那样，只需要是模型支持的语言的句子就可以编码成向量。

.json文件加载后的第一层是一个Python dict，包含两个key："version"和"data"，"data"对应的值是一个list，可以看一下这个list的长度：

1. import json
3. withopen("dev-v2.0.json","r")as f:
4.     data = json.load(f)
6. data = data["data"]print(len(data))# 35

复制代码

dev数据集中有35条，train数据集中有442条，对于每一条数据，也是包含两个key："title"和"paragraphs"，"paragraphs"对应的值是一个list，"paragraphs"里的每一个元素是dict，我们只需要关注里面的"qas"，即QA pairs，下面使用这些QA pairs来构建向量数据库。
下面先对数据进行读取，获取到数据集中包含的全部QA，由于有些问题含有多个答案，有些问题没有答案，这里统一排除掉没有答案的问题，对于包含多个答案的问题仅获取第一条答案，形成一对一的QA映射关系：

1. import json
3. withopen("dev-v2.0.json","r")as f:
4.     dataset = json.load(f)
6. qas =[(qas["question"], qas["answers"][0]["text"])for data in dataset["data"]for paragraphs in data["paragraphs"]for qas in paragraphs["qas"]if qas["answers"]]print(len(qas))print(qas[0])

复制代码

可以看到第一组问答已经被提取出来了：

1. 5928('In what country is Normandy located?', 'France')

复制代码

接下来我们查询一个问题的答案，如果问题刚好和数据中存在的问题完全一致，就可以匹配到答案，例如：

1. qas_dict =dict(qas)
2. q ='In what country is Normandy located?'
3. a = qas_dict.get(q)print(a)

复制代码

把 qas_dict 看作一个简易的 key-value 数据库，用精准的问题去查询可以得到问题的答案

1. France

复制代码

但如果问题和数据库中的 key 有点偏差（字符串不相等），就无法检索到这个问题的答案，这也是普通的数据库和向量数据库的最主要的差别之一，为了保证相似的问题也可以检索到正确的答案，我们可以使用向量数据库。

1. # 这里使用 CPU 版本的 faiss
2. pip install faiss-cpu

复制代码

下面是完整的示例代码

1. import json
3. import faiss
4. import numpy as np
5. from sentence_transformers import SentenceTransformer
7. model_path ="/path/to/all-MiniLM-L6-v2"
8. model = SentenceTransformer(model_path)defload_qa_data(data_path):withopen(data_path,"r")as f:
9.         dataset = json.load(f)
10.     qas =[(qas["question"], qas["answers"][0]["text"])for data in dataset["data"]for paragraphs in data["paragraphs"]for qas in paragraphs["qas"]if qas["answers"]]return np.array(qas)defstr_to_vec(sentence_list):
11.     embedding = model.encode(sentence_list)return embedding
14. defbuild_faiss_index(vectors, nlist=100, pq_m=8):
15.     d = vectors.shape[1]
16.     quantizer = faiss.IndexFlatL2(d)
17.     index = faiss.IndexIVFPQ(quantizer, d, nlist,8, pq_m)
18.     index.train(vectors)
19.     index.add(vectors)return index
21. k =10
23. qas = load_qa_data("dev-v2.0.json")
24. q, a =[qa[0]for qa in qas],[qa[1]for qa in qas]
25. q_vec = str_to_vec(q)print(q_vec.shape)
26. index = build_faiss_index(q_vec)
28. query_vector = str_to_vec(["What country does Normandy belong to?"])
29. distances, indices = index.search(query_vector, k)for i inrange(k):print(f"==> distance: {distances[0][i]:.4f}, indice: {indices[0][i]}, {q[i]}")

复制代码

运行的结果：

1. ==> distance: 0.5488, indice: 0, In what country is Normandy located?
2. ==> distance: 0.6171, indice: 10, When were the Normans in Normandy?
3. ==> distance: 0.6253, indice: 6, From which countries did the Norse originate?
4. ==> distance: 0.6960, indice: 5255, Who was the Norse leader?
5. ==> distance: 0.7582, indice: 12, What century did the Normans first gain their separate identity?
6. ==> distance: 0.7674, indice: 4725, Who was the duke in the battle of Hastings?
7. ==> distance: 0.7722, indice: 22, Who ruled the duchy of Normandy
8. ==> distance: 0.7759, indice: 4488, What religion were the Normans
9. ==> distance: 0.7777, indice: 5259, What is the original meaning of the word Norman?
10. ==> distance: 0.8038, indice: 4706, When was the Latin version of the word Norman first recorded?

复制代码

可以发现即使是把问题换成了：

“What country does Normandy belong to?”

也仍然能够匹配到在384维的空间内与它最接近的一个句子（L2距离为0.5488）：

“In what country is Normandy located?”

我们就可以通过它的索引 0 找到对应的答案了。

原文地址：https://blog.csdn.net/qq_41956187/article/details/141108866