rag菜谱知识库
前提: 构建菜谱知识库 (参照例子)
向量数据库：Qdrant (混合搜索： 稠密向量 + 稀疏向量 + 融合算法)
大模型llm: deepseek
embedding模型: 智谱embedding-3 (官方文档)
搭建向量数据库:
1、创建集合
# 创建集合
await client.create_collection(
collection_name=collection_name,
vectors_config={
# Dense vectors for semantic understanding of research concepts
# "dense": models.VectorParams(size=384, distance=models.Distance.COSINE),
"dense": models.VectorParams(size=512, distance=models.Distance.COSINE),
# ColBERT multivectors for fine-grained text understanding
# "colbert": models.VectorParams(
# size=128,
# distance=models.Distance.COSINE,
# multivector_config=models.MultiVectorConfig(
# comparator=models.MultiVectorComparator.MAX_SIM
# ),
# ),
},
sparse_vectors_config={
# Sparse vectors for exact technical term matching
"sparse": models.SparseVectorParams(
modifier=models.Modifier.IDF,
index=models.SparseIndexParams(
# full_scan_threshold=0, # 在达到此数值（不包括此数值）之前，比较期间 不会 使用倒排索引（但 仍会构建 索引）。
on_disk=False, # 将倒排索引存储在磁盘上 (True) 还是内存中 (False，默认值)。
)
)
},
)
2、上传数据
foods = [{...}...]
texts = [it["cooking_instructions"] for it in foods]
points = []
for i, text in enumerate(texts):
denceResults = await get_embedding_zhipu(text, 512)
points.append(
models.PointStruct(
id=i,
vector={
# "dense": models.Document(
# text=text,
# model="sentence-transformers/all-MiniLM-L6-v2",
# ),
"dense": denceResults[0],
"sparse": models.Document(
text=text,
model="Qdrant/bm25",
),
},
payload=foods[i],
)
)
client.upload_points(
collection_name=collection_name,
points=points,
)
3、查询
async def rrf_search(query: str) -> list[models.ScoredPoint]:
denceQuerys = await get_embedding_zhipu(query, 512)
response = await client.query_points(
collection_name=collection_name,
prefetch=[
models.Prefetch(
query=denceQuerys[0],
using="dense",
limit=5,
),
models.Prefetch(
query=models.Document(
text=query,
model="Qdrant/bm25",
),
using="sparse",
limit=5,
),
],
query=models.FusionQuery(fusion=models.Fusion.RRF),
limit=5,
)
return response.points
搜索流程:
step1、用户输入: 有没有蔬菜类的汤羹，不包含肉类的，给我推荐一下
step2、根据用户输入去向量知识库进行查询，返回相近结果
step3、根据相近结果，用大模型llm再进行一次判断识别，获取较为合适的结果。
例子:
有没有蔬菜类的汤羹，不包含肉类的，给我推荐一下
请根据以下选项挑选出符合要求的选项，并根据对应选项内容进行回答，回答要自然得体，不要显示“符合要求”等相关字眼，不要有其他不符合要求的选项的说明。
- 番茄豆腐汤 1.番茄切块，豆腐切小方块；2.热油炒番茄至出汁；3.加清水烧开，下豆腐煮5分钟；4.淋蛋液搅出蛋花；5.加盐调味，撒葱花淋香油即可。风味酸甜鲜香、豆腐嫩滑、汤汁清爽；低脂素食，适合减脂人群；适宜夏季开胃；适合老人、儿童及清淡饮食者。 0.5
- 上汤娃娃菜 1.娃娃菜洗净纵向切条；2.热油爆香蒜末，加清水烧开；3.下皮蛋丁、咸鸭蛋丁煮出鲜味；4.下娃娃菜煮3分钟至软；5.加盐调味，撒枸杞出锅。风味汤鲜味美、娃娃菜软嫩、咸鲜适口；含蛋类，过敏者忌食；适宜四季，秋冬尤佳；适合老人、儿童及清淡饮食人群。 0.33333334
- 冬瓜排骨汤 1.排骨冷水下锅加料酒焯水去浮沫；2.排骨加姜片、葱段和清水，大火烧开转小火炖40分钟；3.冬瓜去皮切块下锅再炖15分钟；4.加盐调味，撒枸杞即可。风味汤清味鲜、冬瓜软糯、排骨酥烂；清淡少油，适合老人儿童；适宜夏秋季节清热利水；适合体虚调养及家庭日常人群。 0.25
- 鲫鱼豆腐汤 1.鲫鱼处理干净，两面划刀；2.热油下鲫鱼煎至两面金黄；3.加姜片、料酒和开水大火煮至汤白；4.下豆腐块煮10分钟；5.加盐、白胡椒粉调味，撒葱花香菜即可。风味汤白鲜浓、鱼肉嫩滑、豆腐软嫩；菜品分类：汤羹；含鱼类，过敏者忌食；适宜秋冬季节滋补；适合孕产妇、老人及病后调养人群。 0.2
- 山药排骨汤 1.排骨冷水下锅加料酒焯水；2.排骨加姜片和清水大火烧开转小火炖40分钟；3.山药去皮切段，玉米切块下锅再炖20分钟；4.加盐调味，撒枸杞即可。风味汤清味鲜、山药软糯、排骨酥烂；温和滋补，适合大众；适宜秋冬春季；适合老人、儿童及脾胃虚弱者。 0.16666667
影响搜索召回率：
1、生成向量的维度尽量大于512， 实测384与512的搜索结果差别大，明显维度越大精度越高
2、文本描述内容组织最好包含一些关键字，精度越好
