译者 | 朱先忠

跟着大型说话模子（LLM）席卷民众，向量搜索引擎也紧随自后。同期，向量数据库也组成大型说话模子长久挂牵系统的基础。

通过有用的算法找到关连信息并使其手脚坎坷文传递给说话模子，向量搜索引擎不错提供超出磨练抑遏值的最新信息，并在不进行微调的情况下升迁模子输出的质料。这个进程时常被称为检索增强生成（RAG：Retrieval Augmented Generation），它快要似最隔壁（ANN：Approximate Nearest Neighbor）搜索这一也曾深邃的算法挑战推向了机器学习限度聚光灯下！

在扫数众说纷繁的争议中，东说念主们广泛认为向量搜索引擎与大型说话模子有着密弗成分的斟酌。关连的故事还有好多好多。基于向量搜索时期，如故存在广泛鉴定的应用形状，远远超出纠正LLM的检索增强生成这一种时期！

在这篇著作中，我将向您展示向量搜索引擎在数据领略、数据探索、模子可解释性等方面的十个我最可爱的应用案例。

以下是咱们将要先容的应用形状，按其复杂性简略递加的顺次分辩是：

1.图像相似性搜索

对来自Oxford IIIT宠物数据集（已获许可证）的图像进行图像相似性搜索（图片由作家本东说念主提供）

也许最肤浅的应用算是图像相似性搜索。在这种应用中，你最先要准备一个由图像组成的数据集——它不错是任何东西，检朴单的个东说念主相册到极其复杂的经数千台散播式相机多年来拍摄的数十亿张图像的宏大存储库。

诞生准备阶段很肤浅：最先测度该数据集中每一幅图像的镶嵌，并从这些镶嵌向量中生成一个对应的向量索引值。在领先的批测度之后，不需要作进一步的推断。探索此数据聚合构的一个好设施是从数据集中遴选一张图像，然后查询向量索引中的k个最隔壁居（最相似的图像）。这种形势不错为查询图像周围的图像空间填充的密度提供一种直不雅的嗅觉。

相关图像相似性搜索的更多信息和责任代码，请参阅连络https://docs.voxel51.com/user_guide/brain.html#image-similarity。

2.反向图像搜索

凭证牛津IIIT宠物数据集对Unsplash（由Mladen Šćekić提供）网站的图像进行反向图像搜索（图片由作家本东说念主提供）

雷同地，图像相似性搜索的一个当然推广是在数据集中找到与外部图像最相似的图像。这不错是来自土产货文献系统的图像，也不错是来自互联网的图像！

要履行反向图像搜索，也要最先为数据集创建向量索引，这与图像相似性搜索示例中先容的是同样的。二者的区别在于运行时阶段，即测度查询图像的镶嵌，然后使用该向量查询向量数据库。

相关反向图像搜索的更多信息和责任代码，请参阅连络：https://github.com/jacobmarks/reverse-image-search-plugin。

3.对象相似性搜索

COCO-2017数据集考据分割（经许可）中针对绵羊的对象相似性搜索（图片由作家本东说念主提供）

如若你想更深刻地照看图像中的试验，那么对象或“图块”相似性搜索可能便是你想要照看的试验。其中一个这方面的例子是东说念主物重新识别，即您有一张带有感敬爱东说念主物的图像，况且您但愿在数据集中找到该东说念主物的扫数实例。

东说念主可能只占据每个图像的一小部分，因此他们所处的扫数这个词图像的镶嵌可能浓烈依赖于这些图像中的其他试验——举例，一张图片中可能有多个东说念主。

一个更好的措置决策是将每个对象检测图块视为一个单独的实体，并测度每个对象的镶嵌。然后，用这些补图块创建一个向量索引，并对要重新识别的东说念主的图块进行相似性搜索。手脚一个这方面的学习早先，您可能最先需要学会使用ResNet模子。

这里有两个奥妙之处：

4.持重型OCR文档搜索

使用我的博士论文中的Tesseract OCR引擎生成的文本块进行磨蹭/语义搜索，这里使用GTE-base模子进行镶嵌测度（图片由作家本东说念主提供）

光学字符识别（OCR）是一种不错将手写条记、旧期刊著作、医疗记载和藏在壁橱里的情书等文档数字化的时期。像Tesseract和PaddleOCR这么的OCR引擎的责任旨趣是识别图像中的单个字符和象征，并创建连气儿的文本“块”——比如段落。

一朝你有了这么的文本，你就不错在展望的文本块上履行传统的当然说话枢纽字搜索，如连络https://github.com/jacobmarks/keyword-search-plugin处提供的插件源码所达成的那样。但是，这种搜索设施容易出现单字符造作。如若OCR引擎无意地将“l”识别为“1”，则搜索“control”的枢纽字将失败。

咱们不错使用向量搜索来克服这一挑战！使用文本镶嵌模子镶嵌文本块，如Hugging Face的句子转换器库中的GTE-base模子，并创建一个向量索引。然后，咱们不错通过镶嵌搜索文本和查询索引，在数字化文档中履行磨蹭和/或语义搜索。从宏不雅角度上看，这些文档中的文本块雷同于对象相似性搜索中的对象检测补丁！

相关持重型OCR文档搜索应用的更多信息和责任代码，请参阅连络：https://github.com/jacobmarks/semantic-document-search-plugin。

5.语义搜索

在COCO 2017考据拆分聚合中使用当然说话进行语义图像搜索（图片由作家本东说念主提供）

通过多模态模子，咱们不错将语义搜索的看法从文本推广到图像。像CLIP、OpenCLIP和MetaCLIP这么的模子被磨练来找到图像偏激字幕的常见暗示，因此狗的图像的镶嵌向量将与文本辅导“a photo of a dog（狗的相片）”的镶嵌向量独特相似。

这意味着，贤达的作念法是（即“允许”咱们）从数据集中图像的CLIP镶嵌中创建一个向量索引，然后对该向量数据库运行向量搜索查询，其中查询向量是文本辅导的CLIP镶嵌式。

值得堤防的是， 莱克电气股份有限公司通过将视频中的各个帧视为图像， 常熟市洁倍特地毯有限公司并将每个帧的镶嵌添加到向量索引中，厦门市商博良贸易发展有限公司您还不错达成在视频中进行语义搜索！

相关语义搜索算法的更多信息和责任代码， 荔蒲县新机染料有限公司请参阅连络：https://docs.voxel51.com/user_guide/brain.html#text-similarity。

6.跨模子检索

与一列火车中的输入音频文献匹配的图像跨模子检索。这是使用ImageBind和Qdrant向量索引在COCO 2017考据拆分集上达成的（视频由作家本东说念主提供）

从某种意旨上说， 联合家纺贸易(北京)有限公司在图像数据集中进行语义搜索是一种跨模子检索形状。从看法角度来解释这种算法的话，咱们检索与文本查询相对应的图像。有了像ImageBind这么的模子器用，咱们就不错更深刻地照看这方面的应用！

ImageBind未来自六种不同模态的数据（图像、文本、音频、深度、热和惯性测量单位）镶嵌合并镶嵌空间。这意味着，咱们不错为这些模态中的任何一种生成向量索引，并使用这些模态中任何其他模态的样本查询该索引。举例，咱们不错拍摄一个汽车鸣喇叭的音频片断，并检索扫数汽车的图像！

相关跨模子检索的更多信息和责任代码，请参阅连络：https://github.com/jacobmarks/audio-retrieval-plugin。

7.探索感知相似性

向量搜索故事的一个独特蹙迫的部分是模子，到目下为止咱们基本上莫得作关连性先容。其实，咱们的向量索引中的元素是来自模子的镶嵌。这些镶嵌不错是定制镶嵌模子的最终输出，也不错是在另一个任务（如分类）上磨练的模子的粉饰或潜在暗示。

不管何如，咱们用来镶嵌样本的模子可能会对考据哪些样本与其他样本最相似产生紧要影响。对于CLIP模子来说，它概况拿获语义看法，但难以暗示图像中的结构信息。另一方面，ResNet模子独特善于暗示结构和布局的相似性，概况在像素和图像切片的级别上进行操作。然后是像DreamSim这么的镶嵌模子，该模子的规划是弥合差距并捕捉中等水平的相似性——将模子的相似性看法与东说念主类感知的试验相一致。

终末，咱们重心先容一下向量搜索。这种搜索时期为咱们提供了一种探索模子何如“看到”寰宇的设施。不错说，通过为咱们感敬爱的每个模子（在换取的数据上）创建一个单独的向量索引，咱们就不错快速找到不同模子如安在里面暗示数据的直观论断。

以下是一个示例，展示了在NIGHTS数据集上使用CLIP、ResNet和DreamSim模子镶嵌的换取查询图像的相似性搜索扫尾：

在NIGHTS数据集中的图像上镶嵌ResNet50的相似性搜索（使用Stable Diffusion生成的图像）其中，毛织物ResNet模子在像素和图块级别上运行；因此，检索到的图像在结构上与查询相似，但并不老是在语义上相似

在合并查询图像上镶嵌CLIP的相似性搜索。CLIP模子尊重图像的底层语义，但不尊重它们的布局

在合并查询图像上镶嵌DreamSim的相似性搜索扫尾。DreamSim弥合了这一差距，在语义和结构特征之间寻求最好的中级相似性折衷

相关探索感知相似性的更多信息和责任代码，请参阅连络：https://medium.com/voxel51/teaching-androids-to-dream-of-sheep-18d72f44f2b。

8.相比模子暗示

NIGHTS数据集的ResNet50和CLIP模子暗示的启发式相比。ResNet镶嵌如故使用UMAP（调和流形贴近与投影）设施减少到2D。在镶嵌图中遴选一个点并卓著走漏左近的样本，咱们不错看到ResNet是何如捕捉构图和调色板的相似性而不是语义的相似性的。在具有CLIP镶嵌的所选样本上运行向量搜索，咱们不错看到，凭证CLIP的大多数样本莫得被ResNet搜索到。

通过将向量搜索和调和流形贴近与投影（UMAP：https://umap-learn.readthedocs.io/en/latest/）等降维时期相联接，咱们不错对两个模子之间的各别有新的了解。设施如下：

每个模子的镶嵌中王人包含相关模子何如暗示数据的信息。借助于UMAP（或t-SNE或PCA）时期，咱们不错从原始模子（model1）生成镶嵌的低维（2D或3D）暗示。通过这么作念，咱们捐躯了一些细节，但但愿保留一些对于哪些样本被认为与其他样本相似的信息。另一方面，咱们得回的是将这些数据可视化的智商。

以原始模子（model1）的镶嵌可视化为布景，咱们不错在该图中遴选一个点，并针对模子2（model2）的镶嵌对该样本履行向量搜索查询。然后，咱们就不错看到在2D可视化中检索到的点地方的位置！

前边的示例使用的是与上一节中换取的NIGHTS数据集，对ResNet镶嵌可视化，扫尾不错拿获更多的组成方面和结构方面的相似性信息，并使用CLIP（语义方面）镶嵌履行相似性搜索。

9.看法插值

在Oxford IIIT宠物数据集上使用CLIP镶嵌的“哈士奇（husky）”和“吉娃娃（chihuahua）”看法之间的插值

目下差未几到了本文的末尾，但运道的是，我把一些最好的试验留到了终末。到目下为止，咱们处理过的向量只须镶嵌——向量索引是用镶嵌填充的，查询向量亦然镶嵌的。但有时在镶嵌空间中还有荒谬的结构，咱们不错愚弄它来革新态地与数据交互。

这种动态交互的一个例子是我可爱的“看法插值”。它的责任旨趣如下：最先获取图像数据集，然后使用多模态模子（文本和图像）生成向量索引。举例，遴选两个文本辅导，如“sunny”和“raining”，它们代表看法，并将值alpha诞生在[0，1]鸿沟内。咱们不错为每个文本看法生成镶嵌向量，并将这些向量添加到alpha指定的线性组合中。然后，咱们对向量进行归一化，并将其用作对图像镶嵌的向量索引的查询。

因为咱们在两个文本辅导（看法）的镶嵌向量之间进行线性插值，是以咱们在看法自己之间进行独特松散的插值！咱们不错动态地调动alpha，并在每次交互时查询咱们的向量数据库。

堤防，这种看法插值的看法是实验性的（记取：这并不老是一个界说雅致的操作）。我发现，当文本辅导在看法上关连，况且数据集实足各类化，而且在插值谱系的不同位置有不同的扫尾时，它的遵循最好。

相关看法插值的更多信息和责任代码，请参阅连络：https://github.com/jacobmarks/concept-interpolation。

10.看法空间遍历

通过镶嵌在各类文本辅导的方进取迁徙来遍历“看法”的空间，这里给出的是在COCO 2017数据集的测试拆分子集上展示的扫尾。这里使用的是镶嵌CLIP模子的图像和文本（图片由作家本东说念主提供）

终末，还有很蹙迫的一种应用是我可爱的“看法空间遍历”。与看法插值同样，这种应用从图像数据集出手，使用CLIP等多模态模子生成镶嵌。然后，从数据集中遴选一个图像。这个图像将手脚你的早先，从这里你不错“穿越”看法的空间。

尔后，您不错通过提供一个文本字符串手脚看法的替代，来界说您想要迁徙的标的。诞生要在该方进取履行的“步长”的大小，该文本字符串的镶嵌向量（具有乘法统共）将添加到驱动图像的镶嵌向量中。“规划地（destination）”向量将用于查询向量数据库。您不错添加苟且数目的多个看法，并及时不雅察检索到的图像集的更新。

与“看法插值”同样，看法空间遍历并不老是一个严格界说的进程。但是，我发现它很眩惑东说念主，况且当应用于文本镶嵌的统共实足高时，足以将此统共充分磋议在内时，这种设施的弘扬照旧相配好。

相关看法空间遍历的更多信息和责任代码，请参阅连络：https://github.com/jacobmarks/concept-space-traversal-plugin。

向量搜索引擎口舌常鉴定的器用。它们当之无愧可算是机器学习在检索增强生成限度的“明星”。但其实，向量数据库的用途远不啻于此。向量数据库概况匡助咱们更深刻地领略数据，深刻了解模子何如暗示数据，并为咱们与数据交互提供新的阶梯。

堤防，向量数据库随机只关联到大型说话模子限度。事实施展，不管何时波及镶嵌，它们王人是有用的，况且镶嵌偶合位于模子和数据的交叉点。咱们对镶嵌空间的结构领略得越严格，咱们援助向量搜索的数据和模子交互就越动态和具有广泛性。

如若你以为这篇著作很料想，你可能还想望望这些向量搜索的关连帖子：

译者先容

朱先忠，51CTO社区裁剪，51CTO各人博客、讲师，潍坊一所高校测度机熟悉，解放编程界老兵一枚。

原文标题：From RAGs to Riches毛织物，作家：Jacob Marks， Ph.D.

• 毛织物
• 来自
• 不错
• 文献
• 土产