01
研究范围定义
人工智能是指运用机器学习/深度学习、自然语言处理、计算机视觉、知识图谱等技术，并结合业务场景形成解决方案，以辅助、增强或替代人工来制定决策或执行任务。
爱分析从产业链角度，把人工智能市场划分为基础设施层、AI平台层和应用层，具体市场划分详见下图。
本评估报告聚焦应用层的跨模态信息检索平台市场，爱分析遴选出具备成熟解决方案和落地能力的厂商，为企业选型提供参考。同时，在该市场下，爱分析重点选取了跨模态信息检索平台厂商蜜度进行能力评估。
02
跨模态信息检索平台市场分析
市场定义：
跨模态检索平台是指以一种类型的数据作为查询输入，检索另一种类型数据的平台，主要应用于舆情分析、口碑分析、视频溯源、智能预警等领域。
甲方终端用户：
企业营销部门、市场部门；媒体编辑；政府宣传部门、内容监管部门
甲方核心需求：
随着数据规模膨胀、类型逐渐丰富，数据的存储方式也呈现出多模态形式。当企业、媒体和政府部门用户出于舆情管理、内容监管等原因进行信息检索时，对于不同模态的相同信息，往往有同样的检索需求，跨模态信息检索平台应运而生。
各类用户对于跨模态信息检索平台的基础需求包括快速、全面和准确。近年来，随着信息数量和隐蔽性的增加，粗颗粒度的跨模态检索结果逐渐难以满足用户要求，细颗粒度检索需求也逐渐显现。
图1：甲方对跨模态信息检索平台的核心需求
企业需要跨模态检索结果覆盖全面。互联网数据规模持续扩张，信息分布呈现多模态、多渠道的特点。一方面，短视频的兴起使得视频类信息数量激增，关键信息可能作为某一帧画面的一部分出现，具有更强的隐蔽性，传统检索方式很难准确识别。另一方面，随着网络信息渠道的多元化，相同的信息可能出现在多个网站，容易产生“漏网之鱼”。以上因素对企业和政府部门的舆情管理提出更高要求。为保证信息获取的完整性和舆情管理的有效性，企业和政府部门需要对互联网公开信息进行跨模态全面检索，不遗漏关键信息。
企业需要具备跨模态信息监测能力，快速发现多模态舆情信息。舆情和品牌风险管理是跨模态信息检索平台的重要应用场景。以企业品牌风险管理为例，公关事件对企业响应速度提出很高要求，企业需要及时发现舆情，迅速做出回应。如果应对速度缓慢，会导致网络舆情发酵，对企业声誉乃至业务产生更严重的影响。为此，企业需要具备跨模态品牌风险监测能力，快速发现多模态舆情信息。
企业需要提高跨模态信息检索准确性，保障搜索效率。用户通过关键词、图片、视频等搜索方式，从跨模态信息检索平台获取信息后，还需要从中筛选出满足需求的结果。如果检索结果中包含过多与搜索目标不相关的内容，用户会浪费大量时间进行二次筛选。为此，企业需要提高跨模态信息检索准确性，从而保障用户信息搜索效率。
企业需要细化跨模态检索信息颗粒度，一步获取关键信息。随着信息数量和隐蔽性的增加，粗颗粒度的检索结果逐渐难以满足用户需求。以视频检索为例，常见的跨模态检索只能筛选出特定的视频片段，需要用户自行从中筛选所需信息。以图片检索为例，当用户输入“海滩”时，只能得到带有“海滩”关键字的图片，需要二次筛选出包含海滩场景的图片。如今企业对跨模态检索结果的颗粒度要求逐渐细化，需要从视频中抽取特定的片段甚至关键帧，一步获取关键信息。
厂商能力要求：
企业对跨模态信息检索平台的需求为厂商提出多项能力要求。为实现检索全面性，厂商需要扩展产品的信息识别范围、提高识别准确性，并根据用户反馈及时迭代；为保障检索时效性，厂商需要优化底层配置和搜索能力，并为高时效性要求的应用场景提供快速查询服务；为保障检索准确性，跨模态信息检索平台需要具备高效数据清洗能力，并通过标签选项提供信息快速筛选功能。此外，跨模态信息检索平台需要通过细化特征表示、集成各类信息编辑技术，满足用户细颗粒度的检索需求。
厂商需要扩展产品的信息识别范围、提高识别准确性，并根据用户反馈及时迭代。为满足企业和政府部门对跨模态信息检索的全面性要求，跨模态信息检索平台需要扩展信息识别范围、提高识别准确性，具体要求如下：
表1：跨模态信息检索平台扩大识别范围、提高识别准确性要求
同时，厂商需要及时收集用户对跨模态信息检索平台的使用反馈，对检索结果的全面性进行评估，用评估结果指导检索系统迭代。
厂商需要优化底层配置和搜索能力，并为高时效性要求的应用场景提供快速查询服务。为满足舆情和品牌风险管理等需求对信息时效性的要求，厂商首先需要从底层配置、任务分发机制和搜索方式等途径提高跨模态信息检索速度：
图2：部分提高跨模态信息检索速度的方式
在此基础上，部分头部厂商已经针对信息检索时效性需求，定制跨模态信息检索平台的产品功能。以舆情管理为例，跨模态信息检索平台可以监控热门视频平台信息，实时搜集热搜数据，并利用AI技术识别出其中的关键语义信息，快速识别视频中可能存在的风险。
跨模态信息检索平台需要具备高效数据清洗能力，并通过标签选项提供信息快速筛选功能。为保障跨模态信息检索的准确性，厂商需要提高跨模态信息检索平台的数据清洗能力，包括不重复采集已经采集过的内容，以及将已采集的内容通过语义相似度比对，进行相似合并和重复内容清洗。
此外，厂商应将用户常用的搜索关键词提炼成标签，以知识图谱的形式存储为结构化标签体系，为用户提供定向检索功能。在信息采集、清洗完毕后，用户可通过定向检索功能实现信息过滤。在此基础上，厂商需要通过情感识别等AI技术丰富标签数量，涵盖更多领域、主题和细节信息，从而提供更精准的检索结果。
跨模态信息检索平台需要细化特征表示，并集成各类信息编辑技术，为用户提供细颗粒度的检索结果。传统的图像和文本跨模态检索将每张图片视为一个整体，使用全局特征表示，而每个文本标签只用一个向量表示。为满足用户对检索颗粒度的要求，跨模态信息检索平台需要细化特征表示。在图像表示方面，可以利用目标检测算法或实例分割算法，从图片中提取出物体，并用每个物体的特征向量来表示图像。在文本表示方面，可以将文本标签分解成单词或短语，并用预训练的词向量来分别表示。以上方式能准确捕捉图片和文本之间的语义关系，提高跨模态信息检索的准确性，如当用户查询“海滩”时，可以直接得到拥有“海滩”场景或物体的图片。
同时，跨模态检索平台需要融入各类信息编辑技术，直接将细颗粒度检索结果呈现给用户。在视频检索中，厂商可通过关键帧提取技术将视频关键帧以图片的形式呈现。在图片检索中，平台识别出重点物体或场景的特征向量后，可标记对应图片像素区域。用户无需进行重复筛选，即可获取所需信息。
入选标准说明：
1. 符合跨模态信息检索平台的厂商能力要求；
2.近一年厂商在该市场的营收不低于500万元；
3.近一年厂商在该市场的付费客户不低于10个。
03
厂商评估：蜜度
厂商介绍：
上海蜜度信息技术有限公司（简称蜜度）是一家以人工智能技术为核心的语言智能科技企业，专注于多模态多语言智能科技，为政府和企业各类办公场景提供智能应用软件。公司创立于2009年，致力于为数字政府、数字营销、数字媒体、数字城市的建设提供全方位的智能应用解决方案。
蜜度利用先进的跨模态检索（CMR）、多语言校对（MLC）、计算机视觉（CV）、自然语言处理（NLP）、内容生成（AIGC）、知识图谱（KG）等人工智能技术为企业和政府机构提供智能校对、智能生成、智能检索等应用软件产品，赋能企业和政府的办公场景数字化、智能化转型升级。
产品服务介绍：
蜜度索骥是一款集图片检索、视频检索和跨模态检索为一体的信息检索智能软件，基于CV、OCR 等人工智能技术，对图片、音视频中的场景、字幕、弹幕、背景、商标等元素进行识别，并使用跨模态对比学习、多模态语义融合等跨模态技术，实现对文本、图片、音频、视频的跨模态信息检索、分析与应用。
厂商评估：
作为一款跨模态多语言智能检索平台，索骥具备高精度跨模态信息检索能力，实时检索文字、图片和音视频信息。在此基础上，蜜度还为政企客户提供视频监测、视频热搜、风险识别、智能预警等核心功能，使得索骥的功能更好地赋能网信、公安等机关部门及品牌企业。此外，蜜度与产品使用者建立了正向反馈闭环，基于用户使用体验迭代AI能力，提高智能检索水平，并将政企领域丰富项目经验沉淀为索骥的检索能力，为客户提供定制化部署方案。
索骥具备高精度跨模态检索能力，能实现实时信息检索。蜜度获得新浪微博官方数据支持，以互联网公开数据，积累了大量训练集。蜜度在训练多模态语义对齐模型时，先使用超过2亿图文对训练索骥的多模态泛化能力，再结合具体场景，使用大量图文对，对模型进行增强训练。海量数据的泛化和增强训练使索骥具备高精度跨模态检索能力，可准确解析视频中的字幕、背景、封面、音频等特征元素。其中，索骥的字幕识别率达94%-95%，音频识别率达92%-95%。
此外，索骥还具备实时信息检索能力。蜜度拥有新浪微博官方数据支持，且能对目前市面上热门的短视频平台进行分钟级视频内容轮巡，实时了解多个视频平台的热搜数据，保障短视频信息检索全面、及时。
蜜度将知识图谱、NLP等AI能力与产品结合，通过打造用户反馈闭环，不断优化索骥的智能化检索水平。作为一家语言智能科技企业，蜜度十分重视跨模态检索的智能化发展，并在AI领域展开长期布局。深度学习兴起初期，蜜度便与高校、学界开展多个AI项目合作，并成立了由专业团队组成的微热点研究院开展技术研究，多年来积累了完备的AI研发和工程实践能力。蜜度将AI能力与产品结合，不断优化索骥的跨模态多语言智能检索能力：
图3：跨模态多语言智能检索能力
考虑到测试场景与用户实际搜索场景的差异，蜜度积极推动建立用户反馈闭环。以情感判断为例，索骥在上线后，还会不断跟进客户在特定使用场景中的精确度反馈，对每一个情感识别问题归类、分析，再进行下一轮增强训练，使得AI情感判断能力“越用越智能”。
图4：蜜度打造用户反馈闭环机制
蜜度以需求为导向拓展索骥产品功能，满足政企多元场景的跨模态检索需求。索骥的客户主要来自政务和媒体领域，需求以信息检索、文化传播和品牌风险防范为主。针对此类客户的核心需求，蜜度在索骥跨模态检索功能的基础上，开发了一系列政企领域核心功能，如视频监测、风险识别等。
图5：索骥核心功能
在此基础上，蜜度定期收集客户反馈，为索骥开发出智能预警、可视化图表等辅助功能，高效解决客户使用痛点。以某知名国产汽车品牌为例，近年来其品牌口碑维护转向新兴的视频社交平台。但由于短视频的传播速度快、信息量大、生产及传播门槛低，品牌口碑监测难度更大。为此，蜜度提供索骥视频监测系统、人工预警服务，解决客户短视频监测的短板，及时准确的将客户需要的短视频信息分发给各负责人。这些功能保障了企业能够及时预估可能造成的风险，包括可能引发的媒体关注话题，及可能对企业造成的影响、整体传播情况，有效提高了客户工作效率。
图6：索骥辅助功能
蜜度将政企领域丰富项目经验沉淀为索骥的检索能力，并能为客户提供定制化部署方案。索骥自推出以来，为大量政企用户提供跨模态多语言智能检索服务。为保证检索精度，蜜度不断优化索骥的搜索标签库。目前，索骥能够提供超过100个筛选条件，用户可以快速通过地域圈定、内容来源选择、情感倾向等标签，精准筛选所需信息。
此外，针对国企、政府部门等类型的客户，蜜度可以提供索骥私有化部署。蜜度可以将索骥的语义特征的抽取等模块部署到客户内网，用于内部的多模态数据检索。针对不同客户的使用场景差异，蜜度还能提供模型特化或者再训练服务。
04
入选证书