多模态证据与主体归属

图片、音频与视频如何保留原始材料、局部线索和人物归属，以及什么时候需要回看原始内容。

图片、声音和视频能够补充文字没有表达的细节，也会带来新的不确定性：画面中的文字可能识别错误，说话声可能来自镜头之外，模型看到一个动作却不知道它的目的。PersonOS 的多模态设计将原始媒体、派生描述、局部锚点和长期记忆分开，使一个描述可以被检查，而不必把描述当作原始事实。

以下例子均为虚构：小林记录了一次摄影作品讨论，视频里有人指向一张照片，说“这一版下周再改”。系统需要知道这句话出现在哪个时间段、说话者是否确定、“这一版”指哪件作品，以及“下周”相对于哪个日期。只留下“大家讨论摄影”不足以回答这些问题；把整段视频永久留存，也不会自动得到可用记忆。

原始材料与模型描述分别保存#

原始媒体提供可回看的依据，派生描述帮助检索和阅读。图片说明、文字识别结果、语音转写、人物轨迹和场景摘要都由处理过程产生，应保留产生方式与可追溯关系。模型换了、转写修正了或授权撤回了，这些描述需要能够被重新计算、降低可信度或停止使用。

原始证据也需要自己的身份与时间。完整性摘要可以帮助判断文件是否变化，采集时间帮助还原材料形成的背景，来源指针帮助找到原件。但文件未变化并不证明解释正确，一段完整录音也不证明转写中的人名没有听错。来源完整性与内容解释的准确性需要分别检查。

参考视频处理流程保留原始片段，再把派生的说话、动作和环境描述回指到对应原始证据。动作行会与说话行区分，避免把“某人拿起作品”误记成这个人说过的一句话。长期记忆可以使用这些派生行形成情节，仍需保留它们由视频理解产生这一层关系。

引用应尽量指向真正支持结论的部分#

一条记忆可能只依赖视频中的几秒、图片中的一小块文字或录音中的一句话。PMO 因此设计了局部锚点：画面区域、帧范围、音频时间段、转写片段等。锚点让后续检查集中在相关部分，也为局部脱敏和按需回看提供基础。这是一项模型契约，不能因为保存了整份媒体就声称已经具备所有锚点能力。

在摄影讨论的例子里，“下周修改”可以关联到那句对白的时间段；“要修改的是右侧作品”则需要画面和指向动作共同支持。若只能听清对白，无法确认手指所指对象，应保留对象未确定。把一个局部证据支持的结论扩展到整场活动，会产生范围错误。

证据卡片可以把这些信息整理成可读形式：看到了什么、听到了什么、有哪些候选解释，以及哪些结论仍不受支持。卡片应指回原始媒体和锚点。摘要经过多次转述后仍然流畅，并不会增加证据；保留“不支持什么”能减少后续模型在简短描述上继续推演。

保留附件与理解附件是两件事#

材料接入可以选择只保留附件，也可以进行图像或视频理解。只保留的路径提供原件及已有说明，内容没有经过模型阅读；理解路径才产生新的派生描述。参考流程中存在这两种分工，因此不能根据一张图片已经保存，就断言图片内容已进入可检索记忆。

人工或上层应用提供的说明，也需要记录其来源。一张图片旁边写着“最终定稿”，这可能是提交者的描述；若图像本身没有版本标识，系统不应把说明和画面内容混为一个独立验证结果。没有说明、没有成功理解的附件，可以保持为待查看材料，不必猜测它包含什么。

媒体保留失败与文字提取失败也应分别表示。原件暂时不可读时，已有文字可能仍然可用，但不能声称本次已经回看过媒体。临时访问链接过期、文件已删除和授权已撤回有不同含义，消费端不能只看一条链接能否打开来判断完整生命周期。

人物归属决定记忆属于谁#

多人材料中的主体识别会影响所有后续步骤。若把朋友的一句“我已经报名”归给小林，情节、原子、画像和回答都可能继承这个错误。人物身份因此需要独立管理，展示名称、稳定身份和当前片段里的临时角色标签也需要区分。名字相同不证明是同一个人，衣着相似更不能单独证明身份。

参考机制会先收集画面、声音、外观描述等线索，并从已有身份中提出候选，再结合证据判断。相似度负责缩小候选范围，不能独自决定长期归属。面部、声音、称呼与同场关系可能相互支持，也可能矛盾；缺少可靠依据时，保留未识别人物或新候选，比把内容接到已有名字上更稳妥。

一段较长视频中的身份判断可以暂存在会话草稿里。后续片段可能出现更清晰的画面或自我介绍，提供修正早期判断的机会。参考流程在阶段整理时处理角色关联，再把确定的归属用于记忆形成。两阶段处理可以减少过早固化，但身份模型和整理过程仍可能出错，不能由此承诺永远识别正确。

未知人物也应该能参与记录。可以使用稳定的匿名标签保留他在这一组材料中的行为和陈述，同时记录身份尚未确定。匿名标签是组织手段，不是现实姓名。以后获得新证据时，合并身份应作为可审查的变更，避免一处错误关联把两个人的经历、关系和偏好混到一起。

查询里的图片不自动成为长期记忆#

用户附图问“这个人后来参加了吗”，图片首先是理解本次问题的输入。它可以帮助把视觉指代转换为可检索的人名或描述，随后交给文本检索流程。已知人物的匹配需要依据；不能识别时，应保留“照片中未确认身份的人”等描述，不编造姓名，也不把候选名字当作已经确认。

参考查询流程将临时查询图与写入的媒体证据分开，不因一次提问就把图片登记为长期媒体记忆。视觉理解失败时可以退回原问题，但这时检索可能无法消解“这个人”，结果也应保留这种限制。对图片的当前理解不应反过来更改用户先前材料中的身份。

在细节决定答案时回看原件#

首次描述通常面向一般用途，很难预先覆盖未来所有问题。用户以后问作品编号、屏幕上的数字或某句话的准确措辞时，早期摘要可能没有保留这些细节。参考深入检索可以在具备相应依赖与权限时，带着当前问题重新查看图片；这是有目的的检查，不是把同一摘要再次改写。

框架进一步提出原始证据回看条件：当结论依赖视觉细节、文字识别、空间位置、身份或高风险参数时，不能只凭概括作决定。回看应限定目的和相关区域，仍受当前授权约束。若原件缺失、权限不足或识别结果仍不确定，应说明无法完成验证，而不是由记忆中的近似描述补齐。

例如一张作品照片足以支持“存在这幅作品”，未必支持“已经获得作者许可使用”。身份识别也不能替代行动授权。读取、记住、建立关系和对外使用属于不同动作；一项材料被用于回答，不会自然授予后续发布或共享的权限。

把同时出现和相互支持分开#

跨模态关联需要同时检查时间、主体和支持关系。摄影讨论的视频记录了对白，旁边的照片展示了作品，两者可以共同帮助解释所指对象；仅因为它们在同一天采集，却不足以认定照片就是对白讨论的那一版。框架设计中的跨模态索引需要保留对象与时间线，也需要表达支持、矛盾和已过时等关系。

时间同步也可能有误差。录音和画面的时钟不一致，可能使一句话被错误地关联到另一张作品。此时可以保留候选时间窗，等待更多证据，而不必强行得到唯一对应。文字识别、转写和人物识别的置信度分别描述不同判断，不能把其中一个高分当作整条记忆都已确认。

当多个来源相互矛盾时，保留各自来源有助于判断问题来自哪里：照片中的版本号不同、对白表达的是未来计划，或用户后来明确作了纠正。增加一条摘要无法消除这种矛盾。只有查明时间、指代或纠正关系后，才能决定哪些内容适用于当前问题。

把多模态变化传到派生内容#

当原始转写中的“周三”被纠正为“周四”，受影响的情节、原子、链叙述、画像与任务上下文都需要检查。框架设计要求记录依赖关系，能够找出哪些结论引用了旧版本，并决定重新计算、标记过时或撤回。只改一个可见摘要，仍可能留下可被再次召回的旧索引。

多模态处理的完成状态也应保持分层：原件已保存、描述已产生、主体待确认、对象已提取、派生视图已更新，分别说明发生了什么。重复处理同一片段应识别已经完成的工作，避免重复累计出场、对白和事件；失败片段则不能因为已经分配编号就被误认为完成。

设计要求与版本实现的对照，见评估与实现边界。