联邦域泛化

简单回顾 本周主线：深入阅读敲定下来的科研方向的文献。 最大推进：阅读了5篇该领域的主要文献。针对transformer不熟悉的问题，学习了transformer的基本架构与实现，了解了CILP的底层架构。 最大问题：每日效率有待提高，有的时候会陷入不断制定计划的虚假的自我满足；对课内学习有所忽视。 主要学习内容 本周主要针对LLM+FedDG方向做了深入的文献阅读，CoOp → PromptFL → DiPrompT → FedTPG → FedDSPG，详细了解了soft prompt在联邦域泛化领域的进展。 下面对每篇论文的内容做简要概述： 文献一：CoOp（IJCV 2022） 创新：该文献首次提出了图文模型（CLIP、ViT）在联邦域泛化领域的应用，通过生成soft prompt的形式显著改善了人工提示词工程量大，泛化效果不高的问题。 问题：但它是单机方法，无法适用于数据分布在多设备上的联邦场景；且学到的 prompt 是静态向量，对训练时没见过的域/类泛化能力有限。 文献二：PromptFL（IEEE TMC 2023） 创新：首次将 CoOp 的 Soft Prompt 训练搬进联邦框架，只聚合 prompt 向量而非整个模型参数，通信量压缩约 110 倍，且在 Extreme Non-IID 下仍保持稳定（88% vs 传统 FL 的 29%）。 问题：所有客户端共享同一个 Global Prompt，不区分域差异；没有评估对未见目标域的泛化能力（即不涉及 Domain Generalization）。 文献三：DiPrompT（CVPR 2024） 创新：将 prompt 解耦为 G-Prompt（通用知识）和 D-Prompts（域特有知识），并设计 Q-Prompt 自动查询样本所属域，消除了对域标签的依赖和客户端与域一一对应的限制。 问题：D-Prompt 池大小固定，需要预设域数量；推理时的协同集成依赖目标样本与源域相似的假设，面对全新域时可能失效。 文献四：FedTPG（ICLR 2024） 创新：用轻量级 PromptTranslator 网络根据类名文本 embedding 动态生成 prompt，使模型能泛化到训练时未见过的新类别，解决了固定 prompt 向量无法跨类迁移的问题。 ...

全局视角：三篇"地基"论文 论文 定位 PromptFL（2023） 方向一的起点 Baseline，“联邦 Prompt 学习的 FedAvg” FedSR（NeurIPS 2022） 通用 FedDG Baseline，三个方向都必须比较的对象 SHOT（ICML 2020） 方向三的历史根源，Source-Free DA 的奠基之作 这三篇是"祖师爷"级别——必须理解，但后续工作要站在它们肩膀上，不是复现它们。 方向一：CLIP / LLM + 联邦提示微调 入门论文 CoOp — Prompt Learning for Vision-Language Models 会议：IJCV 2022（原版 ICCV 2021） 关键词：Soft Prompt, CLIP, Context Optimization 读这篇是因为 PromptFL 本质上就是"把 CoOp 塞进联邦框架"，不懂 CoOp 就没法理解 PromptFL。 CLIP 用"a photo of a [CLASS]“这样的手工文本做零样本分类，但手工模板很依赖玄学——换一句话描述，准确率可能差 10%。CoOp 的解决方案很直接：别手写模板，让模型自己学出来。 Soft Prompt 的核心机制 手工 Prompt（Hard Prompt）： 输入 → "a photo of a [cat]" → CLIP 文本编码 → 分类 Soft Prompt（CoOp 的做法）： 输入 → [v1][v2][v3][v4][cat] → CLIP 文本编码 → 分类 ↑ 这 4 个 [v] 不是文字，是可学习的浮点向量 训练时只更新这 4 个向量，CLIP 的其余参数全部冻结 Soft Prompt 就是在类别词前面拼几个可学习的浮点向量，训练时只更新这几个向量，CLIP 其余参数全部冻结。 ...

前言 经过基础知识的学习，我需要将视角放到更宏大的范围来寻找科研方向，了解整体风向，因此本篇笔记记录一些我摘录的当前学科架构的情况和我对于后续科研方向的一些探索。 人工智能领域结构 在了解到联邦域泛化（FedDG）后，我回顾了之前的学习历程，发现我对于人工智能领域的全景缺乏理解，所以我让Claude帮我进行快速回顾： 1 2 3 4 5 6 7 8 9 10 11 12 13 人工智能 (Artificial Intelligence) ├── 机器学习 (Machine Learning) │ ├── 监督学习 (Supervised Learning) │ ├── 无监督学习 (Unsupervised Learning) │ ├── 强化学习 (Reinforcement Learning) │ └── 深度学习 (Deep Learning) ← 当前主流 │ ├── CV（计算机视觉） │ ├── NLP（自然语言处理）← LLM 在这 │ ├── 多模态 (Multimodal) ← CLIP 在这 │ └── 图神经网络 (GNN) ├── 知识表示 & 推理 (符号主义，老派) ├── 搜索与规划 └── 专家系统（已衰落） 而在所有的方向中，强化学习和深度学习无疑是最热门的方向，这里列出它们的内部结构： ...