周总结

简单回顾 本周主线：深入阅读敲定下来的科研方向的文献。 最大推进：阅读了5篇该领域的主要文献。针对transformer不熟悉的问题，学习了transformer的基本架构与实现，了解了CILP的底层架构。 最大问题：每日效率有待提高，有的时候会陷入不断制定计划的虚假的自我满足；对课内学习有所忽视。 主要学习内容 本周主要针对LLM+FedDG方向做了深入的文献阅读，CoOp → PromptFL → DiPrompT → FedTPG → FedDSPG，详细了解了soft prompt在联邦域泛化领域的进展。 下面对每篇论文的内容做简要概述： 文献一：CoOp（IJCV 2022） 创新：该文献首次提出了图文模型（CLIP、ViT）在联邦域泛化领域的应用，通过生成soft prompt的形式显著改善了人工提示词工程量大，泛化效果不高的问题。 问题：但它是单机方法，无法适用于数据分布在多设备上的联邦场景；且学到的 prompt 是静态向量，对训练时没见过的域/类泛化能力有限。 文献二：PromptFL（IEEE TMC 2023） 创新：首次将 CoOp 的 Soft Prompt 训练搬进联邦框架，只聚合 prompt 向量而非整个模型参数，通信量压缩约 110 倍，且在 Extreme Non-IID 下仍保持稳定（88% vs 传统 FL 的 29%）。 问题：所有客户端共享同一个 Global Prompt，不区分域差异；没有评估对未见目标域的泛化能力（即不涉及 Domain Generalization）。 文献三：DiPrompT（CVPR 2024） 创新：将 prompt 解耦为 G-Prompt（通用知识）和 D-Prompts（域特有知识），并设计 Q-Prompt 自动查询样本所属域，消除了对域标签的依赖和客户端与域一一对应的限制。 问题：D-Prompt 池大小固定，需要预设域数量；推理时的协同集成依赖目标样本与源域相似的假设，面对全新域时可能失效。 文献四：FedTPG（ICLR 2024） 创新：用轻量级 PromptTranslator 网络根据类名文本 embedding 动态生成 prompt，使模型能泛化到训练时未见过的新类别，解决了固定 prompt 向量无法跨类迁移的问题。 ...