简单回顾

  • 本周主线：深入阅读敲定下来的科研方向的文献。
  • 最大推进：阅读了5篇该领域的主要文献。针对transformer不熟悉的问题，学习了transformer的基本架构与实现，了解了CILP的底层架构。
  • 最大问题：每日效率有待提高，有的时候会陷入不断制定计划的虚假的自我满足；对课内学习有所忽视。

主要学习内容

本周主要针对LLM+FedDG方向做了深入的文献阅读，CoOp → PromptFL → DiPrompT → FedTPG → FedDSPG，详细了解了soft prompt在联邦域泛化领域的进展。 下面对每篇论文的内容做简要概述：

文献一：CoOp（IJCV 2022）

  • 创新：该文献首次提出了图文模型（CLIP、ViT）在联邦域泛化领域的应用，通过生成soft prompt的形式显著改善了人工提示词工程量大，泛化效果不高的问题。

  • 问题：但它是单机方法，无法适用于数据分布在多设备上的联邦场景；且学到的 prompt 是静态向量，对训练时没见过的域/类泛化能力有限。

文献二：PromptFL（IEEE TMC 2023）

  • 创新：首次将 CoOp 的 Soft Prompt 训练搬进联邦框架，只聚合 prompt 向量而非整个模型参数，通信量压缩约 110 倍，且在 Extreme Non-IID 下仍保持稳定（88% vs 传统 FL 的 29%）。

  • 问题：所有客户端共享同一个 Global Prompt，不区分域差异；没有评估对未见目标域的泛化能力（即不涉及 Domain Generalization）。

文献三：DiPrompT（CVPR 2024）

  • 创新：将 prompt 解耦为 G-Prompt（通用知识）和 D-Prompts（域特有知识），并设计 Q-Prompt 自动查询样本所属域，消除了对域标签的依赖和客户端与域一一对应的限制。

  • 问题：D-Prompt 池大小固定，需要预设域数量；推理时的协同集成依赖目标样本与源域相似的假设，面对全新域时可能失效。

文献四：FedTPG（ICLR 2024）

  • 创新：用轻量级 PromptTranslator 网络根据类名文本 embedding 动态生成 prompt，使模型能泛化到训练时未见过的新类别，解决了固定 prompt 向量无法跨类迁移的问题。

  • 问题：生成条件仅依赖类名文本，不包含域信息，对跨域泛化的提升有限；PromptTranslator 结构简单（MLP），表达能力不足以捕捉复杂的域间差异。

文献五：FedDSPG（arXiv 2025）

  • 创新：设计了包含通用 token 和域特有 token 的 DSP 结构，并用 CcGAN 对抗训练学习从图片特征到 prompt 的映射，在 Office-Home/DomainNet/PACS 上全面达到 SOTA。

  • 问题：GAN 对抗训练计算量大（实验用 8 张 V100），部署成本远高于 PromptFL/DiPrompT；Generator + Discriminator 的参数需要在联邦中传输，部分抵消了 prompt learning 的通信优势。

对Idea方向的大致思考：

针对目前阅读的论文，我大致思考了几个可以深入展开的Idea： 当前FedDSPG将 参数化的prompt 改进为 生成式的prompt ，那么在此基础上进行思考：

  • 生成的对象为什么一定是 text prompt？
  • 能不能生成 LoRA / adapter / expert routing / classifier head / feature transform？
  • 生成机制为什么一定由图像或文本单独驱动？能不能由 image + text + client meta-info + uncertainty 共同驱动？

除了这些问题，我和GPT进行了一些讨论，GPT给出了很专业很细致的指导，有的Idea我甚至看不懂他在说什么，所以现在主要还是要打牢基础。

方法论执行

  • 这周在方法论的执行上完成度不算好，open策略几乎没有执行，周围人还是更趋向零和博弈，我觉得和我们学校浓厚的竞赛氛围有关，大家都把同学当作竞争对手，目前我 也没想到更合适的open方法。 在于学长的交流上倒是进展迅速，碰到了一个很热心的学长，在科研方面请教了很多问题（阿里嘎多！）。同时这周也和导员进行了很密切的交流，导员也给出了不错的提议，这周打算继续跟进。

  • 流式规划则执行的不是很好，首先要控制自己在学习时玩手机的冲动，有的时候也没法保证恰好1个半小时学习，而是看着看着就2个小时过去，但是效率也没有那么高。

  • 知识输出倒是一直在做

  • 英语的执行简直是一坨，就记了两次日记，下周必须完成至少5篇！

下周计划

这周其实效率并不高，很多时间还是花在了细化计划和方案，每次做计划的时候就感觉自己好像真的做到了一样，有种虚假的满足感… … 还有一个问题是现在看论文的时候越看越觉得自己的基础知识其实不是很扎实，知识面有点太窄，所以下周主要做以下事情：

  1. 看李宏毅机器学习的课，理解强化学习、fussion model等热门架构的原理。
  2. 扩展FDG方向的视野，了解域对齐、数据操作、学习策略、聚合优化这四个大类的框架。
  3. 追一追课内课程的进度。

碎碎念

一个人在学习确实容易陷入内耗和放弃，好想找个朋友一起学习，互相分享方法论和学到的知识点这些的。。。。emmmmmm再想想吧。