https://ardenj.pages.dev/tags/%E8%AE%BA%E6%96%87%E5%AF%BC%E8%AF%BB/ Recent content in 论文导读 on Arden’s blog Hugo -- 0.147.7 zh-cn Sat, 07 Mar 2026 21:22:43 +0800 https://ardenj.pages.dev/learning/feddg/ Sat, 07 Mar 2026 21:22:43 +0800 https://ardenj.pages.dev/learning/feddg/ <h2 id="全局视角三篇地基论文">全局视角：三篇&quot;地基&quot;论文</h2> <table> <thead> <tr> <th>论文</th> <th>定位</th> </tr> </thead> <tbody> <tr> <td><strong>PromptFL</strong>（2023）</td> <td>方向一的起点 Baseline，&ldquo;联邦 Prompt 学习的 FedAvg&rdquo;</td> </tr> <tr> <td><strong>FedSR</strong>（NeurIPS 2022）</td> <td>通用 FedDG Baseline，三个方向都必须比较的对象</td> </tr> <tr> <td><strong>SHOT</strong>（ICML 2020）</td> <td>方向三的历史根源，Source-Free DA 的奠基之作</td> </tr> </tbody> </table> <p>这三篇是&quot;祖师爷&quot;级别——必须理解，但后续工作要站在它们肩膀上，不是复现它们。</p> <hr> <h1 id="方向一clip--llm--联邦提示微调">方向一：CLIP / LLM + 联邦提示微调</h1> <h2 id="入门论文">入门论文</h2> <h3 id="coop--prompt-learning-for-vision-language-models">CoOp — Prompt Learning for Vision-Language Models</h3> <blockquote> <p><strong>会议</strong>：IJCV 2022（原版 ICCV 2021）<br> <strong>关键词</strong>：Soft Prompt, CLIP, Context Optimization<br> 读这篇是因为 PromptFL 本质上就是&quot;把 CoOp 塞进联邦框架&quot;，不懂 CoOp 就没法理解 PromptFL。</p></blockquote> <p>CLIP 用&quot;a photo of a [CLASS]&ldquo;这样的手工文本做零样本分类，但手工模板很依赖玄学——换一句话描述，准确率可能差 10%。CoOp 的解决方案很直接：<strong>别手写模板，让模型自己学出来</strong>。</p> <p><strong>Soft Prompt 的核心机制</strong></p> <pre tabindex="0"><code>手工 Prompt（Hard Prompt）： 输入 → &#34;a photo of a [cat]&#34; → CLIP 文本编码 → 分类 Soft Prompt（CoOp 的做法）： 输入 → [v1][v2][v3][v4][cat] → CLIP 文本编码 → 分类 ↑ 这 4 个 [v] 不是文字，是可学习的浮点向量 训练时只更新这 4 个向量，CLIP 的其余参数全部冻结 </code></pre><p><strong>Soft Prompt 就是在类别词前面拼几个可学习的浮点向量</strong>，训练时只更新这几个向量，CLIP 其余参数全部冻结。</p>