連合転移学習デモ — 少数データの新領域へモデルを転移

連合転移学習（FTL）とは

連合転移学習は、サンプルも特徴もほとんど重ならない者同士が、共通するわずかなデータを「糊」にして、 データの潤沢な側（ソース）のモデルをデータの少ない側（ターゲット）へ転移する手法です。水平FL・垂直FLが使えない「重なりが小さい」状況のための連合学習です。

ポイントは、ターゲット領域は分布がずれている（ドメインシフト）こと。ソースのモデルをそのまま使っても合いませんが、 かといって少数データだけでゼロから学習すると過学習します。ソースの土台を少数の糊データでずれた分だけ微調整するのが連合転移です。

3つの比較で何が分かるか

• ・転移なし：糊データ（リング付きの少数点）だけで学習。点は合うが過学習し、テストでは伸びない。
• ・ソースそのまま：ソースの境界（赤の破線）は分布がずれていて、ターゲットに合わない。
• ・連合転移（FTL）：ソースを土台に少数で微調整。真の境界へ近づき、ターゲット大量データの理想に迫る。

精度を上げるには — 実務の対応策

このデモは重み微調整の単純化です。実際の連合転移学習では、転移のさせ方と糊データの質が精度を左右します。

• ・糊データ（共通サンプル）を増やす・質を上げる: ソースとターゲットを橋渡しする重複データが多いほど転移が効きます。
• ・ファインチューニングの設計: 更新する層／凍結する層を選び、学習率を小さく、早期終了・正則化で過学習を防ぐ。
• ・ドメイン適応: 特徴分布を揃える（domain adaptation）、バッチ正規化などの統計をターゲットで再推定する。
• ・負の転移を避ける: ソースとターゲットの類似度を確認し、かけ離れていれば転移しない／部分的に使う判断をする。
• ・段階的に拡張: まず少数で立ち上げ、現場で集めたデータを足して継続学習で伸ばす。

データ設計・運用は 連合学習の実践ガイド にまとめています。