样本标签极不均衡，这种训练方式可行吗？

Question

用多任务学习进行分类，比如任务A是分类3种风格，如阳光、低调、"其他风格"，任务B是分类3种款式，如牛仔裤、西裤、"其他款式"。
任一样本被标记了风格和款式两个标签，但是95%的样本标签都是 任一风格+其他裤子 或者 任一裤子+其他风格 这样的。讲得可能不是很清楚，下图帮助理解：

这样数据集中阳光和低调、牛仔裤和西裤之间数量差不多，但是"其他款式"和"其他风格"占比非常大。

由于这是多任务学习网络，可不可一次只训练一个分支，即把另一个分支每个神经元的权重调成0，或者把另一个分支冻结，来进行训练？

或者还有没有其他更好的办法？

补充：

1. 上面提到的数据集是个假想的例子，实际数据集中的标签要多得多。
2. 我有考虑过数据增强和调样本权重。
   一开始我用了数据集中较少标签（只有款式和面料），训练出来的模型的F1值大小排序约为：数据增强>样本调权>数据增强+样本调权。
   然后我打算使用更多标签（款式、面料、贴图、风格），并只用了数据增强，最后模型把他们全部都预测为了其他分类。