ContextSSL: новый подход к самоконтролируемому обучению

Самоконтролируемое обучение (SSL) стирает границы между обучением с учителем и без учителя, автоматически создавая метки на основе необработанных данных. Оно применяется в NLP, компьютерном зрении, биоинформатике и распознавании речи. Традиционные методы SSL основаны на инвариантности или эквивариантности, что ограничивает их универсальность. Исследователи из MIT и Мюнхенского технического университета предложили новый подход — ContextSSL. Он обучается на основе общего контекста, что делает представления данных более гибкими и адаптируемыми. ContextSSL использует трансформер для...