Continual Training of Language Models for Few-Shot Learning

Des travaux récents sur l'application de grands modèles linguistiques (LM) atteignent des performances impressionnantes dans de nombreuses applications de PNL.L' adaptation ou le postformation d'un LM à l'aide d'un corpus de domaines non étiquetés peut produire des performances encore meilleures pour les tâches finales dans le domaine.Cet article propose le problème de l'extension continue d'un LM en postformant progressivement le LM avec une séquence de corpus de domaines non étiquetés pour élargir ses connaissances sans oublier ses compétences précédentes.L' objectif est d'améliorer l'apprentissage de quelques tâches finales dans ces domaines.Le système résultant s'appelle CPT (Continual Post-Training), qui, à notre connaissance, est le premier système de post-formation continu.Les résultats expérimentaux vérifient son efficacité.
El trabajo reciente sobre la aplicación de modelos de lenguaje grandes (LM) logra un rendimiento impresionante en muchas aplicaciones de PNL. Adaptar o posentrenar a un LM utilizando un corpus de dominio sin etiquetar puede producir un rendimiento aún mejor para las tareas finales en el dominio. Este documento propone el problema de extender continuamente un LM mediante la posentrenamiento incremental del LM con una secuencia de corpus de dominio sin etiquetar para expandir su conocimiento sin olvidar sus habilidades anteriores. El objetivo es mejorar el aprendizaje de pocas tareas finales en estos dominios. El sistema resultante se llama CPT (Postentrenamiento Continuo), que hasta donde sabemos, es el primer sistema continuo de posentrenamiento. Los resultados experimentales verifican su efectividad.
Recent work on applying large language models (LMs) achieves impressive performance in many NLP applications.Adapting or posttraining an LM using an unlabeled domain corpus can produce even better performance for end-tasks in the domain.This paper proposes the problem of continually extending an LM by incrementally post-train the LM with a sequence of unlabeled domain corpora to expand its knowledge without forgetting its previous skills.The goal is to improve the few-shot end-task learning in these domains.The resulting system is called CPT (Continual Post-Training), which to our knowledge, is the first continual post-training system.Experimental results verify its effectiveness.
يحقق العمل الأخير على تطبيق نماذج اللغة الكبيرة (LMs) أداءً مثيرًا للإعجاب في العديد من تطبيقات البرمجة اللغوية العصبية. يمكن أن يؤدي تكييف أو ما بعد التدريب على LM باستخدام مجموعة نطاقات غير مسماة إلى أداء أفضل للمهام النهائية في المجال. تقترح هذه الورقة مشكلة تمديد LM باستمرار عن طريق تدريب LM بشكل تدريجي بعد التدريب مع سلسلة من مجموعات النطاقات غير المسماة لتوسيع معرفتها دون نسيان مهاراتها السابقة. الهدف هو تحسين تعلم المهام النهائية ذات اللقطات القليلة في هذه المجالات. يسمى النظام الناتج CPT (التدريب المستمر بعد التدريب)، والذي على حد علمنا، هو أول نظام مستمر بعد التدريب. تتحقق النتائج التجريبية من فعاليته.