Khả năng khái quát hóa của các mô hình ngôn ngữ lớn (LLM) trên nhiều miền khác nhau vẫn là một thách thức đáng kể trong xử lý ngôn ngữ tự nhiên. Mặc dù LLM đã đạt được thành công đáng kể trong các tác vụ cụ thể, nhưng hiệu suất của chúng thường giảm khi áp dụng cho dữ liệu từ các miền khác nhau do khả năng thích ứng liên miền hạn chế. Trong bài báo này, chúng tôi đề xuất một phương pháp mới để cải thiện khả năng khái quát hóa miền bằng cách kết hợp các kỹ thuật học siêu liên tục và học liên tục, mà chúng tôi gọi là Thích ứng siêu liên tục. Phương pháp này tận dụng thế mạnh của học siêu liên tục để cho phép LLM nhanh chóng thích ứng với các miền mới đồng thời sử dụng học liên tục để ngăn ngừa tình trạng quên thảm khốc khi chuyển đổi giữa các tác vụ. Chúng tôi chứng minh hiệu quả của phương pháp này thông qua các thử nghiệm mở rộng trên nhiều chuẩn mực liên miền, cho thấy Thích ứng siêu liên tục tăng cường đáng kể khả năng mạnh mẽ và khái quát hóa của LLM so với các phương pháp truyền thống. Kết quả của chúng tôi cho thấy phương pháp này không chỉ cải thiện hiệu suất của LLM trên nhiều miền khác nhau mà còn giảm nhu cầu đào tạo lại rộng rãi, giúp phương pháp này hiệu quả hơn và có khả năng mở rộng hơn cho các ứng dụng trong thế giới thực. Cuối cùng, chúng tôi thảo luận về các hướng nghiên cứu tiềm năng trong tương lai, bao gồm tích hợp dữ liệu không giám sát và tối ưu hóa hơn nữa các chiến lược học tập.
The ability of large language models (LLMs) to generalize across diverse domains remains a significant challenge in natural language processing. While LLMs have achieved remarkable success on specific tasks, their performance often deteriorates when applied to data from different domains due to their limited capacity for cross-domain adaptation. In this paper, we propose a novel approach for improving domain generalization by combining meta-learning and continual learning techniques, which we refer to as Meta-Continual Adaptation. This method leverages the strengths of metalearning to enable LLMs to quickly adapt to new domains while simultaneously employing continual learning to prevent catastrophic forgetting when transitioning between tasks. We demonstrate the efficacy of our approach through extensive experiments on multiple cross-domain benchmarks, showing that Meta-Continual Adaptation significantly enhances the robustness and generalization ability of LLMs compared to traditional methods. Our results reveal that this approach not only improves the performance of LLMs across diverse domains but also reduces the need for extensive retraining, making it more efficient and scalable for real-world applications. Finally, we discuss potential avenues for future research, including the integration of unsupervised data and further optimization of learning strategies.