Resumo e 1 Introdução
Trabalhos relacionados
Definição do problema
Metodologia
4.1. Destilação consciente do limite de decisão
4.2. Consolidação de conhecimento
Resultados experimentais e 5.1. Configuração do experimento
5.2. Comparação com métodos SOTA
5.3. Estudo de ablação
Conclusão e trabalho futuro e Referências
\
Material Suplementar
Como mostrado na Fig. 2 (a), a ocorrência de desvio de conceito em novas observações leva ao surgimento de amostras externas nas quais o modelo existente falha. O novo IIL precisa ampliar o limite de decisão para essas amostras externas, além de evitar o esquecimento catastrófico (CF) no limite antigo. Métodos convencionais baseados em destilação de conhecimento dependem de alguns exemplares preservados [22] ou dados auxiliares [33, 34] para resistir ao CF. No entanto, na configuração IIL proposta, não temos acesso a nenhum dado antigo além das novas observações. A destilação baseada nessas novas observações entra em conflito com o aprendizado de novos conhecimentos se nenhum novo parâmetro for adicionado ao modelo. Para encontrar um equilíbrio entre aprender e não esquecer, propomos um método de destilação consciente do limite de decisão que não requer dados antigos. Durante o aprendizado, o novo conhecimento aprendido pelo aluno é consolidado intermitentemente de volta ao modelo do professor, o que traz melhor generalização e é uma tentativa pioneira nesta área.
\ 
\
:::info Autores:
(1) Qiang Nie, Universidade de Ciência e Tecnologia de Hong Kong (Guangzhou);
(2) Weifu Fu, Tencent Youtu Lab;
(3) Yuhuan Lin, Tencent Youtu Lab;
(4) Jialin Li, Tencent Youtu Lab;
(5) Yifeng Zhou, Tencent Youtu Lab;
(6) Yong Liu, Tencent Youtu Lab;
(7) Qiang Nie, Universidade de Ciência e Tecnologia de Hong Kong (Guangzhou);
(8) Chengjie Wang, Tencent Youtu Lab.
:::
:::info Este artigo está disponível no arxiv sob a licença CC BY-NC-ND 4.0 Deed (Atribuição-NãoComercial-SemDerivações 4.0 Internacional).
:::
\


