Como a técnica contribui para a evolução da IoT com modelos capazes de se autopodar durante o seu treinamento
A intersecção entre Inteligência Artificial (IA), Internet das Coisas (IoT) e Computação de Borda está redefinindo a indústria e a saúde. O trabalho do pesquisador Marcelo Fernandes, da Universidade Federal do Rio Grande do Norte (UFRN), que atua há 25 anos com IA, explora essa integração. Ele hoje faz parte de três linhas temáticas dentro do INCT ICoNIoT: IoT Industrial, Computação de Borda e Saúde.
Marcelo explica que um dos grandes obstáculos ao implantar aprendizado de máquina (ML) em dispositivos de IoT é o tamanho dos modelos. Embora os modelos de ML para IoT não sejam modelos de linguagem e sejam menores que os Large Language Models (LLMs), eles ainda podem ser grandes demais para caber em dispositivos limitados. A solução proposta envolve modelos comprimidos. Marcelo Fernandes, em colaboração com o professor H. T. Kung da Universidade de Harvard, desenvolveu duas técnicas inovadoras de compressão consciente. A compressão é dita “consciente” porque o modelo não apenas aprende a realizar sua função, mas também aprende a se comprimir. Isso é feito durante o treinamento, no qual o modelo é forçado a usar menos bits e a se autopodar, tirando nós para determinar sua importância. Existem outras técnicas que reduzem o modelo após o treinamento, mas isso geralmente resulta em uma queda na acurácia.
As duas técnicas propostas pelos pesquisadores nessa linha são:
- COMPRESSÃO CONSCIENTE ITERATIVA BASEADA EM QUANTIZAÇÃO SEGUIDA DE PODA (Iterative Aware Compression Based on Quantization Followed by Pruning).
- COMPRESSÃO CONSCIENTE ITERATIVA BASEADA EM POD SEGUIDA DE QUANTIZAÇÃO (Iterative Aware Compression Based on Pruning Followed by Quantization)
A primeira publicação dos pesquisadores acerca do assunto foi feita em 2021 (doi: 10.1109/IJCNN52387.2021.9534430). Desde então, Fernandes vem testando as técnicas com foco em aplicações diversas. Pela primeira vez estão sendo aplicadas em dispositivos de IoT – esse foco teve início quando Marcelo Fernandes começou a trabalhar junto ao ICoNIoT. Ele tem um aluno de doutorado, Mateus Golbarg, e um de mestrado, Vitor Fidelis Freitas, na UFRN, também trabalhando nessa perspectiva. Eles priorizam a linguagem C, mais adequada para esses dispositivos.