Ele apresentará a palestra ‘Generative AI-empowered 3D human pose tracking’
Resumo: Nos últimos anos, o reconhecimento e o rastreamento de atividades humanas em 3D tornaram-se temas importantes na interação humano-computador. Para preservar a privacidade dos usuários, há um interesse crescente em técnicas que não utilizam câmeras de vídeo. Nesta apresentação, discutiremos inicialmente o RFID-Pose, um sistema de estimativa de pose humana 3D assistido por visão e baseado em aprendizado profundo (DL), bem como suas variações com maior capacidade de generalização para novos indivíduos e ambientes de teste. O desempenho de modelos de DL depende da disponibilidade de dados de radiofrequência (RF) suficientes e de alta qualidade — que são mais difíceis e caros de coletar do que outros tipos de dados.
Para superar esse obstáculo, na segunda parte da palestra apresentaremos abordagens de IA generativa para produzir dados sintéticos rotulados de RF para múltiplas plataformas de detecção sem fio, como Wi-Fi, RFID e radar mmWave, incluindo uma abordagem condicional baseada em Redes Adversárias Generativas Recorrentes (R-GAN), além de abordagens baseadas em difusão e difusão latente. Por fim, propomos um novo framework que utiliza transformadores de difusão latente para sintetizar dados de RF de alta qualidade. Esses dados sintéticos ampliam conjuntos de dados limitados, possibilitando o treinamento de um preditor cinemático baseado em transformador e adaptável ao indivíduo, capaz de estimar poses 3D com suavidade temporal a partir de dados RFID. Além disso, introduzimos um transformador de difusão latente com condicionamento por atenção cruzada para inferir com precisão articulações ausentes em poses esqueléticas, completando configurações completas de 25 articulações a partir de entradas parciais (ou seja, 12 articulações). Este é o primeiro método capaz de detectar mais de 20 articulações esqueléticas distintas utilizando IA generativa para estimativa contínua de pose humana 3D (HPE) baseada em sensoriamento por RF.
Bio: Shiwen Mao é Professor, Earle C. Williams Eminent Scholar e Diretor do Centro de Pesquisa e Educação em Engenharia Sem Fio da Universidade de Auburn. Seu interesse de pesquisa inclui redes wireless, comunicações multimídia, sensoriamento por RF e IoT, saúde inteligente e redes elétricas inteligentes. Ele é editor-chefe do IEEE Transactions on Cognitive Communications and Networking, membro do Board of Governors e Diretor do Technical Committee Board da IEEE Communications Society, além de Vice-Presidente de Atividades Técnicas do IEEE Council on Radio Frequency Identification (CRFID). É co-receptor de diversos prêmios técnicos e de serviço do IEEE. Ele é Fellow do IEEE.