As possibilidades atuais da Inteligência Artificial no reconhecimento da linguagem natural

Source: Deep Learning on Medium

As possibilidades atuais da Inteligência Artificial no reconhecimento da linguagem natural

Slide 1 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Contexto

Com o departamento de Sociologia do Instituto de Ciências Sociais da UnB (ICS/UnB, Brasília), organizei no 21/11/2019 uma conferência “Inteligência Artificial nas Ciências Sociais: impactos no ensino e na pesquisa” e palestrei sobre “As possibilidades atuais da Inteligência Artificial no reconhecimento da linguagem”. Este post contem os slides apresentados.

Tema da conferência

Depois do mundo da visão, o da linguagem natural está vivendo a sua revolução tecnológica desde 2018. Com o crescimento exponencial do poder de computação para processar sempre mais de textos, os modelos de Inteligência Artificial (IA) usando o Deep Learning (arquiteturas inspiradas pelo funcionamento das redes neurais do cérebro) começaram a “entender” a linguagem natural.

Na verdade, o uso do Deep Learning abriu as portas para a criação de verdadeiros assistentes inteligentes nas tarefas de Processamento da Linguagem Natural (PLN) como a classificação de textos, a busca de textos semelhantes, a detecção de entidades e conceitos em textos, a tradução em tempo real, a geração de resumos até a de novos textos imitando o estilo de um autor…

Com essas novas ferramentas à nossa disposição, é o momento de refletir sobre o uso da IA nas ciências sociais e em particular na sociologia, do seus impactos no ensino e na pesquisa em essas disciplinas ao desafio do papel de professor e pesquisador em ciências sociais num mundo da IA, mas também no aluno que terá ferramentas cada vez mais inteligentes, com acesso a um conhecimento ilimitado e com a capacidade de compreensão cada vez mais profunda.

Slide 2 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Inteligência Artificial: estamos falando aqui de modelos matemáticos treinados a partir de dados (imagens, textos, etc.) para calcular previsões. Por exemplo, o Google Translate fornece a tradução com a maior probabilidade… não falamos aqui de robôs.

Slide 3 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Os modelos de Deep Learning estão hoje os modelos mais usados na IA. Eles imitam o funcionamento do cérebro no que diz respeito ao processamento de um sinal de informação que vai ser filtrado por camadas de neurônios até que o cérebro possa entender o seu conteúdo.

A coisa incrível é que pelo treinamento, seja a visualização de muitas imagens em nosso exemplo, as camadas vão se especializar: as primeiras vão detectar formas geométricas bem simples como retas, as últimas usando uma combinação das características detectadas pelas camadas precedentes vão poder reconhecer o conteúdo principal do sinal.

Os modelos de Deep Learning funcionam do mesmo jeito com camadas de neurônios artificiais que pelo treinamento vão ter os valores dos seus parâmetros atualizados para adquirir a final uma capacidade de generalização, seja a capacidade de ser aplicados a dados novos.

Slide 4 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Os principais modelos de Deep Learning e o algoritmo de aprendizagem deles (Backpropagation) foram encontrados na década 80 mas não havia na época dados em quantidade suficiente, nem computadores com o mesmo poder de computação de hoje. No entanto, em 2012 a situação estava bem diferente. A competição ImageNet por exemplo lançada em 2009 pela universidade de Stanford propunha 1 milhão 200 mil imagens para classificar em 1000 classes. O problema de falta de dados não existia mais e também, com o uso das cartas gráficas GPU, não havia mais de problema de computação para treinar os modelos de Deep Learning em um prazo razoável.

Assim, a equipe do professor Geoffrey Hinton, um dos pais do Deep Learning, ganhou a competição do ano 2012 pela primeira vez com um modelo de Deep Learning (um ConvNet inventado pelo Yann LeCun, hoje Diretor da IA no facebook) com um desempenho 41% melhor que o do vencedor do ano passado. O Deep Learning acabava de nascer oficialmente como a melhor ferramenta de lidar com reconhecimento de imagens.

Slide 5 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Como já entendemos, em 2012 havia os 3 pilares necessários para treinar modelos de Deep Learning: dados, modelos e poder de computação. é por isso que ele se tornou popular.

Slide 6 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Na verdade, mais uma coisa foi critica no sucesso do Deep Learning na visão computacional: o Transfer Learning. De fato, como todos os modelos vencedores da competição ImageNet foram colocados online prontos para ser baixados, foi possível para qualquer pessoa de criar qualquer modelo de Deep Learning de alto nível em computação visual apenas especializando os com seus dados e sua tarefa (por exemplo, uma classificação para 2 classes e não 1000). O Transfer Learning foi, e continua ser, a chave do sucesso do uso do Deep Learning na visão computacional.

Slide 7 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Video sobre o aplicativo de IA Zao
Slide 8 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Depois de 6 anos de reino da pesquisa em DL na computação visual, o Momento ImageNet começou no inicio de 2018 com a publicação do papel acadêmico ULMFiT (Universal Language Model Fine-tuning for Text Classification) do Jeremy Howard e Sebastian Ruder: a ideia era de treinar um modelo de linguagem para o inglês usando o Wikipedia antes de especializá-lo para um corpus diferente pelo Transfer Learning. Além disso, era possível especializá-lo numa terceira fase para uma nova tarefa tipo classificação usando o corpus precedente.

Slide 9 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

A partir deste momento, a pesquisa em IA aplicada ao PNL (processamento de Linguagem Natural) explodiu com uma duplicação do número de papéis sobre esse assunto mandados para as conferências internacionais sobre o PLN.

Slide 10 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

A mídia entendeu na época que uma revolução estava começando e o Deep Learning no PLN fiz a primeira página do New York Times, do Le Monde ou da Folha de São Paulo para citar apenas esses exemplos.

Slide 11 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Podemos citar um artigo recente (setembro 2019) que relata como o modelo Aristo do Allen Institute for AI passou um exame nos Estados Unidos com 90% de respostas boas.

No entanto, é importante observar que não há IA geral, mas apenas AIs especializadas que podem executar apenas uma tarefa. Além disso, devemos lembrar que ainda hoje uma IA não entende o significado de um texto. Uma IA não tem bom senso.

Slide 12 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Porquê sabemos que os modelos de Deep Learning no PLN dão cada vez mais certo? é porque há muitas competições online com conjunto de dados que permitem de treinar e testar os modelos no que diz respeito a muitas habilidades usadas pelo ser humano no reconhecimento da fala. Uma é o SQuAD (Stanford Question Answering Datset).

Slide 13 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

No leaderboard do SQuAD, podemos observar que os primeiros modelos ultrapassaram o desempenho do ser humano na tarefa especifica de questões e respostas.

Slide 14 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

No entanto, antes de entender os pontos-chaves da tecnologia de DL que permitiram a decolagem do DL no PLN, vamos dar uma olhada nas 4 listas de tarefas mais testadas no PLN.

Vou chamar a primeira de base porque, embora ainda haja muito o que fazer, existem aplicativos on-line muito bons para tirar proveito disso.

Slide 15 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

A segunda lista de tarefas diz a respeito de compreensão:

Slide 16 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

A terceira lista de tarefas fala de rotulagem dos textos ou de partes deles:

Slide 17 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

A quarta e ultima lista diz a respeito de geração de textos e toca assim o assunto de criatividade mas também de Fake News:

Slide 18 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Porquê o desempenho do PLN decolou no início de 2018?

  1. Embeddings contextuais
  2. Modelos de Linguagem Natural
  3. Transfer Learning
Slide 19 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Antigamente, vetores de embeddings eram usados tipo Word2Vec: independente do texto, o mesmo vetor era usado. Desde 2018, os vetores de embeddings estão atualizados a respeito do contexto (ie, do corpus).

Slide 20 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Um modelo de linguagem natural aprende a prever a próxima palavra de uma frase com base no conhecimento de palavras anteriores. Esse método simples é incrivelmente poderoso. graças a esse, o modelo começa a entender a linguá do copus de treinamento e não apenas a sintáxica mas também a semântica. O modelo aprende uma linguá e informações sobre o mundo.

Slide 21 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Do mesmo jeito que na computação visual, o Transfer Learning no NLP permeie usar os parâmetros de um modelo já treinado com um outro corpus e/ou para uma outra tarefa. Isso foi certamente o ponto-chave da revolução do DL no NLP.

Slide 22 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 23 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 24 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Fonte: NLP & fastai | Portuguese Language Model

Desde 2018, o treinamento de modelos de linguagem natural (prever a próxima palavra) tem sido um passo fundamental no PNL: não estamos mais fazendo análise estatística da linguagem, começamos a entender a linguagem.

A mídia escreveu extensivamente sobre o impressionante desempenho dos modelos de linguagem natural GPT-2 da OpenAI (“OpenAI has released the largest version yet of its fake-news-spewing AI”, MIT — agosto de 2019), BERT do Google (“New Google Brain Optimizer Reduces BERT Pre-Training Time From Days to Minutes” — Synced, april de 2019; “Allen Institute for AI Announces BERT-Breakthrough: Passing an 8th-Grade Science Exam” — NVIDIA, setembro de 2019) e RoBERTa do Facebook (“Facebook is betting the next big interface is conversation” — fastcompany, setembro de 2019).

De fato, esses modelos são capazes, graças a uma arquitetura da ordem do bilhão de parâmetros e a um treinamento em corpus de várias dezenas de GB de textos, não apenas de (começar a) entender um texto (avaliação de acordo com as técnicas de resumo, perguntas/respostas, etc.), mas também de gerar novos textos. A criatividade de uma IA em linguagem natural se torna possível.

O modelo de linguagem treinado aqui com a configuração do MultiFiT e com seus 42 milhões de parâmetros não pode competir com esses modelos em tais tarefas.

Sua ambição é poder ser usado para a classificação de textos de qualquer campo (jurídico, médico, informação / mídia, finanças, marketing, ciências sociais, esporte etc.) da língua do treinamento com alto desempenho (mais de 95% da acurácia), rapidamente (pela técnica de Transfer Learning) e mesmo com pequenos corpus. Além disso, seu treinamento é possível em qualquer plataforma on-line da GPU por um custo baixo (menos de US $ 20).

Resultados

Publiquei o código usado para treinar meus modelos no diretório github dos meus Modelos de Linguagem assim que o link para baixar os parâmetros do ML geral Bidirecional do português (MultiFiT) e seu vocabulário.

Notebooks dos modelos

Slide 25 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Aplicativo online para testar o GPT-2 na geração de textos em inglês (1 bilhão 500 milhões de parâmetros à data de 21/11/2019).

Slide 26 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Google Translate API.

Slide 27 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

IBM Watson Text-to-Speech.

Slide 28 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Aplicativo de compreensão de Leitura por Respostas a Perguntas usando o BERT.

Slide 29 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Extensão Firefox de detecção de textos falsos (Fake News) e Google Chrome.

Slide 30 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 31 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 32 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 33 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)
Slide 34 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Para melhorar os modelos de Deep Learning no NLP para o português, o Brasil precisa:

  • Conjuntos de dados em português
  • Laboratórios especializados no PLN
  • Projetos de PLN na educação
Slide 35 da palestra do Pierre Guillou sobre a IA no PLN (21/11/2019)

Sobre o autor: Pierre Guillou é consultor em Inteligência Artificial no Brasil e na França. Entre em contato com ele através do seu perfil do Linkedin.