Magna Concursos

Considere o código em Python que utiliza a biblioteca NLTK (Natural Language Toolkit) a seguir.

import nltk
from nltk.tokenize import word_tokenize
nltk.download('punkt')
texto = "Processamento de Linguagem Natural é uma área 
da inteligência artificial que lida com a interação 
entre computadores e linguagem humana."
tokens = word_tokenize(texto)
print(tokens)

Assinale a opção que corresponde ao propósito do código apresentado.

 

Provas

Questão presente nas seguintes provas