Tokenizar tiene dos significados principales:
1. Tokenización en el contexto de Blockchain:
• Es el proceso de convertir un activo del mundo real en un token digital en una blockchain. El token representa derechos de propiedad o acceso al activo y puede ser fácilmente intercambiado o transferido. Esto se puede aplicar a diversos activos como bienes raíces, arte, valores, etc.
2. Tokenización en el contexto del Procesamiento del Lenguaje Natural (PLN):
• En PLN, la tokenización se refiere a dividir un texto en unidades más pequeñas llamadas tokens. Estos tokens pueden ser palabras, signos de puntuación o incluso caracteres individuales. Este es el primer paso en muchas tareas de PLN como el análisis de sentimientos, la traducción automática y el resumen de texto.
Ejemplos de tokenización:
• Blockchain: Tokenizar una propiedad inmobiliaria significa convertir la propiedad en un token digital que puede ser comprado y vendido en una blockchain.
• PLN: La siguiente oración se puede tokenizar de la siguiente manera:
“La casa es grande y roja.”
• Tokens: “La”, “casa”, “es”, “grande”, “y”, “roja”, “.”
Herramientas para tokenizar:
• Existen varias herramientas para tokenizar, tanto para blockchain como para PLN. Algunas de las herramientas más populares incluyen:
• Blockchain:
• Tokeny
• Securitize
• Polymath
• PLN:
• NLTK (Python)
• spaCy (Python)
• Stanford CoreNLP (Java)
Recursos adicionales:
• Tokenización en Blockchain:
• Tokenización en PLN:
• https://www.nltk.org/book/ch04.html
• https://spacy.io/usage/linguistic-features
Tokenizar
