Processament del Llenguatge Natural (NLP)

El Processament del Llenguatge Natural (NLP) es refereix a una branca de la intel·ligència artificial (IA) que brinda als ordinadors la capacitat d’analitzar i interpretar el llenguatge humà.

L’objectiu final del NLP és entrenar a l’ordinador perquè aconsegueixi una comprensió en l’àmbit humà mitjançant la combinació de models de lingüística computacional, estadística, aprenentatge automàtic (Machine Learning) i aprenentatge profund (Deep Learning). L’ús pràctic dels models NLP inclou reconeixement de veu, etiquetat de part de la parla, anàlisi de sentiments i generació de llenguatge natural.

Els models de generació de text es van començar a desenvolupar fa dècades, molt abans del boom del Deep Learning. L’objectiu d’aquesta mena de models és, ser capaços de predir una paraula o seqüència de paraules donat un text.

Els primers models de generació de text s’entrenaven utilitzant cadenes deMarkov, on cada paraula era un estat de la cadena i a probabilitat de la següent paraula (sobre la base de l’anterior) es calcula sobre la base del nombre d’ocurrències de totes dues paraules consecutivament en el text d’entrenament.

Posteriorment, van començar a emprar-se xarxes neuronals recurrents (RNN), que eren capaces de retenir un major context del text introduït, i les Long Short-Term Memory (LSTM), que són un tipus de RNN, que tenen una memòria més a llarg termini. No obstant això, aquest tipus de xarxes estan limitades quant al que poden recordar i a més són difícils d’entrenar, per la qual cosa no són bones per a la generació de textos llargs.

L’any 2017 Google proposa una arquitectura nova anomenada Transformer, en la qual es basen diferents models de generació de text avui dia, com BERT, GPT-2 i GPT-3, Bloom, GPT-3.5, GPT-4, ChatGPT, etc..

Introduccíó al funcionament del NPL – Fins al minut 19

– OpenAI: GPT-4
– Google: Gemini Pro 1.5 i ara intregacions amb Google Workspace
– Meta: LLaMA 2
– DeepMind: AlphaCode
– Anthropic AI: Claude
– Mistral : Mistral 7B i Mixtral
– Laion: Open Assistant

Igualment, els més coneguts son ChatGPT, Bing Chat i ara també Gemini de Google, on aquí radica la seva rapidíssima popularitat, per la seva facilitat d’ús i accés. Perquè no hem d’oblidar que mitjançant el seu ús també l’estem entrenant i millorant i, per tant, és important recordar que no hem de proporcionar-li dades personals i privades com poden ser per exemple part d’un codi del nostre programa informàtic o dades internes de la nostra empresa o particular. Un exemple és la recomanació que va realitzar Amazon als seus empleats, podeu veure un article AQUI

OpenAI va utilitzar una versió més petita de GPT-3 per al seu primer model RLHF popular, InstructGPT en el qual es basa ChatGPT.

Amb RLHF (Reinforcement Learning from Human Feedback), el model d’intel·ligència artificial és entrenat en un ambient simulat amb un objectiu específic en ment. Durant l’entrenament, el model pren accions en l’ambient i rep retroalimentació en forma de recompenses numèriques. No obstant això, en lloc de confiar únicament en aquestes recompenses per a guiar el seu aprenentatge, el model també rep retroalimentació en temps real d’un humà.

La retroalimentació humana pot proporcionar-se de diferents maneres, com a classificacions binàries (per exemple, bona/dolenta), etiquetat d’accions específiques, o correcció de decisions preses pel model. Aquesta retroalimentació ajuda a dirigir l’aprenentatge del model, especialment quan les recompenses numèriques són poc clares o ambigües.

Si no coneixes o recordes els tipus d’aprenentatge en Machine Learning, recomanem tornar a llegir el nostre apartat d’Introducció a la intel·ligència artificial, concretament AQUÍ

És crucial esmentar que els models NLP estan enfocats en l’idioma anglès i encara que alguns com GPT-3 i ChatGPT per la seva gran quantitat de paràmetres poden funcionar en altres idiomes, la seva eficàcia depèn de la quantitat d’informació rebuda durant el seu entrenament. Per tant, sempre tindrem un millor resultat si es fa servir l’anglès, tot i que en espanyol i català fan una tasca realment bona.

Vols saber més sobre els Complements que es poden instal·lar ChatGPT per fer-lo més potent?, clica AQUÍ

A l’hora d’introduir la pregunta al prompt de ChaptGPT es força important tenir en compte com ho fem, un exemple es voler saber:

Us hem preparat un repositori que ha fet la comunitat amb un Excel de “prompts” per veure exemples de múltiples àrees i especialitats, on podreu comprovar que en la majoria de vegades és aconsellable indicar a ChatGPT com s’ha de comportar abans de realitzar la pregunta. Ho teniu AQUI

També indicar que la comunitat entrena models més petits centrats en Espanyol (uns 700), els més coneguts poden ser Beto, Bertin, MarIA, Rigoberta, etc.. Amb milers de DataSets per a entrenar models i que estan recopilats en Hugging Face

Lògicament, queden una infinitat de temes per tocar dins del Processament Natural del Llenguatge (NLP), a partir d’aquí continuarem indicant explicacions i novetat dins dels butlletins i si s’escau afegirem contingut en aquesta secció.

Vídeos relacionats

La Siguiente Gran Revolución: NLP

Introducción al Natural Language Processing (NLP) – Pt 1

Introducción al Natural Language Processing (NLP) – Pt 2

Gemini Pro 1.5 amb 1.000.000 de Tokens

Github Copilot – Asistente programación