SetFit , plus petit et moins gourmand, surpasse GPT-3 dans plusieurs tâches de NLP

Le surpuissant modèle de langage d'OpenAI connu pour sa précision diabolique, mais aussi son nombre gigantesque de paramètres, est sur la sellette.

C'est Philipp Schmid, tech lead chez Hugging Face qui a dévoilé cette info faisant l'effet d'une bombe dans le milieu très fermé des modèles de langage.

SetFit est un modèle de langage concocté dans les labos de recherche Intel Labs et UKP Lab, avec l'ambition d'être plus petit et plus fort que GPT-3.

SetFit n'a besoin que de 8 exemples étiquetés par classe ou juste 32 exemples pour donner des meilleurs résultats de GPT-3 dans le domaine de la classification de texte.

SetFit serait par ailleurs meilleurs que GPT-3 dans 7 autres taches sur 11, alors qu'il est 1600 fois plus petit.

Mille milliards d'opérations en virgule flottante par seconde et par jour pendant 3 640 jours sont nécessaires pour entrainer GPT-3.

On ne fait pas ça sur un ordinateur de bureau, même bien pourvu pour le jeu.

Avec SetFit, un petit GPU NVIDIA suffit à entrainer le modèle sur vos données en une heure.

Limite, un iPhone pourrait suffire. Sur vos données.

𝗔𝗻𝗮𝗹𝘆𝘀𝗲 𝗽𝗲𝗿𝘀𝗼𝗻𝗻𝗲𝗹𝗹𝗲 :

🎯 GPT-3 ça décoiffe, mais l'énergie nécessaire à son entrainement me laisse perplexe. 🎯 Impossible de l'entrainer par ses propres moyens avec ses propres données. 🎯 SetFit parait plus raisonnable sur ces deux points et représente un super challenger pour qui voudrait faire sa soupe dans son coin