BitNet.cpp : le cadre open source de Microsoft pour réduire les coûts d’inférence des LLMs quantifiés à 1 bi

Microsoft a récemment publié BitNet.cpp, un cadre open-source conçu pour optimiser l’inférence des grands modèles de langage (LLM) quantifiés à 1 bit. Il permet notamment d’exécuter un modèle BitNet b1.58 de 100 milliards de paramètres sur un seul processeur, atteignant des vitesses de traitement comparables à la lecture humaine, à une cadence de 5-7 jetons […]. Lire plus >

Mot clé : IA -- publié le 22/10/2024 08:00:00






L'écosystème actuel de l'IA n'est utile qu'à Nvidia, prévient un universitaire

Qualifiant l'économie de l'intelligence artificielle d'"incroyablement malsaine", Kai-Fu Lee suggère de s'inspirer de Steve Jobs et de l'iPhone pour améliorer la situation.. Lire plus >

Mot clé : INFORMATIQUE -- publié le 22/10/2024 07:10:00



Je souhaite en savoir plus