La DRAM HBM3E améliorera les services d’IA générative et réduira les coûts
Prospectif : Le boom de l’IA bat son plein et les fabricants de puces proposent de nouvelles technologies de mémoire avancées. La mémoire à large bande passante (HBM) de nouvelle génération est sur le point d’offrir des augmentations significatives en termes de bande passante et de capacité, et Samsung vise à devenir leader du secteur.
Bien qu’il soit entré quelque peu tardivement sur le marché du HBM3E, Samsung présente ses puces DRAM HBM3E 12H comme une réalisation pionnière dans la technologie de mémoire en couches 3D. Les dernières puces mémoire du géant coréen utilisent une nouvelle pile à 12 couches, qui peut offrir une augmentation de 50 % des performances et de la capacité par rapport aux puces HBM3E dotées d’une pile à 8 couches.
Les puces HBM3E 12H peuvent atteindre jusqu’à 1 280 gigaoctets par seconde (Go/s) de bande passante, affirme Samsung, offrant une capacité sans précédent de 36 gigaoctets. Samsung a réussi à empiler 12 couches dans la même puce en utilisant un film non conducteur à compression thermique avancé (TC NCF), qui semble conserver la même spécification de hauteur que les puces à 8 couches, répondant ainsi aux exigences actuelles des applications d’emballage de mémoire HBM.
TC NCF offre également des avantages supplémentaires en atteignant les plus petits écarts entre les puces de l’industrie à sept micromètres, tout en réduisant également les vides entre les couches. La densité verticale de la DRAM peut être augmentée de 20 % par rapport aux puces HBM3E 8H. Les améliorations apportées à la fabrication offrent également de meilleures propriétés thermiques et un rendement de produit plus élevé, nous dit-on.
La société basée à Séoul prévoit que sa dernière génération de puces HBM3E (12H) fournira une solution « optimale » pour les accélérateurs d’IA avec une demande croissante de mémoire DRAM. Par rapport aux puces HBM3 8H, les mémoires Samsung HBM3E 12H semblent offrir une augmentation de 34 % de la vitesse moyenne pour la formation des modèles d’IA. De plus, la société affirme que le nombre d’utilisateurs simultanés de services d’inférence peut être multiplié par « plus de 11,5 ».
Samsung fournit actuellement des échantillons de ses premières puces HBM3E 12H à certains clients, avec une production en masse attendue au premier semestre 2024. Parallèlement, Micron, un autre acteur majeur du marché HBM3E, a annoncé la production à grande échelle de ses dernières puces mémoire 3D. . La société basée dans l’Idaho mise considérablement sur une conception de puce HBM3E « traditionnelle » à 8 couches pour améliorer ses performances financières au cours de l’exercice 2024.
Micron fournira à Nvidia des puces HBM3E 8H de 24 Go pour le prochain GPU H200 Tensor Core, un puissant accélérateur d’IA qui devrait arriver sur le marché au second semestre 2024. Semblable à Samsung, Micron positionne sa technologie HBM3E comme une solution leader pour la mémoire. applications intensives et services d’IA générative.
Les puces HBM3E offrent une vitesse de broche supérieure à 9,2 gigabits par seconde (Gb/s), fournissant plus de 1,2 téraoctets par seconde (To/s) de bande passante mémoire. La société affirme que la consommation d’énergie est 30 % inférieure à celle des produits concurrents, et que la capacité de 24 Go permet aux opérateurs de centres de données d’atteindre une « évolutivité transparente » pour des applications d’IA étendues.
Sumit Sadana, vice-président exécutif et directeur commercial de Micron, souligne que les nouvelles puces HBM3E de la société peuvent soutenir la croissance de l’entreprise dans un contexte de demande croissante d’IA. Pour l’avenir, Micron se prépare à tester ses premières puces HBM3E de 36 Go 12-High en mars.
