Стартап d-Matrix заявил о разработке нового вида памяти для ИИ в виде кремниевого 3D-чипа, который будет в 10 раз быстрее традиционной HBM.
Отмечается, что технология 3D-цифровых вычислений в памяти (3DIMC), разработанная d-Matrix, призвана значительно ускорить вывод данных системами искусственного интеллекта. Сейчас память HBM с высокой пропускной способностью остается неотъемлемой частью систем ИИ и высокопроизводительных вычислений.
HBM размещает модули памяти друг над другом для более эффективного соединения кристаллов памяти и доступа к более высокой производительности. Однако использование такого вида памяти может быть не лучшим вариантом для задач, связанных с вычислениями, там где она играет ключевую роль в обучении систем ИИ. Она предлагает не самый быстрый вывод данных.
В связи с этим d-Matrix в лабораторных условиях проводит испытания кремниевого чипа d-Matrix Pavehawk 3DIMC. Аппаратное обеспечение для цифровых вычислений в оперативной памяти в данный момент представляет собой кристаллы памяти LPDDR5 с установленными поверх них чиплетами DIMC, подключенными через интерпозер —промежуточный слой в полупроводниках, который соединяет микросхемы и подложку или плату.
Эта конфигурация позволяет аппаратному обеспечению DIMC проводить вычисления непосредственно в памяти. Логические кристаллы DIMC настроены на умножение матрицы на вектор — распространенный метод вычислений, используемый в моделях искусственного интеллекта на основе преобразователей.
«Мы считаем, что будущий вывод данных ИИ зависит от переосмысления не только вычислений, но и самой памяти. Вывод информации ИИ ограничен памятью, а не только количеством операций с плавающей запятой (FLOP). Модели быстро развиваются, и традиционные системы памяти HBM становятся очень дорогими, энергоемкими и имеют ограниченную пропускную способность. 3DIMC меняет правила игры. Размещая память в трех измерениях и обеспечивая ее более тесную интеграцию с вычислительными системами, мы значительно сокращаем задержку, увеличиваем пропускную способность и открываем новые возможности повышения эффективности«, — отмечает основатель и гендиректор d-Matrix Сид Шет.
Сейчас компания работает над Pavehawk 3DIMC в лаборатории и уже ожидает появления нового поколения типа памяти Raptor. Как отмечают в d-Matrix, поколение Raptor также будет строиться на модели чиплета.
В стартапе ожидают, что Raptor позволит ускорить вывод данных ИИ в 10 раз по сравнению с HBM, и будет потреблять на 90% меньше энергии. Альтернатива HBM также привлекательна с финансовой точки зрения. HBM производится только несколькими мировыми компаниями, включая SK hynix, Samsung и Micron. Цены на эту память остаются высокими. SK hynix недавно подсчитала, что рынок HBM будет расти на 30% ежегодно до 2030 года, и цены растут вслед за спросом. Альтернатива этому гиганту может быть привлекательной для экономных покупателей ИИ, хотя память, предназначенная исключительно для определенных рабочих процессов и вычислений, может показаться слишком недальновидной потенциальным клиентам, опасающимся «пузыря».
Источник: Tom’sHardware