EdgeCortix представя SAKURA-II, AI ускорител за Edge с впечатляваща производителност от 60 TOPS (INT8) и ниска консумация на енергия от 8 вата. Чипът е проектиран за сложни AI задачи, като обработка на големи езикови модели (LLM), големи визуални модели (LVM) и мултимодални приложения, базирани на трансформатори, както и за приложения на периферията на мрежата, като устройства IoT и автономни превозни средства .
Позволява гъвкавост по отношение на хардуера, с възможност за интегриране и в двете PCIe разширителни карти с една или две SAKURA-II чипове, или също в M.2 2280 модули (PCIe x8 или x16 интерфейс) Ако предпочиташ. Следователно мощности до 120 TOPS могат да бъдат достигнати с INT8 или 60 TFLOPS с BF16.
AI платформата също предлага част от авангарден софтуер с пакет MERA за програмиране и оптимизация, хетерогенна платформа за компилиране, усъвършенствани техники за количествено определяне и възможности за калибриране на модела. Той също така включва интеграция с популярни рамки за разработка като PyTorch, TensorFlow Lite и ONNX, както и достъп до обширна библиотека от авангардни трансформативни модели и конволюционни модели.
В допълнение, компанията EdgeCortix също е помислила за разширяване на дизайна на своите AI ускорители, като е в състояние да бъдат интегрирани в SoC от други компании, като AMD.
IA SAKURA-II технически спецификации
Относно EdgeCortix SAKURA-II технически спецификации, са следните:
- NPU с DNA-II или архитектура на динамичен невронен ускорител от второ поколение.
- Производителност до 60 TOPS с INT8 или 30 TFLOPS с BF16.
- DRAM памет с двоен 64-битов канал тип LPDDR4x (8GB, 16GB, 32GB вградена) с честотна лента до 68 GB/s.
- Вградена 20MB SRAM памет.
- Ефективност до 90% използване, с консумация на енергия от 8W.
- BGA опаковка.
Ако се позоваваме на SAKURA-II модул с M.2 формат, ние имаме:
- DRAM памет
- 8GB (2x банки от 4GB LPDDR4)
- 16GB (2x банки от 8GB LPDDR4)
- Интерфейс PCIe Gen 3.0 x4
- Максимална производителност от 60 TOPS на INT8, 30 TFLOPS на BF16
- Мощност на модула 10W
- Размери M.2 2280 (22x80mm)
За PCIe разширителна карта, спецификациите са както следва за AI ускорителя:
- Интерфейс PCIe Gen 3.0 x8
- За модел с един чип SAKURA-II:
- 16GB DRAM памет (2x банки от 8GB LPDDR4)
- Производителност от 60 TOPS на INT8, 30 TFLOPS на BF16
- 10W мощност.
- За модела с два чипа SAKURA-II:
- 32GB DRAM памет (2x банки от 16GB LPDDR4)
- Производителност от 120 TOPS на INT8, 60 TFLOPS на BF16
- 20W мощност
- 1x Слот
- Включва радиатор
Относно цени, ако се чудите, те ще пристигнат от второто тримесечие на 2024 г. с:
- M.2 8GB: $249
- M.2 16GB: $299
- PCIe 1xSAKURA-II: $429
- PCIe 2xSAKURA-II: $749