Deepseek Research сообщила о прорыве в области памяти, позволяющем разделить вычислительную мощность и пулы оперативной памяти, чтобы обойти ограничения GPU и HBM.
Компания DeepSeek опубликовала техническую статью, в которой подробно описывается новый метод, позволяющий моделям ИИ использовать базу данных с возможностью запросов, хранящуюся в системной памяти.
Этот метод, получивший название Engram, основан на условной памяти и обеспечивает значительно более высокую производительность при выполнении запросов с большим контекстом за счёт сохранения последовательностей данных в статической памяти. Это снижает зависимость моделей ИИ от логических выводов, позволяя графическим процессорам выполнять только более сложные задачи, повышая производительность и снижая зависимость от памяти HBM.
N-граммы, статистические последовательности слов, интегрируются в нейронные сети модели, что позволяет помещать их в банк памяти с возможностью запроса. Engram позволяет моделям запоминать факту, а не выводить их, что требует больших вычислительных ресурсов.