Американский интернет-гигант, название которого опасно произносить в РФ, изящно решил для себя – хоть и частично – проблему дефицита серверной DRAM. Модули DDR4 при списании старых серверов теперь извлекают и подключают к новым машинам. Взаимодействие устаревшего и передового «железа» обеспечивает кастомный адаптер на основе ASIC Vistara.
Корпорация Meta (признана властями РФ экстремистской организацией, ее деятельность на территории РФ запрещена) нашла способ смягчить для себя последствия нынешнего острого дефицита оперативной памяти. В компании Марка Цукерберга (Mark Zuckerberg) теперь собирают новые серверы с использованием старых модулей DRAM DDR4, извлеченных из списанных устройств, пишет The Register.
Срок эксплуатации серверов, используемых в компании, составляет от 3 до 5 лет. В то же время модули памяти, входящие в их состав, могут без проблем использоваться на протяжении 7-10 лет. Таким образом, при списании машины еще не исчерпавшая свой ресурс DDR4 тоже отправляется в утиль, что в текущей ситуации вряд ли можно назвать наиболее оптимальным решением.
«Подружить» стремительно устаревающую, но все еще пользующуюся спросом DDR4 с современными CPU инженеры Meta* сумели, разработав CLX-экспандер на базе собственного чипа Vistara. Он представляет собой специализированный контроллер (ASIC), который обеспечивает обмен данными между ОЗУ на базе DDR4 с самыми современными процессорами, поддерживающие исключительно более новую DDR5, через высокоскоростную шину PCIe x16 пятого поколения в соответствии со стандартом CXL (Compute Express Link) 2.01/1.1.
Каждая такая микросхема объединяет два независимых 72-битных канала памяти DDR4, поддерживает скорость в 3200 МТ/с и суммарную емкость до 256 ГБ при использовании 64-гигабайтных модулей. За управление внутренней логикой и распределением потоков данных в Vistara отвечает пара кастомных ядер на базе открытой архитектуры RISC-V. ASIC Vistara распаивается на кастомной плате расширения CXL, которая располагает разъемами под DIMM-модули памяти с поддержкой стандарта DDR4.
С использованием получившегося таким образом девайса собирают «серверы памяти» (MemServer) на базе процессора AMD Epyc пятого поколения (Turin) со 158 ядрами. Каждый такой сервер объединяет 768 ГБ оперативной памяти DDR5 и 256 ГБ стандарта DDR4.
Модули Vistara в таком сервере подвергаются обдуванию направленным потоком воздуха для их дополнительного охлаждения для поддержания их стабильной работы. Поток генерируется мощными вентиляторами. Такой подход позволяет обеспечить стабильную работу системы даже при высоких нагрузках, отмечает The Register.
Операционная система, управляющая работой сервера, «видит» установленную DDR4 как дополнительную беспроцессорную ноду NUMA и задействует ее при исчерпании имеющегося объема DDR5-памяти, которой отдается приоритет.
Взаимодействие с Vistara обеспечивает модифицированная версия CXL-драйвера для ядра Linux, исходный код которого либо уже передан, либо будет передан сообществу разработчиков Linux в ближайшее время, говорится в документе, посвященном технологии и оказавшемуся в распоряжении The Register.
Как утверждается, технология уже внедрена в инфраструктуру компании, насчитывающую несколько миллионов серверов, которые задействованы в решении широкого круга задач, таких как дезагрегированный инференс моделей машинного обучения (используется в рекомендательных системах), обработка больших данных (Big Data), обеспечение работы распределенного кеша, а также для сборки ПО, разработка которого ведется в соответствии с методологией CI/CD.
Инструменты вроде Apache Spark и Hive оперируют колоссальными объемами данных, исчисляющимися терабайтами и даже петабайтами, и для их обработки нуждаются в сотнях гигабайт оперативной памяти. Внезапное исчерпание ее доступного объема чревато «нарушением протекания критически важных процессов бизнес-аналитики и функционирования ML-пайплайнов», а внедрение Vistara позволяет снизить риски возникновения подобных ситуаций и повысить общую надежность системы, отмечают в разработчики.
Внедрение технологии также позволило компании снизить расходы на инфраструктуру, в частности, на четверть сократить численность парка серверов, используемых для дезагрегированного инференса. Наконец, она банально позволяет сэкономить на приобретении дополнительных модулей ОЗУ, которые в последнее время сильно подорожали.