Моделирование компонентов шины Intel QPI

LTI-системы

В настоящее время многие высокоскоростные последовательные системы передачи данных разрабатываются с использованием методов, которые многие годы широко применялись при проектировании радиочастотных и СВЧ-систем. Методы моделирования интерфейса на базе шины QuickPath Interconnect (QPI) корпорации Intel основаны на том, что такие системы являются линейными и инвариантными во времени (Linear and Time-Invariant — LTI).

Линейность означает, что система удовлетворяет принципам масштабируемости и суперпозиции. Масштабируемость предполагает, что при увеличении количества входов системы пропорционально увеличивается количество выходов. Согласно принципу суперпозиции, выходной сигнал системы представляет собой результат суммирования входных сигналов.

Если входы и выходы системы не меняются во времени, как в случае резисторной цепи, система является инвариантной во времени. Прибор с памятью не всегда является инвариантным во времени. В таком устройстве выходной сигнал зависит от предыдущего состояния системы.

LTI-система сочетает линейность и инвариантность во времени, так что сигнал, передаваемый по такой системе, всегда приводит к появлению одного и того же сигнала на выходе, вне зависимости от его поступления на вход. На выходе такой системы происходит суммирование сигналов всех входов, причем амплитуду сигнала на выходе можно определить по амплитуде сигнала на входе.

Для LTI-систем итеративный (т.е. с помощью последовательных шагов) подход к анализу состояния системы не требуется, следует лишь иметь данные о начальном состоянии системы.

Поскольку ее характеристики не меняются со временем, каждый битовый поток не подвергается отдельному анализу. По принципу суперпозиции, индивидуальные характеристики передаваемых по шине предыдущего, текущего и последующего битов могут быть суммированы и сформирована общая характеристика интерфейса для любой комбинации данных.

Моделирование во временной области

Для анализа целостности сигнала в системе на базе шины QPI компании Intel рекомендуется применять временное моделирование битовых потоков и импульсной характеристики.

Временное моделирование шины QPI включает разбиение топологии системы на части и учет наиболее существенных эффектов каждого блока в системной модели.

Основными частями топологии шины являются:

– передатчики;

– приемники;

– межсоединения.

Моделирование передатчика

Моделирование драйверов шины QPI основано на трех ключевых элементах:

– моделирование источников тока, ключей и выходного импеданса;

– моделирование корректирующих цепей;

– выбор входных тестовых сигналов и фильтров.

В общем случае, схема драйвера шины QPI весьма похожа на те, которые используются для интерфейсов PCI Express, Serial ATA, USB и других последовательных интерфейсов, применяемых в компьютерных платформах. Упрощенно передатчик можно представить в виде источников тока, как показано на рисунке 1. (Могут быть также использованы драйверы на базе источников напряжения. Однако на практике с помощью таких схем труднее добиться баланса скорости распространения фронта сигнала по двум дифференциальным линиям из-за разброса параметров технологического процесса, уровня напряжения и температуры). Уровни напряжения логических 0 и 1 формируются с помощью управляемых ключей, включенных между источником тока и выходами драйвера по комплементарной схеме. Резисторы нагрузки на каждом выходе драйвера преобразуют ток в напряжение, когда соответствующий ключ закрыт.

Рис. 1. Схема простого передатчика

В реальной схеме каждый ключ представляет собой один транзистор или набор транзисторов с конечным сопротивлением канала в открытом состоянии. Выходная нагрузка также имеет конечный импеданс и обычно представляет собой ряд параллельных резисторов, включенных последовательно с транзисторами, которые обеспечивают автоматическую компенсацию импеданса. Источник тока обычно состоит из одного или более управляющих транзисторов, работающих в режиме насыщения, так что их выходной ток слабо меняется при изменении напряжения.

Импеданс драйвера может меняться в зависимости от состояния ключа и напряжения по различным причинам. Во-первых, импеданс источника тока небесконечен. Во-вторых, использование для управления транзисторов или транзисторов с последовательным сопротивлением не обеспечивает постоянное сопротивление во всем диапазоне напряжений. Наконец, транзисторы, изготовлен-
ные по современному КМОП-про=цессу, имеют небольшую область насыщения, по сравнению с напряжением питания. В результате, отклонение напряжения питания может вызвать выход источника тока из области насыщения и, следовательно, из режима постоянного тока.

Вся схема может быть смоделирована с использованием весьма небольшого количества компонентов и списка соединений, полученного с помощью любой коммерческой программы SPICE. Более реалистичная модель драйвера содержит идеальный источник тока с параллельно включенным сопротивлением и емкостью, что отражает реальный импеданс источника тока, как показано на рисунке 2. Кроме того, в модель включена емкость, параллельная выходному резистору, а ключи представлены в виде резисторов с весьма высоким импедансом в выключенном состоянии и очень низким импедансом — во включенном состоянии. В модель может быть добавлен конденсатор на входе ключа (не показан) для имитации реальных переходных процессов на ключах.

Рис. 2. Детализированная модель передатчика

Моделирование переходных процессов во временной области обычно выполняется с помощью средств аналогового моделирования, таких как SPICE. Для этого необходимо задать набор входных сигналов управления ключами драйвера в аналоговом представлении с реальной длиной фронтов, а не в виде идеальных уровней логического 0 и логической 1, как принято в цифровых пакетах разработки (например, при использовании VHDL или Verilog). Для точного представления модели при разработке схем для шины QPI в модель драйвера добавляют ограничители напряжения и фильтры, как показано на рисунке 3. Для представления комбинации данных, которые передаются драйвером, можно использовать источники аналогового напряжения в диапазоне от 0 до 1 В DC. Ограничители напряжения позволяют моделировать изменение выходного напряжения, вызванное отклонениями в технологическом процессе, напряжении питания и температуры, связанными с крупносерийным производством. Фильтры (как правило, Бесселевы) позволяют подавить высокочастотные помехи, присутствующие в аналоговом битовом потоке.

Рис. 3. Полная модель передатчика

В отличие от PCIe, шина Intel QPI 1.0 не использует схему кодирования, подобную 8b/10b или 64b/66b. Набор входных сигналов для моделирования буфера может поэтому содержать сигналы любой частоты. Этот набор сигналов, однако, должен содержать какой-либо код шифрования.

Еще одним компонентом, который необходимо моделировать при разработке системы на базе шины QPI, является корректор канала передачи данных. В шине QPI, подобно PCIe, Serial ATA и другим последовательным дифференциальным интерфейсам, используется коррекция, которую называют также предыскажениями или компенсацией предыскажений. Предыскажения подразумевают, что характеристика системы в полосе пропускания сглаживается путем повышения выходной мощности драйвера на высоких частотах для компенсации высокочастотных потерь. Компенсация предыскажений подразумевает, что характеристика системы сглаживается путем уменьшения выходной мощности драйвера на низких частотах для согласования с потерями на высокой частоте. В обоих случаях частотная характеристика сглаживается, что уменьшает межсимвольные помехи и джиттер в системе.

Обычно в последовательных дифференциальных интерфейсах могут использоваться только два источника тока для усиления выходного сигнала и компенсации межсимвольных помех. Более сложные системы, особенно системы на базе соединительной (материнской) платы с множеством разъемов, могут потребовать дополнительных драйверов для компенсации более сложной отражающей среды. Каждый дополнительный драйвер можно смоделировать как источник тока со всеми необходимыми компонентами.

Для упрощения анализа сложной системы драйверов модель должна содержать параметризованные значения импеданса драйвера (в виде резисторов и конденсаторов), выходную мощность каждого источника тока, ожидаемый размах напряжения на выходе, а также параметры входных сигналов управления (например, скорость нарастания фронта сигнала). Выходной ток каждого драйвера можно установить в соответствии с оптимальными коэффициентами коррекции, необходимыми для снижения или подавления межсимвольных помех в системе. Следовательно, формат используемой для представления драйвера модели должен поддерживать управление переменными всех этих компонентов. Такие форматы как Verilog-A и SPICE обеспечивают, как правило, достаточно хороший баланс между скоростью моделирования, стоимостью программы и простотой модели. Форматы Verilog-AMS и VHDL-AMS менее привлекательны из-за более дорогих инструментов, которые их поддерживают, а традиционный формат IBIS (версии 4.0 и ниже) требует отдельных моделей для каждой переменной, что усложняет анализ системы и необходимость регулировки параметров модели.

В общем случае буфер для моделирования шины QPI подобен тому, который используется для моделирования интерфейсов SMI или PCIe (производительностью 5 ГТ/с) на серверной платформе. Основное отличие состоит в том, что в PCIe компенсация буфера ограничена лишь одним из двух или трех вариантов установки («компенсация отключена», 3,5 или 6 дБ).

Следует учесть еще несколько моментов при конкретной реализации канала QPI. Во-первых, при добавлении драйвера в систему мощность не возрастает. Другими словами, общая мощность, обеспечиваемая некомпенсированным и компенсированным передатчиком, должна быть одинаковой. При компенсации изменяется только распределение мощности в зависимости от коэффициентов компенсации. Простым способом проверки того, что используются корректные драйверы, является сложение абсолютных значений их децимальных коэффициентов (например, 0,8; −0,15; −0,05). Их сумма должна быть равна 1,0. Инструменты и модели Intel выполняют это автоматически.

Моделирование приемника

В современных системах на базе QPI не требуется компенсация с помощью конфигурируемых приемников, поэтому схема и соответствующая модель приемника довольно просты, по сравнению с передатчиком.

Как показано на рисунке 4, приемник QPI можно смоделировать в виде резистора и конденсатора, включенных параллельно. Сам приемник содержит оконечную нагрузку, компенсируемую автоматически, как в случае драйвера. Как в любом буфере, контактный вывод устройства имеет емкость, т.к. обеспечивает соединение между этим выводом и другими компонентами приемника. Величина этой емкости незначительно меняется в зависимости от технологического процесса, напряжения и температуры, что следует учитывать при создании модели.

Рис. 4. Буфер приемника

В более сложных системах частью схемы может быть усилитель, включенный после R-C-цепи. Усилитель представляется в виде таблицы частотно-зависимых значений напряжений, которая задает характеристику усилителя в диапазоне полосы пропускания интерфейса.

Моделирование компонентов системы межсоединений

Активными устройствами канала QPI являются только драйвер и приемник. Остальные части шины — это корпуса устройств, проводники печатных плат, разъемы компонентов, переходные отверстия в печатной плате, а также межплатные и тестовые разъемы.

Эти элементы межсоединений можно смоделировать несколькими способами, включая использование:

– RLGC-матриц W-элементов;

– списка соединений SPICE для компонентов R, L и C, плюс источники тока и напряжения.

Межсоединения могут быть также смоделированы с использованием S-параметров.

Обычно, все модели межсоединений строятся с помощью анализатора полей. Этот инструмент моделирования анализирует распределение электрических и магнитных полей в межсоединениях в двух или трех измерениях. Наиболее распространенной двумерной моделью межсоединений в настоящее время является модель на основе W-элементов RLGC-матрицы.

Модели проводников на базе RLGC-матрицы включают приведенные значения собственной и взаимной индуктивности (L) и емкости (C) на единицу длины отдельной дорожки или группы дорожек межсоединений. В модель могут быть также включены постоянные и частотно-зависимые сопротивления (R) и проводимости (G), которые отражают потери. Предполагается, что поведение электрических параметров проводников меняется только по их длине (другими словами, т.к. RLGC-матрицы — двумерные, то они не отражают изменения свойств в поперечном сечении проводника заданной длины).

Наиболее распространенным форматом W-элементов являются отдельные матрицы L, C, R, и G, причем R- и G-матрицы разделяются на матрицы переменного и постоянного тока. Матрицы индуктивности и сопротивления относятся к проводникам линий передачи данных, а матрицы емкостей и проводимостей относятся к диэлектрику около проводника. Обычно предполагается, что для RLGC-матрицы применимо так называемое телеграфное уравнение и, кроме того, индуктивность и емкость не меняются с частотой.

Обычно полагается, что соотношение между матрицами сопротивления и проводимости определяется исходя из следующих уравнений:

R(f) = R0 + RS,

G(f) = G0 + Gdf,

где f — частота.

Вполне допустимые для низкочастотных межсоединений, эти уравнения могут нарушать базовые физические соотношения для систем, работающих на высоких частотах. Табличная форма W-элементов на основе RLGC-матриц обеспечивает точную частотную зависимость компонентов R, L, G и C, поэтому такой формат представления данных рекомендуется для моделирования гигагерцовых систем.

Недостаток метода на основе W-элементов заключается в его ограниченном представлении взаимосвязи элементов. В W-элементе не учитываются связи с элементами вне двумерной плоскости, в которой анализатор полей захватывает данные для модели.

Влияние топологии печатной платы

Разводка компонентов системы на базе шины QPI может быть не всегда проста. Даже для проектов без разъемов проводники могут иметь меньшую ширину в изолированной области под или около компонентов для того, чтобы обеспечить высокую плотность разводки. Импеданс проводников в этой области будет отличаться от основной части проводников. Эти участки следует моделировать отдельно для того, чтобы учесть возможность появления потенциальных источников межсимвольной интерференции.

Модели проводников должны также отражать отклонения свойств печатных плат при массовом производстве. Руководства по проектированию платформы Intel определяют отклонения импеданса для каждого интерфейса на каждом слое печатной платы. При создании моделей следует учитывать не только импеданс, но также потери и другие эффекты, связанные с особенностями производства печатных плат. Среди параметров, которые нужно включить в расчет, — рабочая температура и влажность в системе, а также эффективная диэлектрическая постоянная и тангенс угла потерь для печатных плат.

Проводники печатной платы, расположенные вблизи друг от друга и имеющие общие конечные точки, хорошо описываются с помощью модели на основе RLGC-матрицы. Однако из-за проблем описанных выше взаимной связи формат W-элементов предполагает, что все линии модели должны иметь точно одинаковую длину. В реальных конфигурациях платы встречается рассогласование длины проводников, и в данной ситуации может потребоваться применение более сложных методов моделирования (например, 3D-анализаторы полей).

Стекловолоконные нити печатной платы могут оказывать существенное влияние на эффективную диэлектрическую проницаемость платы. Этот эффект не всегда легко удается компенсировать в процессе моделирования системы. Полный 3D-анализатор полей может учитывать взаимодействие сигнала с областями стекла и эпоксидной смолы, однако это возможно только в том случае, когда доступна детальная информация о свойствах материалов каждого компонента диэлектрика. Кроме того, для успешного анализа этим методом необходимо знать точную ориентацию стекловолоконных нитей относительно проводников.

Более практичным подходом для учета влияния стекловолокна является допущение однородности диэлектрика, имеющего наихудшие электрические параметры. Для платформы Intel существуют специальные руководства по разводке проводников для уменьшения эффекта стекловолокна в печатных платах, и при моделировании анализируются установленные этими руководствами допуски. Наиболее совершенные модели потерь в проводниках учитывают скин-эффект, когда эффективная толщина металла проводников уменьшается. С увеличением рабочих частот сигнал в проводниках мигрирует в сторону меньших размеров проводников, и эффективное сопротивление увеличивается. Простой расчет может дать информацию о глубине, на которую сигнал проникает в металлический проводник.

При создании модели и анализе потерь в проводниках необходимо также учитывать шероховатость поверхности металлической фольги, которая используется при производстве плат для улучшения адгезии проводников к плате.

Корпуса и разъемы

В общем случае, корпуса как передатчика, так и приемника моделируются с использованием комбинации W-элементов (для подложки корпуса, которая весьма схожа с печатной платой) и эквивалентной модели SPICE (для переходных отверстий и шариковых выводов корпуса, которые недостаточно хорошо описываются с помощью 2D-методов). Эти корпуса поставляются вендорами и не могут быть модернизированы каким-либо образом системным разработчиком. В большинстве случаев, отклонения импеданса корпусов и длины проводников могут быть смоделированы.

В системах, использующих шину QPI, процессоры обычно имеют разъемные соединения, а концентратор ввода/вывода припаивается непосредственно на печатную плату. В результате, набор моделей для представления шины Intel QPI включает процессорный разъем в составе модели корпуса процессора, который моделируется подобно корпусам.

Соединители

Наиболее вероятно, что соединители для шины Intel QPI используются в многопроцессорных системах на базе процессоров Intel Xeon или Intel Itanium. Например, системы, смонтированные в стойке, могут включать 4, 8 и более процессоров и/или концентраторов ввода/вывода, присоединенных с помощью разъемов к системной плате. Электрически соединитель для шины Intel QPI должен обеспечивать малые потери, хорошее согласование импеданса со специфицированным значением (85 Ом) и низкие перекрестные помехи между сигналами. Кроме того, следует учитывать, что некоторые конструкции соединителей (например, с расположенными под углом 90° выводами) могут вносить больше отклонений в расстояние, проходимое сигналом, по сравнению с другими конструкциями.

Перед тем как выполнить моделирование, следует найти оптимальное соотношение между точностью модели соединителя и временем моделирования. Хорошим методом преобразования данных о параметрах переходных отверстий и соединителей в SPICE-формат эквивалентной схемы является аппроксимация дробной функцией (Rational Function Approximation — RFA). Однако, размер модели прямо пропорционален точности моделирования. Более крупные модели требуют больше времени моделирования. По этой причине во многих случаях более практичной альтернативой является применение W-элементов для моделирования соединителей. Однако отметим, что W-элементы, не будучи 3D-моделями, дают более оптимистичные результаты относительно величины перекрестных помех.

В некоторых случаях моделирование во временной области возможно с помощью непосредственного использования частотных моделей (например, моделей на базе S-параметров, используемых в SPICE). Однако следует учитывать, что для моделирования шины Intel QPI данные этой модели должны соответствовать ширине полосы пропускания до 100 ГГц, и точность модели должна быть весьма высока.

Переходные отверстия

Концептуально метод моделирования переходных отверстий весьма схож с тем, который используется для соединителей. Любая модель, используемая для представления переходного отверстия, должна включать эффект взаимной связи с другими переходными отверстиями и ближайшими элементами печатной платы. Модель также должна корректно отражать паразитную емкость переходного отверстия. Потери на рассеивание энергии в переходных отверстиях малы, однако их длина может быть значительной относительно скорости фронта сигнала, передаваемого через них. Соответственно, переходное отверстие может напоминать линию передачи, поэтому следует учитывать это при расчете общего импеданса для представления переходного отверстия в модели. Полоса пропускания для модели переходного отверстия должна быть близкой к той, которая используется для любого соединителя в системе.

Анализ системы во временной области

Моделирование канала шины Intel QPI основано на анализе формы сигналов, которые формируются инструментом SPICE. Модели драйвера, приемника и линий передачи объединяются в список соединений. На драйвер подаются входные импульсы или битовый поток, а на выводах приемника формируется выходной сигнал. Обработка этих сигналов выполняется программными инструментами Intel, формируется глазковая диаграмма и, опционально, комбинация битов для наихудшего случая. Некоторые ключевые моменты моделирования и последующей обработки результатов обсуждаются далее.

Типы анализа

Модели компонентов шины Intel QPI поддерживают два вида анализа. Первый вид анализа — это битовый поток, когда на вход драйвера подают комбинации битов (логических нулей и единиц). Эта комбинация может быть произвольной длины и определена пользователем или сгенерирована в результате последующей обработки других сигналов. Другой вид анализа — это анализ пиковых искажений (Peak Distortion Analysis — PDA), который основан на передаче драйвером по шине единичного импульса или бита. Этот импульс, длительность которого составляет только один единичный интервал (UI), используется в LTI-системе для снятия характеристик, касающихся отражений в системе. Для суммирования импульсной характеристики и отражений в системе используется процесс свертки, что позволяет определить наименьший уровень напряжения логической 1 и наивысший уровень напряжения логического 0 для данной топологии. Затем может быть построена глазковая диаграмма наихудшего случая для данного интерфейса.

Заметим, что списки соединений, требуемые для моделирования и обеспечиваемые компанией Intel, используют три дифференциальные пары (6 сигналов). При анализе PDA на внешние пары не подаются никакие сигналы. На них демонстрируется эффект перекрестных помех из-за электромагнитной связи между проводниками на печатной плате, корпусах и разъемах. На центральную пару подается один импульс. При анализе битового потока на всех трех парах могут присутствовать различные входные сигналы.

Межсимвольные и перекрестные помехи

Для выявления эффекта межсимвольных помех необходимо выполнять моделирование на достаточно длительном интервале времени с использованием определенной комбинации битов для того, чтобы проанализировать поведение системы в наихудшем случае. Кроме того, для поиска наиболее сильного эффекта межсимвольных помех необходимо учитывать крайние случаи разрыва непрерывности полного сопротивления в шине для данной топологии. Инструменты Intel обеспечивают битовые комбинации для крайних случаев для любой топологии шины. Как уже было сказано, предлагаемые компанией Intel топологии в качестве примера разводки шины QPI включают три дифференциальные пары. Поскольку перекрестные помехи являются основной причиной снижения напряжения логической 1 и повышения напряжения логического 0 глазковой диаграммы, эту конфигурацию следует использовать при моделировании любой топологии печатной платы. На рисунке 5 показано влияние перекрестных помех от центральной дифференциальной пары сигналов на внешние дифференциальные пары.

Рис. 5. Перекрестные помехи и импульсная характеристика приемника

Поскольку эффект перекрестных помех может существенно влиять на системные характеристики, требуется выполнять тщательную проработку топологии и анализ помех при разработке надежной системы на базе шины Intel QPI.

Джиттер

Джиттер может возникать из-за эффекта межсимвольных помех, а также от других источников помех, таких как источники питания, и перекрестных помех от других сигналов, наведенных на проводники шины. Для анализа при моделировании во временной области джиттер обычно не включается в управляющие битовые комбинации и модели приемника. При моделировании рассматривается только джиттер, причинами которого являются межсимвольные помехи и взаимная связь с другими сигналами шины QPI. Другие источники джиттера учитываются в спецификации и закладываются в общую глазковую диаграмму на выводах приемника.

Литература

1. Dave Coleman, Michael Mirmak. Time Domain Modeling and Simulation of Intel QuickPath Interconnect Circuits.