eng
Выпуск #3/2006
А.Рыбаков, Н.Слепов.
Компьютерные встраиваемые технологии – тенденции развития
Компьютерные встраиваемые технологии – тенденции развития
Просмотры: 2983
За тридцать лет, прошедших с момента появления первого персонального компьютера (ПК) Altair 8800 на базе микропроцессора (МП) Intel 8080 в 1975 году, развитие микрокомпьютерных технологий (МКТ) шло по разным направлениям. Сначала это были ПК с дисковыми операционными системами (ОС), потом, по мере развития МП, разработчики сконцентрировали внимание на рабочих станциях и серверах с полноценными ОС. Затем развитие техники измерений, автоматизации производства, а также связных и оборонных приложений привело к появлению встроенных ПК самого разного рода: от ПК, встраиваемых в стойку и оборудование, до одноплатных ПК (SBC), или ПК в модульном исполнении (которые в виде функциональных блоков можно вставлять в любое оборудование), и, наконец, до ПК, реализованного на одном кристалле. Модульное и однокристальное направление развития МКТ оказалось настолько плодотворным и многопрофильным (в плане возможных приложений), что привело к созданию отдельного направления – встраиваемых компьютерных технологий (ВКТ), о тенденциях развития которого и используемых им базовых технологиях пойдет речь в данной статье, учитывая интерес читателей к нашей первой публикации [1]. В основу предлагаемого материала (обзора ВКТ) положена презентация А.Рыбакова на Форуме ВКТ [2] и сопутствующие материалы [3–12]. Для облегчения понимания материала основные используемые сокращения более подробно расшифрованы во врезке (см. продолжение статьи в следующем номере) или их можно найти в словаре [13].
Введение
Приложения, использующие достижения ВКТ, а часто и диктующие их развитие, базируются на таких отраслях, как:
· контрольно-измерительные и телеметрические системы,
· медицинское приборостроение,
· оборонная промышленность,
· потребительская электроника (игровые автоматы, автоматизированные игрушки, автоматизированные функции устройств и пр.),
· промышленная автоматика,
· телекоммуникации,
· транспортные системы.
В этих приложениях используются серверы, ПК, вычислительные модули с возможностями ПК, контроллеры, блоки управления, интерфейсные модули. Все они, так или иначе, являются вычислительными блоками/модулями, используют тот или иной тип программно-аппаратного обеспечения, ориентированного на определенный тип архитектуры МП, ОС и интерфейсов. Все приложения, как правило, стандартизированы различными институтами, форумами и альянсами, что обеспечивает получение готовых решений определенных классов прикладных задач, воплощаемых в различных сериях устройств ВКТ. Рынок таких устройств постоянно растет (см. таблицу 1).
Существуют три возможные пути подготовки проектного решения для конкретного приложения:
· проработка проекта как оригинального, от начала и до конца, с учетом специфики приложения;
· использование готового оборудования (ПК и стандартного набора периферийных устройств), связанного стандартными физическими разъемами/интерфейсами;
· использование принципа конструирования из готовых конструктивов и модулей, взятых с полки на складе (COTS).
Первый путь требует больших усилий и затрат, второй (в силу своей потенциальной громоздкости) – годится только для экспериментальных работ и измерительных приложений, третий – наиболее оптимальный, учитывая большое разнообразие конкретных встраиваемых решений, с одной стороны, и большое количество наработанных решений и модулей – с другой.
Общие характеристики ВКТ открытого типа
Серии устройств ВКТ открытого типа объединяются либо на основе используемой магистрально-модульной архитектуры, в основу которой положена магистральная шина (одного из типов), либо на основе одноплатного принципа (формата) компоновки, рассчитанного на системы (типа шасси или полки) с пассивной (задней) объединительной панелью или на системы в модульном исполнении.
Магистрально-модульная архитектура
Исторически сложилось так, что этот тип архитектуры, начало которому положили ПК, развивался наиболее быстро и динамично, предлагая, развивая и осваивая магистральные шины: ISA, EISA, PCI и VMEbus, для работы с которыми создавались и совершенствовались модули и устройства. Основными вопросами в процессе этого развития постоянно оставались: независимость от конкретных поставщиков, масштабируемость, возможность модернизации, совместимость новых решений со старыми, длительность жизненного цикла.
Своеобразными вехами на пути развития этой архитектуры были три шины:
· ISA – шина стандартной промышленной архитектуры, породившая расширенную ISA (EISA);
· PCI – интерфейс периферийных устройств, или расширенная локальная шина (ЛШ), давшая мощный толчок развитию компактных промышленных приложений благодаря версии CompactPCI и PXI;
· VMEbus – шина, разработанная на основе шины VERSAbus, для компактных военно-промышленных и измерительных приложений.
Одноплатные форматы
Развитие технологий ПК и совершенствование материнских плат привели к созданию одноплатных компьютеров (SBC) различных форматов и назначений: 3,5", 5,25", mini-ITX, microATX, ATX, eATX, PC/104, PC104+, EPIC; компьютеров в модульном исполнении (COM): COM Express, ETX, ETXexpress, DIMM-PC, X-Board. Это направление, поддержанное развитием технологии мезонинных плат, привело к созданию индустрии одноплатных модулей – основных конструктивных элементов магистрально-модульной архитектуры.
COTS-технологии
Одной из ключевых тенденций развития ВКТ явилось использование (адаптация) базовых компьютерных и офисных технологий (на которые приходилась львиная доля общегражданских инвестиций) в разработке компактных промышленных и военно-промышленных решений, развиваемых в настоящее время.
Неудивительно, что большинство современных военно-промышленных компьютерных систем было построено с помощью технологии COTS, и они отражают лучшие технологические достижения из мира общегражданских, общепромышленных аппаратных и программных решений.
Другой ключевой тенденцией является объединение достижений компьютерных и телекоммуникационных технологий. Здесь важен факт перехода от техники параллельной передачи данных по шине к технике последовательной передачи с помощью коммутируемых структур последовательного типа, позволивший резко поднять скорость передачи.
Шина VMEbus
Формально сокращение VME означает "Еврокарта с VERSA-модулем", фактически это карта с шиной, разработанной для нужд ВКТ рядом компаний в 1981 году на основе шины VERSAbus. Шина этой карты получила название VMEbus. Разработка оказалась удачной и была доработана и выпущена в виде стандартов DIN 41612, IEC 821 и ANSI/IEEE 1014.
Наибольшее применение карта с VMEbus нашла в промышленных, коммерческих и военных приложениях. Так, на оборудование с ней в 2005 году пришлось более 77% сбыта военных и авиационно-космических систем. Такой успех обусловлен тем, что карта (главным образом шина) постоянно модернизировалась, пытаясь отслеживать быстрое развитие компьютерных технологий.
Шина VME32. Сначала это была параллельная асинхронная шина, допускающая однопроцессорную и мультипроцессорную работу с 8-, 16- и 32-разрядной компьютерной архитектурой (в том числе одновременно и с модулями различной разрядности), стандартизованная позднее институтом IEEE как стандарт IEEE 1014. Она позволяла реализовать скорости передачи данных до 40 или 80 Мбайт/с с мультиплексированием и поддержкой 12 слотов.
VMEbus использовала архитектуру типа "ведущий-ведомый" (master-slave), причем "ведущих" могло быть несколько, поэтому шина VMEbus называлась шиной многопоточной обработки. Эта шина делилась на четыре логически организованные шины: шину арбитража (управляющую использованием других шин), шину передачи данных (между модулями), шину приоритетных прерываний и шину обслуживания (с поддержкой двух систем генерации тактовых импульсов). Так как деление на шины было логическое, оно могло быть сформировано в зависимости от типа архитектуры.
Шина VME64, VME64X. Следуя общей тенденции развития МП, шина VME32 стала шиной VME64 и поддерживала уже 8-, 16-, 32- и 64-разрядную компьютерную архитектуру и передачу данных с мультиплексированием и без него, имела 3-рядный разъем DIN и была одобрена институтом ANSI в стандарте ANSI/VITA 1-1994. В 1997 году она была модернизирована в шину VME64X путем установки на карте 5-рядного разъема DIN 41612 (всего 160 контактов) и одобрена ANSI в стандарте ANSI/VITA 1.1-1997. Дополнительно включался разъем P0, шина контроля и обслуживания, а также возможности использования напряжения 3,3В и работы через фронтальные разъемы.
Шина VME2eSST. Наконец, используя SST-технологию синхронной передачи данных от источника (по протоколу VME320), пропускная способность шины была увеличена до 320 Мбайт/с (с поддержкой 21 карты), а сама шина (VME2eSST) с новым протоколом 2eSST была одобрена ANSI в виде стандарта ANSI/VITA 1.5-1999/2003.
Протокол 2eSST был разбит (по времени) на три фазы: посылка адреса, передача данных (эта фаза обеспечивает чисто синхронную передачу данных без ожидания подтверждения) и стадия завершения. Используя эту концепцию, можно поднять скорость передачи до 1 Гбит/с.
Системы с VMEbus сразу были ориентированы на использование объединительной (задней) панели вместо материнских плат, что существенно уменьшало время ремонта, увеличивало уровень ремонтопригодности и срок морального устаревания изделий. Еврокарта была спроектирована для использования более надежного 96-контактного разъема, вставляемого в объединительную панель, вместо стандартного для печатной платы краевого разъема. Она поддерживала три типа форматов: 3U (4"x6", или 101,6х152,4 мм), 6U (6"х12", или 152,4х304,8 мм) и 9U (14"х18"), тогда как VME-стандарт первоначально поддерживал только форматы 3U и 6U (при общем числе слотов 21). В настоящее время он поддерживает все легальные форматы Еврокарты.
Системы с VMEbus стандартно комплектуются ОС реального времени (ОСРВ, или RTOS), которая лучше обычной ОС (хотя они также могут быть использованы), так как позволяет работать с приложениями реального времени, к которым относятся большинство военных, авиакосмических и связанных с управлением процессами приложений.
Гигабитный Ethernet на шине VME64X
Растущие потребности в широкой полосе пропускания для VME-приложений привели к мысли использовать сетевые коммутационные технологии, из которых была выбрана, как наиболее простая, технология гигабитного Ethernet (GE) (см. далее раздел "Структура на базе коммутаторов Ethernet"). Поток пакетов GE подается при этом на объединительную панель через разъемы карт P0 (рис.1). Параллельный битовый поток шин VME64X преобразуется в последовательный поток бит, передаваемый между узлами, соединенными коммутатором. Дополнительно соседние слоты могут быть связаны по схеме традиционной параллельной шины, организуемой на объединительной панели.
Указанная модификация была одобрена ANSI как стандарт ANSI/VITA 31.1. Для полной совместимости с аналогичным решением для шины CompactPCI, описанным в стандарте PICMG 2.16 (см. ниже), было предусмотрено использование разъема P3 на платах VME64X (разъем Р3 идентичен Р0 и расположен в том же месте на объединительной панели).
Использование стандарта VITA 31.1 дает следующие преимущества:
· возможность организации соединений "точка-точка", исключающих любой отказ единичного элемента;
· использование низковольтной дифференциальной сигнализации (LVDS);
· поддержка скорости коммутации агрегатного сигнала до 2 Гбит/с в расчете на один слот.
Учитывая, что системы с VMEbus открыты для заинтересованных производителей, можно быть уверенным, что пользователи не будут замкнуты на одного производителя.
Локальная шина PCI
Локальная шина PCI – высокопроизводительная шинная архитектура – интерфейс, позволяющий работать с 16- и 32-разрядными платами ПК серий 486/Pentium, была разработана компанией Intel в 1992 году для замены двух действующих в то время шин: стандартной – ISA (8-/16-разрядной, 1984) и расширенной – EISA
(8-/16-/32-разрядной) архитектуры. Она позиционировалась как параллельная, локальная шина (ЛШ) ввода/вывода (I/O), независимая от МП, использующая мосты для связи с другими ЛШ и имеющая максимальную теоретическую скорость передачи 132 Мбайт/с (на порядок выше, чем у ISA). Место шины PCI в блок-схеме ПК показано на рис.2.
Шина PCI. Первоначально шина была разработана для ПК, сейчас она используется практически в любой компьютерной платформе: в ПК, в серверах, оборудовании систем связи, во встраиваемых и одноплатных ПК, несмотря на то, что тактовая частота МП изменилась с тех пор с 66 МГц до 3 ГГц. Шина PCI до 2002 года – времени разработки новой, революционной версии PCI Express, активно развивалась и представлена сейчас вариантами: PCI, PCI-X, PCMCIA, CardBus, CompactPCI и т.д. Однако все они, по сути, представляют одну и ту же параллельную ЛШ, приспособленную к специфическим требованиям тех или иных приложений.
Шина PCI-X. Вариант PCI-X (стандарт PCI-X 1.0 PCI SIG) – это расширенная 64-разрядная версия PCI. Развитие технологий позволило поднять тактовую частоту шины сначала до 66, а затем до 133 МГц, что при 64 разрядах соответствовало скорости передачи порядка 1 Гбайт/с. Современный вариант (PCI-X 2.0) позволил увеличить частоту до 266 и 533 МГц, что повысило скорость передачи до 4,26 Гбайт/с. Дополнительным плюсом стала высокая надежность благодаря использованию кодов ECC, корректирующих одиночные и определяющих двойные ошибки.
Стандарты PICMG 1.0 и 1.2
Перечисленные улучшения позволили шине PCI доминировать в течение вот уже 13 лет, учитывая обратную совместимость и поддержку старых (на базе шины ISA) решений, а также возможность без проблем использовать вновь спроектированные модули и новые решения, включая 10-гигабитный Ethernet (10GE), 10-гигабитный Fiber Channel (10FC) и описанную далее архитектуру InfiniBand – коммутируемую высокоскоростную структуру.
Продлить жизнь шине PCI помогут и стандарты Консорциума PICMG 1.0 и 1.2 [3, 4]. Дело в том, что старые ВКТ использовали, как и ПК, материнские платы с установленными на них мезонинными платами или модулями. В новых стандартах предложено вместо материнской платы использовать пассивную объединительную панель с разъемами, куда вставляются COTS-платы с компонентами и модулями, ранее монтируемыми на материнской плате, причем к таким платам относятся и системные базовые платы (SHB), которые содержат процессорную подсистему и шинный интерфейс. Стандарт PICMG 1.0 поддерживает шины (и карты) ISA и PCI (32/64 разряда, 33 МГц) и использует SHB-формат: 13,3"ґ4,8" (337,8ґ121,9 мм). Стандарт PICMG 1.2 поддерживает только одну или две шины (32/64 разряда) PCI (33 МГц)/PCI-X (133 МГц) и использует два SHB-формата: 13,3"ґ4,8" и 7,5"ґ4,8" (190,5ґ121,9 мм).
Спецификация CompactPCI
Спецификация CompactPCI [5] была разработана Консорциумом PICMG как стандарт PICMG 2.0, определяющий промышленный ПК на базе шины PCI, но в формате Eurocard (стандарт IEEE 1101.1) для совместимости с известной шиной VMEbus. Для этого разъем CompactPCI был сделан совместимым со стандартом IEC-1076 (5 рядов, 47 контактов в ряду с шагом 2 мм, общее число контактов – 220 при наличии ключа). Разъем позволяет системе CompactPCI иметь 8 слотов, число которых можно увеличить с помощью ИС
PCI-моста с кратностью 8 (т.е. 16, 24, 32 слотов).
Карты CompactPCI вставляются вертикально (для лучшего охлаждения) в объединительную панель, имеют разъемы и возможность ввода-вывода как с передней, так и с объединительной панели. Карты поддерживают два стандартных формата: 3U (100х160 мм) и 6U (160х233 мм). Формат 3U использует один разъем (220 контактов), разделенный на две половины: разъемы J1 и J2 по 110 контактов каждый. Формат 6U использует три дополнительных разъема с общим количеством контактов 315. Наличие большого количества контактов и дублирование заземляющих контактов позволяет с помощью установленных PCI-мостов управлять группами из 8, 16, 26 и 32 плат, осуществлять горячую замену плат, поддерживать не только шину PCI (33 МГц), но и шину PCI-X (66 МГц) – начиная с версии стандарта PICMG 2.1 R2.0 (2001).
CompactPCI + Ethernet = PICMG 2.16
Эффективность CompactPC существенно увеличилась после появления стандарта PICMG 2.16 [6], содержащего спецификацию пакетной технологии последовательной передачи данных поверх Compact PC с помощью объединительной панели (PSB) на основе технологии коммутируемого Ethernet. По сути, расширение PICMG 2.16 позволяет сформировать дополнительную внутреннюю сеть Ethernet между процессорными модулями Compact PCI. Достоинства такого решения – надежность, простота освоения и дешевизна, учитывая наличие большого парка стандартного программного обеспечения (ПО) для поддержки сетей Ethernet, имеющегося в пакетах ПО всех используемых ОС. Реализация такого решения представлена, например, компанией Kontron в виде так называемых "Платформ PSB" [7].
Сравнение решений на базе шин VMEbus и CompactPCI
Ни один обзор ВКТ не обходится без сравнения эффективности используемых технологий, прогнозов их развития и предсказаний того, когда они уйдут со сцены. Чаще всего сравнивают системы с VMEbus и с CompactPCI.
Когда был предложен VMEbus (32 разряда, 1981), его монопольная блочная скорость передачи данных (BLT) составляла 40 Мбайт/с при длине блока в 4 байта. Переход к VME64 увеличил эту скорость вдвое (до 80 Мбайт/с). PCI вышел на сцену в начале 1990-х и имел сначала преимущество в скорости (133/266 Мбайт/с для 32/64-разрядных вариантов). Внедрение шины VME2eSST довело скорость до 320 Мбайт/с и, вроде бы, вывело ее вперед, но Intel довела скорость до 533 Мбайт/с и снова заняла лидирующую позицию. Не вдаваясь в тонкости шинной архитектуры, можно отметить, что при одинаковой тактовой частоте шин VMEbus все же имеет преимущество перед CompactPCI, благодаря лучшему арбитражу шины, возможности логического формирования параметров шины и другим особенностям.
Никто, однако, при проектировании новых систем с VMEbus или Compact PCI уже не обращает внимание на эти различия, так как скорости, достигнутые при использовании технологии коммутируемых структур последовательного типа, превосходят те скорости, которые могут быть достигнуты на шинах. В первую очередь это относится к использованию технологии GE. В этом смысле решения на базе PICMG 2.16, поддержанные решениями для VMEbus (см. выше: ANSI/VITA 31.1), не только еще больше сблизили, но и практически уравняли возможности систем на базе шин VMEbus и CompactPCI с точки зрения скорости обработки данных, увеличивая в результате взаимопроникновения их общее долголетие.
Шина PCI Express
Параллельная шина PCI, разработанная компанией Intel в 1992 году, дожила до наших дней благодаря своей непрерывной модернизации. Однако каждый новый шаг в увеличении скорости или в уменьшении рабочего напряжения давался все труднее и с большей затратой средств, а следующий шаг – использование тактовой частоты 1066 МГц – казался труднодостижимым. В результате в 2002 году Intel предприняла попытку вообще отказаться от модернизации шины и внедрить новую концепцию – PCI Express – коммутируемой структуры последовательного типа, учитывая тенденции последних лет и, в частности, использование коммутаторов Ethernet для передачи данных (стандарт PICMG 2.16, 2001 год).
Вместо традиционной блок-схемы с шиной PCI (см. рис.2) была предложена схема (рис.3), где дополнительно используется коммутатор, подключенный к мосту ввода-вывода, с одной стороны, и имеющий входные интерфейсы для ввода данных от устройств (приложений), с другой стороны. Коммутатор (рис.4) обеспечивает локальное взаимодействие между устройствами, непосредственно подключенными к его портам, через виртуальные мосты, подключенные к виртуальной шине. Шина PCI оставлена для совместимости с предыдущими решениями.
Первые устройства с шиной PCI Express стали поступать уже в 2004 году. Поскольку это были устройства последовательного типа, то для того, чтобы конкурировать с PCI, системы с PCI Express должны были обеспечить скорости передачи не ниже 4,264 Гбайт/с (533 МГц, 8 байт). Другим важным моментом была простота решения и легкая масштабируемость.
Масштабируемость PCI Express
Масштабируемость определяется физическим уровнем 5-уровневой модели архитектуры PCI Express (3 уровня которой показаны на рис.5). Основное звено передачи PCI Express состоит из двух низковольтных дифференциальных сигнальных пар: передающей и приемной, которые используют протокол дуплексной передачи типа "точка-точка" с форматом линейного кодирования 8b/10b (как и в GE). Ширину полосы (скорость передачи) можно линейно увеличивать путем добавления сигнальной пары при формировании многополосной схемы передачи (multiple lanes). В качестве примера на рис.6 показаны два звена с однополосной и четырехполосной передачей. При такой передаче сначала происходит демультиплексирование потока байтов на число потоков, кратное числу полос. В результате при четырехполосной передаче в первой полосе будет передаваться последовательность 0–4–8–12- и т.д. байтов, которая потом ремультиплексируется с последовательностями других полос для восстановления исходного потока байтов. Физический уровень на сегодня поддерживает формирование 1, 2, 4, 8, 16 и 32 полос в одном звене. Каждая полоса рассчитана на передачу 256 Мбайт/с в одном направлении (при тактовой частоте 2,5 ГГц), что позволяет изменять симплексную скорость передачи потока одного звена от 0,256 до 8 Гбайт/с. С ростом в будущем тактовой частоты до 10 ГГц эти скорости удвоятся.
Преимущества и недостатки PCI Express
Основными преимуществами PCI Express являются высокая скорость, легкая масштабируемость, простота реализации (обусловленная значительным уменьшением числа требуемых контактов и общей мощности питания). В месте с тем шина имеет ряд других преимуществ: поддерживает автоконфигурирование, управляет электропитанием, допускает горячую вставку и замену устройств, возможность обнаружения ошибок и осуществление передачи данных как между ЦПУ и устройством, так и между устройствами непосредственно, эмулируя тем самым локальный сетевой вариант передачи. Помимо этого, PCI Express ориентирована на межсоединения типа чип-чип, плата-плата (через разъем) и устраняет необходимость использования AGP (быстродействующего графического порта), так как уже при 8-полосной передаче обеспечивает ту же скорость, но в дуплексном варианте передачи, а не в симплексном.
К недостаткам шины можно отнести то, что она не ориентирована на соединения типа: процессор-процессор, процессор-память и кластерные соединения.
Спецификации PCI Express
Будучи ориентирована на большинство сегментов компьютерной индустрии, PCI Express была поддержана не только компанией Intel (ее разработчиком), но и другими организациями по стандартизации. Можно отметить следующие спецификации Intel (PCIe – то же, что и PCI Express):
· PCIe Base Specification 1.1 (New) – базовая спецификация PCIe 2005 года;
· PCIe CEM Specification 1.1 (New) – спецификация PCIe для CEM 2005 года;
· PCIe Mini CEM Specification 1.1 (New) – спецификация PCIe для CEM 2005 года;
· PCIe ExpressModule Electromechanical Specification 1.0 – спецификация Express-модуля;
· PCIe x16 Graphics 150 W ATX Specification 1.0 – спецификация поддержки графики с помощью 16-полосного PCIe вместо AGP;
· PCIe to PCI/PCI-X Bridge Specification 1.0 – спецификация моста PCIe-PCI/PCI-X;
· PCIe Specification 2.0 – спецификация новой версии PCIe (2006 год), совместимая с PCIe 1.x, но имеющая тактовую частоту 5 ГГц, что удваивает скорость передачи.
Группа PICMG также выпустила ряд спецификаций:
· PICMG 1.3. SHB Express – спецификацию, модернизирующую интерфейс плата-плата с PCI на PCIe;
· PICMG 3.4. AdvancedTCA PCI Express – спецификацию, определяющую, как транспорт PCIe и AS отображается на спецификацию PICMG 3.0;
· PICMG AMC.1. AdvancedMC – PCI Express and AS – спецификацию, определяющую использование порта для PCIe и AS на мезонинном модуле AMC.0;
· PICMG COM.0. Computer On Module. R1.0 – спецификацию компьютера в модульном исполнении, или COM;
· PICMG EXP.0. CompactPCI Express. R1.0 – спецификацию, определяющую разъем и требования к системным, периферийным и коммутирующим платам, а также к объединительной панели (2005).
Стандарты для карт PCMCIA и CardBus заменяются стандартом ExpressCard, который объединит PCI Express и USB 2.0, делая их широкополосными и более гибкими.
Ниже кратко рассмотрены наиболее значимые из указанных спецификаций.
Спецификация ASI SIG
Спецификация PCI Express главным образом обслуживает соединения типа процессор-устройство и память-устройство, так как локальное взаимодействие устройств между собой требует периодического обращения к памяти или процессору. Эти обращения осуществляются по шине через мосты ввода/вывода и памяти (см. рис.3) и остаются полудуплексными. В результате эффективность решения теряется. Для преодоления этого была создана альтернативная технология коммутации последовательного типа – AS-технология улучшенной коммутации, объединяющая лучшие свойства существующих коммутирующих структур и основанная на архитектуре PCIe. Она была разработана группой компаний ASI SIG, куда входит и компания Intel [8].
В отличие от PCIe, блок-схема взаимодействия устройств в AS – однозвенная и прямолинейная (рис.7) вне зависимости от типа устройств. Если PCIe поддерживает иерархическую структуру маршрутизации с отображением в памяти, то AS работает с путевым маршрутом типа точка-точка и поддерживает топологии: звезда, двойная звезда и полносвязная ячеистая сеть. В схеме AS все устройства (в том числе ЦПУ и память) считаются узлами сети AS, что (с учетом поддерживаемых топологий) и подтверждает однозвенность и прямолинейность такой сети, а значит и возможность действительно однорангового взаимодействия узлов без ссылок на возможные ограничения, вызванные когерентностью кэш-памяти или наличием кластеров.
Спецификации PCIe и AS имеют 5/4-уровневые модели, два нижних уровня которых совпадают (см. рис. 5), отличие начинается с третьего уровня транзакций. Поэтому структура коммутаций в системе PCIe-AS строится в два этапа. На первом – PCIe формирует свой пакет (данные с заголовком), на втором – пакет PCIe инкапсулируется в пакет AS стандартного для сетей с топологией точка-точка формата: старт-биты, последовательный номер пакета (для сохранения исходного порядка пакетов), маршрутный заголовок (для прохода через структуру AS), полезную нагрузку (для инкапсуляции PCIe-пакета), поле CRC (для проверки наличия ошибок при приеме пакета), стоп-биты (рис.8).
Спецификация PCIe с надстройкой в виде AS является одной из наиболее совершенных систем PCIe, которую могут предложить разработчики стратегии взаимодействия (Alcatel, Intel, Siemens и др.) разработчикам-тактикам, строящим системы на основе ВКТ.
Спецификация Computer On Module
Спецификация компьютера в модульном исполнении (или компьютера, размещенного на модуле, – COM), а также его модификации COM Express и ETXexpress, в форм-факторе ETX, будут описаны в продолжении статьи, в разделе "Одноплатные и микромодульные компьютеры" (см. след. номер). См. также работу [1].
Спецификация CompactPCI Express
Спецификация CompactPCI Express была опубликована в августе 2005 года [9] и уже к ноябрю того же года была поддержана 43 компаниями, будучи ориентирована в основном на промышленные и, в частности, оборонные/авиационно-космические приложения.
Формально основное изменение по сравнению с CompactPCI состоит в том, что шина PCI заменена структурой PCIe. Хотя форматы плат остаются теми же, что и для CPCI: 3U и 6U, но разъемы P1 и P2 меняются на новые, а значит – меняется и объединительная панель. Вместо Р1 и Р2 устанавливаются четыре разъема трех новых типов: ADF (два), UPM и eHM (рис. 9). Три других разъема (Р3, Р4 и Р5) не меняются для сохранения преемственности с ITU-T H.110 и PICMG 2.16 (Ethernet).
ADF – усовершенствованная структура дифференциальных
ВЧ-разъемов (ХР2, ХР3) с импедансом 100 Ом, используемых для передачи данных в формате PCIe: 8-полосная дуплексная передача на одном ADF и 16-полосная дуплексная – на другом (используются две тактовые частоты: 2,5 и 5 ГГц).
UPM – универсальный разъем электропитания (XJ1), имеющий семь контактов для подачи напряжения питания 3,3В; 5В, 12В (два) и заземления (три контакта) на одну карту (ток до 15 А для каждого номинала напряжения).
eHM – улучшенный жесткий метрический специализированный разъем XP4 (с ключами для возможности использовать пять разных типов модулей) для передачи сигналов ввода/вывода, адресации и электропитания (12В, 3,3В (2А) и 5В (1А) внешнего питания) на карту. Допускается использование следующих пяти типов модулей:
1) System Slot – системный слот (SBC);
2) Peripheral Slot type 1 – периферийный слот типа 1 (SBC или I/O);
3) Hybrid Slot – гибридный слот (I/O: PCI 32 или PCIe);
4) Peripheral Slot type 2 – периферийный слот типа 2 (PCIe);
5) CompactPCI 32-разряда, 33 МГц.
Как и в CompactPCI, устройства ввода/вывода CompactPCI Express могут взаимодействовать с ЦПУ, используя топологию звезды, где ЦПУ выступает центральным узлом. Однако в CompactPCI, где использовалась шина, одновременно могли взаимодействовать только два устройства. В CompactPCI Express все устройства (ЦПУ и устройства ввода/вывода), подсоединенные к коммутатору как центральному узлу, минуя шину, могут взаимодействовать одновременно, используя при этом полную ширину полосы, доступную коммутатору.
Express-расширение возможностей CompactPCI, так же как и расширение состава используемых модулей, продлит жизнь успешному решению на основе CompactPCI, облегчит миграцию к использованию решений только на основе CompactPCI Express с возможным в будущем расширением структуры коммутации CPCI Express на структуру CPCI Express+AS как более эффективную и законченную.
Коммутируемые структуры последовательного типа
Эти структуры представляют собой системы, соединяющие устройства таким образом, чтобы поддержать множественную одновременную передачу данных, как это делает кросс-коммутатор в системах связи. При этом данные посылаются в виде пакетов, в заголовке которых содержится информация для их идентификации, маршрутизации и обнаружения (реже исправления) ошибок.
Для обеспечения высокой производительности коммутаторы должны иметь в структуре наиболее простые типы связи между устройствами (узлами структуры), например "точка-точка", хотя в целом система коммутации может иметь более сложную архитектуру, включающую собственно коммутаторы, маршрутизаторы, концентраторы и повторители.
Основные преимущества структур последовательного типа:
· значительно меньшее число сигнальных линий (примерно в пять раз);
· меньший размер разъемов и кабелей, что обеспечивает уплотнение монтажа, упрощает компоновку, снижает стоимость и упрощает обслуживание;
· возможность объединения в одно звено связи нескольких последовательных полос передачи (благодаря наличию синхронизации) путем мультиплексирования с байт-интерливингом на физическом уровне 1, 2, 4, 8, 16 (32) полос, чтобы создать агрегатную скорость, кратную числу полос, что делает эти структуры легко масштабируемыми;
· высокая эффективность и легкость маршрутизации;
· простота топологии ("точка-точка") и передача на физическом уровне дает возможность использовать "горячую вставку" и "горячую замену" карт/плат;
· топология "точка-точка" позволяет легко изолировать отказы, а использование резервирования повышает надежность системы.
Топологии коммутируемых структур
Коммутируемые структуры используют следующие топологии коммутируемых межсоединений:
· звезда, двойная звезда, сдвоенная двойная звезда (называемые также централизованными);
· кросс-бар, двойной кросс-бар;
· полносвязная ячеистая сеть, неполносвязная сеть (называемые также распределенными).
Наиболее часто используются топологии: звезда, двойная звезда и полносвязная ячеистая сеть (рис. 10).
С точки зрения топологии цепи передачи данных это может быть линейная последовательная цепь (часто называемая полосой) либо звено из нескольких параллельно работающих цепей (нескольких полос), мультиплексируемых для формирования более широкой полосы пропускания или большей скорости передачи, возрастающей пропорционально числу полос – коэффициенту мультиплексирования. Число используемых полос может быть 1, 2, 4, 8, 16 и 32. Звеньев также может быть несколько: 2, 4, 8.
Рассмотрим кратко основные типы коммутируемых структур, используемых в ВКТ.
Структура на базе коммутаторов Ethernet
Структура на базе Ethernet была первой из используемых коммутируемых структур благодаря, во-первых, широкому распространению этой технологии и, во-вторых, – тому, что коммутатор Ethernet уже существовал в виде ИМС и был рассчитан на работу с узлами на базе топологии звезды или двойной звезды. Требовалось только разработать интерфейс (или мост) для его применения со стандартным чипсетом ПК.
Коммутируемая структура (обычно на базе GE) использует топологию "двойная звезда" (для повышения надежности), где роль центральных узлов – "звезд" – играют два коммутатора GE (рис.11). В этой схеме соединений скорость передачи между каждой парой узлов (слотов) в одном направлении составляет 1 Гбит/с (дуплексная скорость – 2 Гбит/с). В качестве среды передачи используется шинная структура объединительной панели (рис.12), где два коммутатора (платы GE) в центре через порты (разъемы Р0) управляют процессом коммутации на 18 платах.
Коммутируемая структура типа InfiniBand
Данная структура была нацелена компанией Intel на использование в серверах и системах памяти для межпроцессорной связи и соединений между блоками. Структура рассчитана на компактный формат, обеспечивает повышенную производительность и легкую масштабируемость при передаче данных и другие преимущества коммутируемых структур.
Структура InfiniBand используется совместно с ATCA (см. стандарт PICMG 3.2) и совместно с VME VXS/VPS (стандарты VITA 41.1/46.8). Она позволяет работать с восемью типами карт/плат: IP/HUB, ATM, SONET/TDM, Ethernet 1000Base-T, Fiber Interface (FTTH, FC, ON), DSP, RISC и SISC МП, SAN (через FC). Такая универсальность делает ее привлекательной в своем классе. Она использует две топологии: двойную звезду (с максимумом производительности на 16-слотовой полке до 70 Гбит/с) и полносвязную ячеистую сеть (с максимумом производительности до 2,4 Тбит/с).
Коммутируемая структура типа StarFabric
Структура этого типа была нацелена на прозрачные соединения между чипами и устройствами PCI. Разработана Ассоциацией StarFabric Trade Association, может обслуживать тысячи узлов/слотов, имеет коммутируемую емкость до 500 Мбайт на слот и 11 Гбайт на шасси. Пропускная способность – четыре дуплексных потока по 622 Мбит/с в каждом направлении через объединительную панель, что дает максимальный поток до 5 Гбит/с.
Структура используется совместно с АТСА (см. стандарт PICMG 3.3) и с CompactPCI (стандарт PICMG 2.17), а также совместима с АТМ, PCI, PCI Express, IP, Ethernet и ITU-T H.110. Структура использует две топологии: двойную звезду и неполносвязную ячеистую сеть (например, см. рис.13, может соединить до 30 шинных сегментов с помощью 10 коммутаторов с тремя мостами на каждом из них). Есть успешные реализации структуры и с системами на базе VMEbus (компания Dy 4 Systems).
Коммутируемая структура типа PCI Express+AS
Эта структура – PCI Express с расширением AS (улучшенная коммутация) [8, 9] – была нацелена на соединения между МП и картами/платами в ПК. Более подробно она будет описана в разделах "Спецификация PCI Express" и "Спецификация ASI SIG" в продолжении статьи (см. след. номер журнала) и поддержана многими стандартами.
Коммутируемая структура типа RapidIO
Структура RapidIO (разработана компаниями Motorola, Mercury, 1997/99, 2001 – первые ИС) была нацелена на соединения между чипами и картами/платами во встраиваемых системах COTS реального времени [10]. Система создана в августе 2004 года и поддерживается Ассоциацией RTA. Коммутируемая структура наиболее полно поддерживается стандартами PICMG и VITA. В совместном варианте для АТСА (стандарт PICMG 3.5) определяется модель, состоящая из логического, транспортного и физического уровней.
Стандарт RapidIO использует топологию двойной звезды и позволяет использовать четырехполосное мультиплексирование при последовательной передаче и 8/16 бит при параллельной передаче. Физический уровень предлагает XAUI-совместимый электрический интерфейс, работающий на скоростях 1,25; 2,5; 3,125 Гбит/с (2,5 Гбит/с после кодирования 8B/10B), что позволяет довести дуплексную пропускную способность до 20 (10+10) Гбит/с, а в будущем – до 80 (40+40) Гбит/с.
Продолжение статьи будет опубликовано в следующем номере журнала.
ЛИТЕРАТУРА
1. Афонин Д. ETXpress: новые возможности “компьютера в модульном исполнении”. – ЭЛЕКТРОНИКА: НТБ, 2005, с.54–55.
2. Рыбаков А. Некоторые базовые технологии и ключевые тенденции рынков ВКТ-2005. – Презентация на форуме ВКТ “Встраиваемые компьютерные технологии”, Москва, 2005.
3. PICMG 1.0. PCI-ISA Passive Backplane Standard. R2.0, 2004, – www.picmg.org/pciisa.
4. PICMG 1.2. PCI Only (e-PCI-X). Embedded PCI-X Specification. R1.0, 2002 – www.picmg.org/pci-only-e-pci-x.stm
5. PICMG 2.0. CompactPCI Specification. R3.0, 1999 – www.picmg.org/compactpci.stm
6. PICMG 2.16. Packet Switching Backplane Specification. R1.0, 2001.
7. Kontron. Каталог продукции 2005–2006.
8. Advanced Switching Technology. – Tech.Brif., www.asi-sig.org .
9. PICMG EXP.0. CompactPCI Express. R1.0, 2005.
10. Strod E.C. RapidIO fabric unifies VITA and PICMG platform architecture. – VMEbus Systems, Feb. 2006.
11. EPIC Express Specification: Stackable PCI Express Expansion for EPIC. R0.80, 26.08.05.
12. PICMG 3.0 AdvancedTCA. Short Form Specification. Jan. 2003.
13. Слепов Н.Н. Англо-русский толковый словарь сокращений в области связи, компьютерных и информационных технологий. –
3-е перераб. и доп. изд. – М.:Радио и связь, 2005.
Приложения, использующие достижения ВКТ, а часто и диктующие их развитие, базируются на таких отраслях, как:
· контрольно-измерительные и телеметрические системы,
· медицинское приборостроение,
· оборонная промышленность,
· потребительская электроника (игровые автоматы, автоматизированные игрушки, автоматизированные функции устройств и пр.),
· промышленная автоматика,
· телекоммуникации,
· транспортные системы.
В этих приложениях используются серверы, ПК, вычислительные модули с возможностями ПК, контроллеры, блоки управления, интерфейсные модули. Все они, так или иначе, являются вычислительными блоками/модулями, используют тот или иной тип программно-аппаратного обеспечения, ориентированного на определенный тип архитектуры МП, ОС и интерфейсов. Все приложения, как правило, стандартизированы различными институтами, форумами и альянсами, что обеспечивает получение готовых решений определенных классов прикладных задач, воплощаемых в различных сериях устройств ВКТ. Рынок таких устройств постоянно растет (см. таблицу 1).
Существуют три возможные пути подготовки проектного решения для конкретного приложения:
· проработка проекта как оригинального, от начала и до конца, с учетом специфики приложения;
· использование готового оборудования (ПК и стандартного набора периферийных устройств), связанного стандартными физическими разъемами/интерфейсами;
· использование принципа конструирования из готовых конструктивов и модулей, взятых с полки на складе (COTS).
Первый путь требует больших усилий и затрат, второй (в силу своей потенциальной громоздкости) – годится только для экспериментальных работ и измерительных приложений, третий – наиболее оптимальный, учитывая большое разнообразие конкретных встраиваемых решений, с одной стороны, и большое количество наработанных решений и модулей – с другой.
Общие характеристики ВКТ открытого типа
Серии устройств ВКТ открытого типа объединяются либо на основе используемой магистрально-модульной архитектуры, в основу которой положена магистральная шина (одного из типов), либо на основе одноплатного принципа (формата) компоновки, рассчитанного на системы (типа шасси или полки) с пассивной (задней) объединительной панелью или на системы в модульном исполнении.
Магистрально-модульная архитектура
Исторически сложилось так, что этот тип архитектуры, начало которому положили ПК, развивался наиболее быстро и динамично, предлагая, развивая и осваивая магистральные шины: ISA, EISA, PCI и VMEbus, для работы с которыми создавались и совершенствовались модули и устройства. Основными вопросами в процессе этого развития постоянно оставались: независимость от конкретных поставщиков, масштабируемость, возможность модернизации, совместимость новых решений со старыми, длительность жизненного цикла.
Своеобразными вехами на пути развития этой архитектуры были три шины:
· ISA – шина стандартной промышленной архитектуры, породившая расширенную ISA (EISA);
· PCI – интерфейс периферийных устройств, или расширенная локальная шина (ЛШ), давшая мощный толчок развитию компактных промышленных приложений благодаря версии CompactPCI и PXI;
· VMEbus – шина, разработанная на основе шины VERSAbus, для компактных военно-промышленных и измерительных приложений.
Одноплатные форматы
Развитие технологий ПК и совершенствование материнских плат привели к созданию одноплатных компьютеров (SBC) различных форматов и назначений: 3,5", 5,25", mini-ITX, microATX, ATX, eATX, PC/104, PC104+, EPIC; компьютеров в модульном исполнении (COM): COM Express, ETX, ETXexpress, DIMM-PC, X-Board. Это направление, поддержанное развитием технологии мезонинных плат, привело к созданию индустрии одноплатных модулей – основных конструктивных элементов магистрально-модульной архитектуры.
COTS-технологии
Одной из ключевых тенденций развития ВКТ явилось использование (адаптация) базовых компьютерных и офисных технологий (на которые приходилась львиная доля общегражданских инвестиций) в разработке компактных промышленных и военно-промышленных решений, развиваемых в настоящее время.
Неудивительно, что большинство современных военно-промышленных компьютерных систем было построено с помощью технологии COTS, и они отражают лучшие технологические достижения из мира общегражданских, общепромышленных аппаратных и программных решений.
Другой ключевой тенденцией является объединение достижений компьютерных и телекоммуникационных технологий. Здесь важен факт перехода от техники параллельной передачи данных по шине к технике последовательной передачи с помощью коммутируемых структур последовательного типа, позволивший резко поднять скорость передачи.
Шина VMEbus
Формально сокращение VME означает "Еврокарта с VERSA-модулем", фактически это карта с шиной, разработанной для нужд ВКТ рядом компаний в 1981 году на основе шины VERSAbus. Шина этой карты получила название VMEbus. Разработка оказалась удачной и была доработана и выпущена в виде стандартов DIN 41612, IEC 821 и ANSI/IEEE 1014.
Наибольшее применение карта с VMEbus нашла в промышленных, коммерческих и военных приложениях. Так, на оборудование с ней в 2005 году пришлось более 77% сбыта военных и авиационно-космических систем. Такой успех обусловлен тем, что карта (главным образом шина) постоянно модернизировалась, пытаясь отслеживать быстрое развитие компьютерных технологий.
Шина VME32. Сначала это была параллельная асинхронная шина, допускающая однопроцессорную и мультипроцессорную работу с 8-, 16- и 32-разрядной компьютерной архитектурой (в том числе одновременно и с модулями различной разрядности), стандартизованная позднее институтом IEEE как стандарт IEEE 1014. Она позволяла реализовать скорости передачи данных до 40 или 80 Мбайт/с с мультиплексированием и поддержкой 12 слотов.
VMEbus использовала архитектуру типа "ведущий-ведомый" (master-slave), причем "ведущих" могло быть несколько, поэтому шина VMEbus называлась шиной многопоточной обработки. Эта шина делилась на четыре логически организованные шины: шину арбитража (управляющую использованием других шин), шину передачи данных (между модулями), шину приоритетных прерываний и шину обслуживания (с поддержкой двух систем генерации тактовых импульсов). Так как деление на шины было логическое, оно могло быть сформировано в зависимости от типа архитектуры.
Шина VME64, VME64X. Следуя общей тенденции развития МП, шина VME32 стала шиной VME64 и поддерживала уже 8-, 16-, 32- и 64-разрядную компьютерную архитектуру и передачу данных с мультиплексированием и без него, имела 3-рядный разъем DIN и была одобрена институтом ANSI в стандарте ANSI/VITA 1-1994. В 1997 году она была модернизирована в шину VME64X путем установки на карте 5-рядного разъема DIN 41612 (всего 160 контактов) и одобрена ANSI в стандарте ANSI/VITA 1.1-1997. Дополнительно включался разъем P0, шина контроля и обслуживания, а также возможности использования напряжения 3,3В и работы через фронтальные разъемы.
Шина VME2eSST. Наконец, используя SST-технологию синхронной передачи данных от источника (по протоколу VME320), пропускная способность шины была увеличена до 320 Мбайт/с (с поддержкой 21 карты), а сама шина (VME2eSST) с новым протоколом 2eSST была одобрена ANSI в виде стандарта ANSI/VITA 1.5-1999/2003.
Протокол 2eSST был разбит (по времени) на три фазы: посылка адреса, передача данных (эта фаза обеспечивает чисто синхронную передачу данных без ожидания подтверждения) и стадия завершения. Используя эту концепцию, можно поднять скорость передачи до 1 Гбит/с.
Системы с VMEbus сразу были ориентированы на использование объединительной (задней) панели вместо материнских плат, что существенно уменьшало время ремонта, увеличивало уровень ремонтопригодности и срок морального устаревания изделий. Еврокарта была спроектирована для использования более надежного 96-контактного разъема, вставляемого в объединительную панель, вместо стандартного для печатной платы краевого разъема. Она поддерживала три типа форматов: 3U (4"x6", или 101,6х152,4 мм), 6U (6"х12", или 152,4х304,8 мм) и 9U (14"х18"), тогда как VME-стандарт первоначально поддерживал только форматы 3U и 6U (при общем числе слотов 21). В настоящее время он поддерживает все легальные форматы Еврокарты.
Системы с VMEbus стандартно комплектуются ОС реального времени (ОСРВ, или RTOS), которая лучше обычной ОС (хотя они также могут быть использованы), так как позволяет работать с приложениями реального времени, к которым относятся большинство военных, авиакосмических и связанных с управлением процессами приложений.
Гигабитный Ethernet на шине VME64X
Растущие потребности в широкой полосе пропускания для VME-приложений привели к мысли использовать сетевые коммутационные технологии, из которых была выбрана, как наиболее простая, технология гигабитного Ethernet (GE) (см. далее раздел "Структура на базе коммутаторов Ethernet"). Поток пакетов GE подается при этом на объединительную панель через разъемы карт P0 (рис.1). Параллельный битовый поток шин VME64X преобразуется в последовательный поток бит, передаваемый между узлами, соединенными коммутатором. Дополнительно соседние слоты могут быть связаны по схеме традиционной параллельной шины, организуемой на объединительной панели.
Указанная модификация была одобрена ANSI как стандарт ANSI/VITA 31.1. Для полной совместимости с аналогичным решением для шины CompactPCI, описанным в стандарте PICMG 2.16 (см. ниже), было предусмотрено использование разъема P3 на платах VME64X (разъем Р3 идентичен Р0 и расположен в том же месте на объединительной панели).
Использование стандарта VITA 31.1 дает следующие преимущества:
· возможность организации соединений "точка-точка", исключающих любой отказ единичного элемента;
· использование низковольтной дифференциальной сигнализации (LVDS);
· поддержка скорости коммутации агрегатного сигнала до 2 Гбит/с в расчете на один слот.
Учитывая, что системы с VMEbus открыты для заинтересованных производителей, можно быть уверенным, что пользователи не будут замкнуты на одного производителя.
Локальная шина PCI
Локальная шина PCI – высокопроизводительная шинная архитектура – интерфейс, позволяющий работать с 16- и 32-разрядными платами ПК серий 486/Pentium, была разработана компанией Intel в 1992 году для замены двух действующих в то время шин: стандартной – ISA (8-/16-разрядной, 1984) и расширенной – EISA
(8-/16-/32-разрядной) архитектуры. Она позиционировалась как параллельная, локальная шина (ЛШ) ввода/вывода (I/O), независимая от МП, использующая мосты для связи с другими ЛШ и имеющая максимальную теоретическую скорость передачи 132 Мбайт/с (на порядок выше, чем у ISA). Место шины PCI в блок-схеме ПК показано на рис.2.
Шина PCI. Первоначально шина была разработана для ПК, сейчас она используется практически в любой компьютерной платформе: в ПК, в серверах, оборудовании систем связи, во встраиваемых и одноплатных ПК, несмотря на то, что тактовая частота МП изменилась с тех пор с 66 МГц до 3 ГГц. Шина PCI до 2002 года – времени разработки новой, революционной версии PCI Express, активно развивалась и представлена сейчас вариантами: PCI, PCI-X, PCMCIA, CardBus, CompactPCI и т.д. Однако все они, по сути, представляют одну и ту же параллельную ЛШ, приспособленную к специфическим требованиям тех или иных приложений.
Шина PCI-X. Вариант PCI-X (стандарт PCI-X 1.0 PCI SIG) – это расширенная 64-разрядная версия PCI. Развитие технологий позволило поднять тактовую частоту шины сначала до 66, а затем до 133 МГц, что при 64 разрядах соответствовало скорости передачи порядка 1 Гбайт/с. Современный вариант (PCI-X 2.0) позволил увеличить частоту до 266 и 533 МГц, что повысило скорость передачи до 4,26 Гбайт/с. Дополнительным плюсом стала высокая надежность благодаря использованию кодов ECC, корректирующих одиночные и определяющих двойные ошибки.
Стандарты PICMG 1.0 и 1.2
Перечисленные улучшения позволили шине PCI доминировать в течение вот уже 13 лет, учитывая обратную совместимость и поддержку старых (на базе шины ISA) решений, а также возможность без проблем использовать вновь спроектированные модули и новые решения, включая 10-гигабитный Ethernet (10GE), 10-гигабитный Fiber Channel (10FC) и описанную далее архитектуру InfiniBand – коммутируемую высокоскоростную структуру.
Продлить жизнь шине PCI помогут и стандарты Консорциума PICMG 1.0 и 1.2 [3, 4]. Дело в том, что старые ВКТ использовали, как и ПК, материнские платы с установленными на них мезонинными платами или модулями. В новых стандартах предложено вместо материнской платы использовать пассивную объединительную панель с разъемами, куда вставляются COTS-платы с компонентами и модулями, ранее монтируемыми на материнской плате, причем к таким платам относятся и системные базовые платы (SHB), которые содержат процессорную подсистему и шинный интерфейс. Стандарт PICMG 1.0 поддерживает шины (и карты) ISA и PCI (32/64 разряда, 33 МГц) и использует SHB-формат: 13,3"ґ4,8" (337,8ґ121,9 мм). Стандарт PICMG 1.2 поддерживает только одну или две шины (32/64 разряда) PCI (33 МГц)/PCI-X (133 МГц) и использует два SHB-формата: 13,3"ґ4,8" и 7,5"ґ4,8" (190,5ґ121,9 мм).
Спецификация CompactPCI
Спецификация CompactPCI [5] была разработана Консорциумом PICMG как стандарт PICMG 2.0, определяющий промышленный ПК на базе шины PCI, но в формате Eurocard (стандарт IEEE 1101.1) для совместимости с известной шиной VMEbus. Для этого разъем CompactPCI был сделан совместимым со стандартом IEC-1076 (5 рядов, 47 контактов в ряду с шагом 2 мм, общее число контактов – 220 при наличии ключа). Разъем позволяет системе CompactPCI иметь 8 слотов, число которых можно увеличить с помощью ИС
PCI-моста с кратностью 8 (т.е. 16, 24, 32 слотов).
Карты CompactPCI вставляются вертикально (для лучшего охлаждения) в объединительную панель, имеют разъемы и возможность ввода-вывода как с передней, так и с объединительной панели. Карты поддерживают два стандартных формата: 3U (100х160 мм) и 6U (160х233 мм). Формат 3U использует один разъем (220 контактов), разделенный на две половины: разъемы J1 и J2 по 110 контактов каждый. Формат 6U использует три дополнительных разъема с общим количеством контактов 315. Наличие большого количества контактов и дублирование заземляющих контактов позволяет с помощью установленных PCI-мостов управлять группами из 8, 16, 26 и 32 плат, осуществлять горячую замену плат, поддерживать не только шину PCI (33 МГц), но и шину PCI-X (66 МГц) – начиная с версии стандарта PICMG 2.1 R2.0 (2001).
CompactPCI + Ethernet = PICMG 2.16
Эффективность CompactPC существенно увеличилась после появления стандарта PICMG 2.16 [6], содержащего спецификацию пакетной технологии последовательной передачи данных поверх Compact PC с помощью объединительной панели (PSB) на основе технологии коммутируемого Ethernet. По сути, расширение PICMG 2.16 позволяет сформировать дополнительную внутреннюю сеть Ethernet между процессорными модулями Compact PCI. Достоинства такого решения – надежность, простота освоения и дешевизна, учитывая наличие большого парка стандартного программного обеспечения (ПО) для поддержки сетей Ethernet, имеющегося в пакетах ПО всех используемых ОС. Реализация такого решения представлена, например, компанией Kontron в виде так называемых "Платформ PSB" [7].
Сравнение решений на базе шин VMEbus и CompactPCI
Ни один обзор ВКТ не обходится без сравнения эффективности используемых технологий, прогнозов их развития и предсказаний того, когда они уйдут со сцены. Чаще всего сравнивают системы с VMEbus и с CompactPCI.
Когда был предложен VMEbus (32 разряда, 1981), его монопольная блочная скорость передачи данных (BLT) составляла 40 Мбайт/с при длине блока в 4 байта. Переход к VME64 увеличил эту скорость вдвое (до 80 Мбайт/с). PCI вышел на сцену в начале 1990-х и имел сначала преимущество в скорости (133/266 Мбайт/с для 32/64-разрядных вариантов). Внедрение шины VME2eSST довело скорость до 320 Мбайт/с и, вроде бы, вывело ее вперед, но Intel довела скорость до 533 Мбайт/с и снова заняла лидирующую позицию. Не вдаваясь в тонкости шинной архитектуры, можно отметить, что при одинаковой тактовой частоте шин VMEbus все же имеет преимущество перед CompactPCI, благодаря лучшему арбитражу шины, возможности логического формирования параметров шины и другим особенностям.
Никто, однако, при проектировании новых систем с VMEbus или Compact PCI уже не обращает внимание на эти различия, так как скорости, достигнутые при использовании технологии коммутируемых структур последовательного типа, превосходят те скорости, которые могут быть достигнуты на шинах. В первую очередь это относится к использованию технологии GE. В этом смысле решения на базе PICMG 2.16, поддержанные решениями для VMEbus (см. выше: ANSI/VITA 31.1), не только еще больше сблизили, но и практически уравняли возможности систем на базе шин VMEbus и CompactPCI с точки зрения скорости обработки данных, увеличивая в результате взаимопроникновения их общее долголетие.
Шина PCI Express
Параллельная шина PCI, разработанная компанией Intel в 1992 году, дожила до наших дней благодаря своей непрерывной модернизации. Однако каждый новый шаг в увеличении скорости или в уменьшении рабочего напряжения давался все труднее и с большей затратой средств, а следующий шаг – использование тактовой частоты 1066 МГц – казался труднодостижимым. В результате в 2002 году Intel предприняла попытку вообще отказаться от модернизации шины и внедрить новую концепцию – PCI Express – коммутируемой структуры последовательного типа, учитывая тенденции последних лет и, в частности, использование коммутаторов Ethernet для передачи данных (стандарт PICMG 2.16, 2001 год).
Вместо традиционной блок-схемы с шиной PCI (см. рис.2) была предложена схема (рис.3), где дополнительно используется коммутатор, подключенный к мосту ввода-вывода, с одной стороны, и имеющий входные интерфейсы для ввода данных от устройств (приложений), с другой стороны. Коммутатор (рис.4) обеспечивает локальное взаимодействие между устройствами, непосредственно подключенными к его портам, через виртуальные мосты, подключенные к виртуальной шине. Шина PCI оставлена для совместимости с предыдущими решениями.
Первые устройства с шиной PCI Express стали поступать уже в 2004 году. Поскольку это были устройства последовательного типа, то для того, чтобы конкурировать с PCI, системы с PCI Express должны были обеспечить скорости передачи не ниже 4,264 Гбайт/с (533 МГц, 8 байт). Другим важным моментом была простота решения и легкая масштабируемость.
Масштабируемость PCI Express
Масштабируемость определяется физическим уровнем 5-уровневой модели архитектуры PCI Express (3 уровня которой показаны на рис.5). Основное звено передачи PCI Express состоит из двух низковольтных дифференциальных сигнальных пар: передающей и приемной, которые используют протокол дуплексной передачи типа "точка-точка" с форматом линейного кодирования 8b/10b (как и в GE). Ширину полосы (скорость передачи) можно линейно увеличивать путем добавления сигнальной пары при формировании многополосной схемы передачи (multiple lanes). В качестве примера на рис.6 показаны два звена с однополосной и четырехполосной передачей. При такой передаче сначала происходит демультиплексирование потока байтов на число потоков, кратное числу полос. В результате при четырехполосной передаче в первой полосе будет передаваться последовательность 0–4–8–12- и т.д. байтов, которая потом ремультиплексируется с последовательностями других полос для восстановления исходного потока байтов. Физический уровень на сегодня поддерживает формирование 1, 2, 4, 8, 16 и 32 полос в одном звене. Каждая полоса рассчитана на передачу 256 Мбайт/с в одном направлении (при тактовой частоте 2,5 ГГц), что позволяет изменять симплексную скорость передачи потока одного звена от 0,256 до 8 Гбайт/с. С ростом в будущем тактовой частоты до 10 ГГц эти скорости удвоятся.
Преимущества и недостатки PCI Express
Основными преимуществами PCI Express являются высокая скорость, легкая масштабируемость, простота реализации (обусловленная значительным уменьшением числа требуемых контактов и общей мощности питания). В месте с тем шина имеет ряд других преимуществ: поддерживает автоконфигурирование, управляет электропитанием, допускает горячую вставку и замену устройств, возможность обнаружения ошибок и осуществление передачи данных как между ЦПУ и устройством, так и между устройствами непосредственно, эмулируя тем самым локальный сетевой вариант передачи. Помимо этого, PCI Express ориентирована на межсоединения типа чип-чип, плата-плата (через разъем) и устраняет необходимость использования AGP (быстродействующего графического порта), так как уже при 8-полосной передаче обеспечивает ту же скорость, но в дуплексном варианте передачи, а не в симплексном.
К недостаткам шины можно отнести то, что она не ориентирована на соединения типа: процессор-процессор, процессор-память и кластерные соединения.
Спецификации PCI Express
Будучи ориентирована на большинство сегментов компьютерной индустрии, PCI Express была поддержана не только компанией Intel (ее разработчиком), но и другими организациями по стандартизации. Можно отметить следующие спецификации Intel (PCIe – то же, что и PCI Express):
· PCIe Base Specification 1.1 (New) – базовая спецификация PCIe 2005 года;
· PCIe CEM Specification 1.1 (New) – спецификация PCIe для CEM 2005 года;
· PCIe Mini CEM Specification 1.1 (New) – спецификация PCIe для CEM 2005 года;
· PCIe ExpressModule Electromechanical Specification 1.0 – спецификация Express-модуля;
· PCIe x16 Graphics 150 W ATX Specification 1.0 – спецификация поддержки графики с помощью 16-полосного PCIe вместо AGP;
· PCIe to PCI/PCI-X Bridge Specification 1.0 – спецификация моста PCIe-PCI/PCI-X;
· PCIe Specification 2.0 – спецификация новой версии PCIe (2006 год), совместимая с PCIe 1.x, но имеющая тактовую частоту 5 ГГц, что удваивает скорость передачи.
Группа PICMG также выпустила ряд спецификаций:
· PICMG 1.3. SHB Express – спецификацию, модернизирующую интерфейс плата-плата с PCI на PCIe;
· PICMG 3.4. AdvancedTCA PCI Express – спецификацию, определяющую, как транспорт PCIe и AS отображается на спецификацию PICMG 3.0;
· PICMG AMC.1. AdvancedMC – PCI Express and AS – спецификацию, определяющую использование порта для PCIe и AS на мезонинном модуле AMC.0;
· PICMG COM.0. Computer On Module. R1.0 – спецификацию компьютера в модульном исполнении, или COM;
· PICMG EXP.0. CompactPCI Express. R1.0 – спецификацию, определяющую разъем и требования к системным, периферийным и коммутирующим платам, а также к объединительной панели (2005).
Стандарты для карт PCMCIA и CardBus заменяются стандартом ExpressCard, который объединит PCI Express и USB 2.0, делая их широкополосными и более гибкими.
Ниже кратко рассмотрены наиболее значимые из указанных спецификаций.
Спецификация ASI SIG
Спецификация PCI Express главным образом обслуживает соединения типа процессор-устройство и память-устройство, так как локальное взаимодействие устройств между собой требует периодического обращения к памяти или процессору. Эти обращения осуществляются по шине через мосты ввода/вывода и памяти (см. рис.3) и остаются полудуплексными. В результате эффективность решения теряется. Для преодоления этого была создана альтернативная технология коммутации последовательного типа – AS-технология улучшенной коммутации, объединяющая лучшие свойства существующих коммутирующих структур и основанная на архитектуре PCIe. Она была разработана группой компаний ASI SIG, куда входит и компания Intel [8].
В отличие от PCIe, блок-схема взаимодействия устройств в AS – однозвенная и прямолинейная (рис.7) вне зависимости от типа устройств. Если PCIe поддерживает иерархическую структуру маршрутизации с отображением в памяти, то AS работает с путевым маршрутом типа точка-точка и поддерживает топологии: звезда, двойная звезда и полносвязная ячеистая сеть. В схеме AS все устройства (в том числе ЦПУ и память) считаются узлами сети AS, что (с учетом поддерживаемых топологий) и подтверждает однозвенность и прямолинейность такой сети, а значит и возможность действительно однорангового взаимодействия узлов без ссылок на возможные ограничения, вызванные когерентностью кэш-памяти или наличием кластеров.
Спецификации PCIe и AS имеют 5/4-уровневые модели, два нижних уровня которых совпадают (см. рис. 5), отличие начинается с третьего уровня транзакций. Поэтому структура коммутаций в системе PCIe-AS строится в два этапа. На первом – PCIe формирует свой пакет (данные с заголовком), на втором – пакет PCIe инкапсулируется в пакет AS стандартного для сетей с топологией точка-точка формата: старт-биты, последовательный номер пакета (для сохранения исходного порядка пакетов), маршрутный заголовок (для прохода через структуру AS), полезную нагрузку (для инкапсуляции PCIe-пакета), поле CRC (для проверки наличия ошибок при приеме пакета), стоп-биты (рис.8).
Спецификация PCIe с надстройкой в виде AS является одной из наиболее совершенных систем PCIe, которую могут предложить разработчики стратегии взаимодействия (Alcatel, Intel, Siemens и др.) разработчикам-тактикам, строящим системы на основе ВКТ.
Спецификация Computer On Module
Спецификация компьютера в модульном исполнении (или компьютера, размещенного на модуле, – COM), а также его модификации COM Express и ETXexpress, в форм-факторе ETX, будут описаны в продолжении статьи, в разделе "Одноплатные и микромодульные компьютеры" (см. след. номер). См. также работу [1].
Спецификация CompactPCI Express
Спецификация CompactPCI Express была опубликована в августе 2005 года [9] и уже к ноябрю того же года была поддержана 43 компаниями, будучи ориентирована в основном на промышленные и, в частности, оборонные/авиационно-космические приложения.
Формально основное изменение по сравнению с CompactPCI состоит в том, что шина PCI заменена структурой PCIe. Хотя форматы плат остаются теми же, что и для CPCI: 3U и 6U, но разъемы P1 и P2 меняются на новые, а значит – меняется и объединительная панель. Вместо Р1 и Р2 устанавливаются четыре разъема трех новых типов: ADF (два), UPM и eHM (рис. 9). Три других разъема (Р3, Р4 и Р5) не меняются для сохранения преемственности с ITU-T H.110 и PICMG 2.16 (Ethernet).
ADF – усовершенствованная структура дифференциальных
ВЧ-разъемов (ХР2, ХР3) с импедансом 100 Ом, используемых для передачи данных в формате PCIe: 8-полосная дуплексная передача на одном ADF и 16-полосная дуплексная – на другом (используются две тактовые частоты: 2,5 и 5 ГГц).
UPM – универсальный разъем электропитания (XJ1), имеющий семь контактов для подачи напряжения питания 3,3В; 5В, 12В (два) и заземления (три контакта) на одну карту (ток до 15 А для каждого номинала напряжения).
eHM – улучшенный жесткий метрический специализированный разъем XP4 (с ключами для возможности использовать пять разных типов модулей) для передачи сигналов ввода/вывода, адресации и электропитания (12В, 3,3В (2А) и 5В (1А) внешнего питания) на карту. Допускается использование следующих пяти типов модулей:
1) System Slot – системный слот (SBC);
2) Peripheral Slot type 1 – периферийный слот типа 1 (SBC или I/O);
3) Hybrid Slot – гибридный слот (I/O: PCI 32 или PCIe);
4) Peripheral Slot type 2 – периферийный слот типа 2 (PCIe);
5) CompactPCI 32-разряда, 33 МГц.
Как и в CompactPCI, устройства ввода/вывода CompactPCI Express могут взаимодействовать с ЦПУ, используя топологию звезды, где ЦПУ выступает центральным узлом. Однако в CompactPCI, где использовалась шина, одновременно могли взаимодействовать только два устройства. В CompactPCI Express все устройства (ЦПУ и устройства ввода/вывода), подсоединенные к коммутатору как центральному узлу, минуя шину, могут взаимодействовать одновременно, используя при этом полную ширину полосы, доступную коммутатору.
Express-расширение возможностей CompactPCI, так же как и расширение состава используемых модулей, продлит жизнь успешному решению на основе CompactPCI, облегчит миграцию к использованию решений только на основе CompactPCI Express с возможным в будущем расширением структуры коммутации CPCI Express на структуру CPCI Express+AS как более эффективную и законченную.
Коммутируемые структуры последовательного типа
Эти структуры представляют собой системы, соединяющие устройства таким образом, чтобы поддержать множественную одновременную передачу данных, как это делает кросс-коммутатор в системах связи. При этом данные посылаются в виде пакетов, в заголовке которых содержится информация для их идентификации, маршрутизации и обнаружения (реже исправления) ошибок.
Для обеспечения высокой производительности коммутаторы должны иметь в структуре наиболее простые типы связи между устройствами (узлами структуры), например "точка-точка", хотя в целом система коммутации может иметь более сложную архитектуру, включающую собственно коммутаторы, маршрутизаторы, концентраторы и повторители.
Основные преимущества структур последовательного типа:
· значительно меньшее число сигнальных линий (примерно в пять раз);
· меньший размер разъемов и кабелей, что обеспечивает уплотнение монтажа, упрощает компоновку, снижает стоимость и упрощает обслуживание;
· возможность объединения в одно звено связи нескольких последовательных полос передачи (благодаря наличию синхронизации) путем мультиплексирования с байт-интерливингом на физическом уровне 1, 2, 4, 8, 16 (32) полос, чтобы создать агрегатную скорость, кратную числу полос, что делает эти структуры легко масштабируемыми;
· высокая эффективность и легкость маршрутизации;
· простота топологии ("точка-точка") и передача на физическом уровне дает возможность использовать "горячую вставку" и "горячую замену" карт/плат;
· топология "точка-точка" позволяет легко изолировать отказы, а использование резервирования повышает надежность системы.
Топологии коммутируемых структур
Коммутируемые структуры используют следующие топологии коммутируемых межсоединений:
· звезда, двойная звезда, сдвоенная двойная звезда (называемые также централизованными);
· кросс-бар, двойной кросс-бар;
· полносвязная ячеистая сеть, неполносвязная сеть (называемые также распределенными).
Наиболее часто используются топологии: звезда, двойная звезда и полносвязная ячеистая сеть (рис. 10).
С точки зрения топологии цепи передачи данных это может быть линейная последовательная цепь (часто называемая полосой) либо звено из нескольких параллельно работающих цепей (нескольких полос), мультиплексируемых для формирования более широкой полосы пропускания или большей скорости передачи, возрастающей пропорционально числу полос – коэффициенту мультиплексирования. Число используемых полос может быть 1, 2, 4, 8, 16 и 32. Звеньев также может быть несколько: 2, 4, 8.
Рассмотрим кратко основные типы коммутируемых структур, используемых в ВКТ.
Структура на базе коммутаторов Ethernet
Структура на базе Ethernet была первой из используемых коммутируемых структур благодаря, во-первых, широкому распространению этой технологии и, во-вторых, – тому, что коммутатор Ethernet уже существовал в виде ИМС и был рассчитан на работу с узлами на базе топологии звезды или двойной звезды. Требовалось только разработать интерфейс (или мост) для его применения со стандартным чипсетом ПК.
Коммутируемая структура (обычно на базе GE) использует топологию "двойная звезда" (для повышения надежности), где роль центральных узлов – "звезд" – играют два коммутатора GE (рис.11). В этой схеме соединений скорость передачи между каждой парой узлов (слотов) в одном направлении составляет 1 Гбит/с (дуплексная скорость – 2 Гбит/с). В качестве среды передачи используется шинная структура объединительной панели (рис.12), где два коммутатора (платы GE) в центре через порты (разъемы Р0) управляют процессом коммутации на 18 платах.
Коммутируемая структура типа InfiniBand
Данная структура была нацелена компанией Intel на использование в серверах и системах памяти для межпроцессорной связи и соединений между блоками. Структура рассчитана на компактный формат, обеспечивает повышенную производительность и легкую масштабируемость при передаче данных и другие преимущества коммутируемых структур.
Структура InfiniBand используется совместно с ATCA (см. стандарт PICMG 3.2) и совместно с VME VXS/VPS (стандарты VITA 41.1/46.8). Она позволяет работать с восемью типами карт/плат: IP/HUB, ATM, SONET/TDM, Ethernet 1000Base-T, Fiber Interface (FTTH, FC, ON), DSP, RISC и SISC МП, SAN (через FC). Такая универсальность делает ее привлекательной в своем классе. Она использует две топологии: двойную звезду (с максимумом производительности на 16-слотовой полке до 70 Гбит/с) и полносвязную ячеистую сеть (с максимумом производительности до 2,4 Тбит/с).
Коммутируемая структура типа StarFabric
Структура этого типа была нацелена на прозрачные соединения между чипами и устройствами PCI. Разработана Ассоциацией StarFabric Trade Association, может обслуживать тысячи узлов/слотов, имеет коммутируемую емкость до 500 Мбайт на слот и 11 Гбайт на шасси. Пропускная способность – четыре дуплексных потока по 622 Мбит/с в каждом направлении через объединительную панель, что дает максимальный поток до 5 Гбит/с.
Структура используется совместно с АТСА (см. стандарт PICMG 3.3) и с CompactPCI (стандарт PICMG 2.17), а также совместима с АТМ, PCI, PCI Express, IP, Ethernet и ITU-T H.110. Структура использует две топологии: двойную звезду и неполносвязную ячеистую сеть (например, см. рис.13, может соединить до 30 шинных сегментов с помощью 10 коммутаторов с тремя мостами на каждом из них). Есть успешные реализации структуры и с системами на базе VMEbus (компания Dy 4 Systems).
Коммутируемая структура типа PCI Express+AS
Эта структура – PCI Express с расширением AS (улучшенная коммутация) [8, 9] – была нацелена на соединения между МП и картами/платами в ПК. Более подробно она будет описана в разделах "Спецификация PCI Express" и "Спецификация ASI SIG" в продолжении статьи (см. след. номер журнала) и поддержана многими стандартами.
Коммутируемая структура типа RapidIO
Структура RapidIO (разработана компаниями Motorola, Mercury, 1997/99, 2001 – первые ИС) была нацелена на соединения между чипами и картами/платами во встраиваемых системах COTS реального времени [10]. Система создана в августе 2004 года и поддерживается Ассоциацией RTA. Коммутируемая структура наиболее полно поддерживается стандартами PICMG и VITA. В совместном варианте для АТСА (стандарт PICMG 3.5) определяется модель, состоящая из логического, транспортного и физического уровней.
Стандарт RapidIO использует топологию двойной звезды и позволяет использовать четырехполосное мультиплексирование при последовательной передаче и 8/16 бит при параллельной передаче. Физический уровень предлагает XAUI-совместимый электрический интерфейс, работающий на скоростях 1,25; 2,5; 3,125 Гбит/с (2,5 Гбит/с после кодирования 8B/10B), что позволяет довести дуплексную пропускную способность до 20 (10+10) Гбит/с, а в будущем – до 80 (40+40) Гбит/с.
Продолжение статьи будет опубликовано в следующем номере журнала.
ЛИТЕРАТУРА
1. Афонин Д. ETXpress: новые возможности “компьютера в модульном исполнении”. – ЭЛЕКТРОНИКА: НТБ, 2005, с.54–55.
2. Рыбаков А. Некоторые базовые технологии и ключевые тенденции рынков ВКТ-2005. – Презентация на форуме ВКТ “Встраиваемые компьютерные технологии”, Москва, 2005.
3. PICMG 1.0. PCI-ISA Passive Backplane Standard. R2.0, 2004, – www.picmg.org/pciisa.
4. PICMG 1.2. PCI Only (e-PCI-X). Embedded PCI-X Specification. R1.0, 2002 – www.picmg.org/pci-only-e-pci-x.stm
5. PICMG 2.0. CompactPCI Specification. R3.0, 1999 – www.picmg.org/compactpci.stm
6. PICMG 2.16. Packet Switching Backplane Specification. R1.0, 2001.
7. Kontron. Каталог продукции 2005–2006.
8. Advanced Switching Technology. – Tech.Brif., www.asi-sig.org .
9. PICMG EXP.0. CompactPCI Express. R1.0, 2005.
10. Strod E.C. RapidIO fabric unifies VITA and PICMG platform architecture. – VMEbus Systems, Feb. 2006.
11. EPIC Express Specification: Stackable PCI Express Expansion for EPIC. R0.80, 26.08.05.
12. PICMG 3.0 AdvancedTCA. Short Form Specification. Jan. 2003.
13. Слепов Н.Н. Англо-русский толковый словарь сокращений в области связи, компьютерных и информационных технологий. –
3-е перераб. и доп. изд. – М.:Радио и связь, 2005.
Отзывы читателей
