В этой части статьи рассматриваются последние достижения в поиске дефектов покрытий, охватывающие методы контроля на основе физических свойств и подходы на основе глубокого обучения (ГО).
Статья вышла в журнале «Электронные компоненты» №05/2026
Оформить подписку на журнал «Электронные компоненты»
Введение
Производство печатных плат (ПП) в России через два года вырастет на 120%. Постоянный рост сложности ИЭТ, рост объемов их потребления, особенно оборудования и инфраструктуры (серверное, сетевое оборудование, системы хранения данных), приводит к смещению спроса на печатные платы 5-го, 6-го и даже 7-го классов точности с большим количеством сигнальных слоев (до 18-ти) и большими габаритами (до 700 мм).
Производственных мощностей в России, которые способны изготавливать такие ПП, явно недостаточно и несмотря на то, что в целом в РФ около 200 предприятий имеют технологическое оборудование для производства многослойных ПП, мало компаний, способных производить такие технически сложные изделия крупными сериями: «Резонит», «Красное Знамя», «Технотех», «Электроприбор», некоторые заводы крупных вендоров. Остальные компании могут изготавливать огромное количество ПП (до 2,0 млн. кв. м.), которые технически проще (до 4-го класса точности). Платы такого класса необходимы для автомобильной электроники, бытовой техники и т.д. Однако потребность в них существенно ниже, чем в платах более высокого класса точности. Эксперты объясняют это тем, что российскому потребителю нужны платы высокого класса точности, производство которых массово еще не освоено в России.
ПП является основой большинства современных электронных устройств, заменяя объемный монтаж проводами. В изделиях микроэлектроники ПП – это высокоплотная коммутационная подложка для монтажа ИЭТ, которая обеспечивает миниатюризацию, эффективный теплоотвод и электрическую связь. В РЭА ПП является основой для соединения ИЭТ. ПП может оказаться наиболее уязвимой частью электронных устройств, что делает ее основным объектом с точки зрения дефектов. В качестве концепции обнаружения дефектов ПП можно разделить на две части: ПП без компонентов (ППБК) и ПП с компонентами (ППСК). ППБК представляет собой ПП из изолированного материала с проводящими дорожками, отверстиями, переходными отверстиями и контактными площадками для пайки, в то время как ППСК относится к этапу монтажа ИЭТ, где они крепятся к ПП (например, резисторы, конденсаторы, полупроводниковые изделия и т.д.).
На начальных этапах производства ПП контроль качества осуществлялся специалистами, применяющими электрические тесты и визуальный осмотр. Однако такой подход быстро устарел из-за увеличения темпов производства, повышения точности и уменьшения размеров компонентов, а также стрессовых условий труда и износа оборудования. С тех пор были разработаны методы контроля качества ПП, к которым относятся автоматическая оптическая инспекция, рентгеновская визуализация, ламинография, ультразвуковая визуализация и тепловизионная съемка. Хотя все эти методы обеспечивали постоянно растущее качество контроля, большинство из них быстро стало ограничиваться такими факторами, как дороговизна или длительность процесса, а АОИ остается наиболее эффективным методом, поскольку позволяет обнаруживать множество дефектов быстрее и полностью неразрушимым способом. Тем не менее, даже несмотря на повсеместное предпочтение АОИ в системах контроля качества ПП, этот метод по-прежнему дорог и предоставляется настолько ограниченным количеством разработчиков, что производители ПП среднего уровня доходов все еще не могут отказаться от визуального осмотра ПП специалистами.
В последнее время большая часть передовых разработок использует новые достижения в области искусственного интеллекта для приложений компьютерного зрения (КЗ) с целью повышения производительности АОИ. Благодаря этому последние годы научно-исследовательские работы АО «ЦКБ «Дейтон» были направлены на разработку более доступных систем АОИ для контроля ПП.
С появлением машинного обучения (МО), в большей степени ориентированного на глубокое обучение, системы контроля на основе КЗ стали высококачественной доступной технологией. Однако они дороги с точки зрения сбора данных. Системы ГО зависят от наборов данных, состоящих из тысяч изображений, для подготовки АОИ к надежному и практическому применению, что не всегда экономически целесообразно. Кроме того, у них возникает критическая проблема, когда модель ИИ деградирует при естественных изменениях в области данных (отсутствует дрейф концепции). Это делает необходимым наличие специалистов – контролеров, даже если у них ограниченная скорость и точность контроля. Тем не менее применение недавно появившихся подходов ИИ дало многообещающие результаты для высокоскоростных приложений с удовлетворительной эффективностью.
В статье представлены результаты исследования наиболее актуальных методов контроля качества ПП, освещаются значительные технологические изменения, указываются наиболее важные стратегические тенденции и проблемы нашего времени. Кроме того, данная работа направлена на лучшее понимание новейших технологий ИИ для контроля ПП, демонстрируя их полезность и существующие ограничения.
Результаты исследования на начальном этапе работ
Стандарты с описанием дефектов ПП [1] включают требования к набору классов дефектов, характерных практически для ПП любого типа. Для ППБК и ППСК существуют общие классы дефектов, которые полностью выводят из строя ПП: нетравленая медь, обрыв цепи, короткое замыкание, отсутствие отверстия и смещение отверстия, а также отсутствующие, сгоревшие или перевернутые компоненты, обрыв пайки в ППСК. Даже если некоторые дефекты не полностью выводят из строя ПП, они все же могут вызывать электронные помехи во время работы ПП и привести к преждевременному выходу из строя из-за более быстрой деградации: перетравливание или недотравливание меди, трещины, частичный обрыв, начинающееся короткое замыкание, загрязнение и пузырьки воздуха, а также смещение компонентов, холодная пайка, частичное сгорание компонентов и преддефектные компоненты в ППСК.
Решить проблемы, связанные с методами контроля ПП, можно с помощью традиционных подходов, использующих компьютеры, множество дополнительных устройств или только знания специалистов. С другой стороны, сочетание всех этих методов с подходами на основе ИИ, оснащенными обучающими наборами данных, может повысить потенциал для создания более быстрых и точных систем контроля.
Первый наиболее эффективный метод обнаружения дефектов покрытий ПП был исследован с использованием [2] на основе сегментации и извлечения морфологии с сопоставлением шаблонов. Для этого необходимо, чтобы тестовые и шаблонные образцы были тщательно зафиксированы относительно друг друга, то есть оба изображения должны иметь одинаковую относительную позиционную ориентацию. Затем с помощью вычислительных инструментов каждое изображение сегментируется на четыре морфологические группы: квадратный сегмент, сегмент с отверстием, сегмент с широкой проводящей дорожкой и сегмент с узкой проводящей дорожкой. Полученные изображения бинаризуются в черно-белое изображение, так что каждый соответствующий шаблонный и тестовый сегмент может быть сопоставлен в логической операции XOR («исключающее ИЛИ», – логическая операция, которая возвращает «истину» (1), если входные аргументы разные, и «ложь» (0), если они одинаковые; она выдает 1 только в том случае, если только один из входов равен 1, но не оба сразу), где разница между парами представляет собой результат, который может быть расценен как дефект (рис. 1).
Указанная методика позволяла идентифицировать до 50% дефектов из описанных. Это недостаточный показатель достоверности обнаружения, и были случаи, когда сегментации и бинаризация создавали нежелательный шум, увеличивая риски пропуска дефектов или обнаружение ложных.
Таким образом, следуя подходу сопоставления шаблонов [3], в методе сравнения изображений с помощью логической операции XOR была исключена сегментация изображений по морфологическим областям и проведен геометрический статистический анализ результирующих операций XOR. Который показал повторяющиеся закономерности возможных ошибок в покрытиях ПП, что служит важным признаком для последующих детерминированных алгоритмов классификации изображений. При этом был сделан вывод, что метод операции XOR ограничивается точностью регистрации изображений для получения значимых результатов.
Далее исследовался подход по улучшению изображения ПП в качестве метода предварительной обработки дефектов при контроле. Использовался высококонтрастный профиль изображения, чтобы получить двойную сегментную операцию для повышения резкости изображения и фильтрации шума. Двойная сигмоидная операция состоит из операции производной сигмоиды изображений (гладкая монотонная возрастающая нелинейная функция, имеющая форму буквы S, которая часто применяется для сглаживания изображений) в оттенках серого для уменьшения эффекта сглаживания краев, характерного для обычных фотографий, и постинтегративной операции для восстановления исходного изображения. Метод имеет преимущество перед стандартными алгоритмами фильтрации шума, которые обычно добавляют нежелательную сглаживаемость краев, и может одновременно фильтровать шум и повышать резкость краев изображения. На рис. 2 представлен один из примеров результатов высококонтрастного профиля изображения.
Рис. 2. Результат высококонтрастного профиля изображения: а) до обработки; б) после
В целях дальнейшего улучшения подходов сопоставления шаблонов XOR был исследован алгоритм конвейера с несколькими этапами обработки изображений, включая операцию XOR, и заключительным этапом, разделенным на несколько алгоритмов для основных типов дефектов, указанных в [1]. Был применен алгоритм особых точек регистрации, состоящий из комбинации геометрических преобразований, которые могут точно сопоставить ориентацию тестового изображения с изображением–шаблоном. Среднее время обработки составило 18 с для изображений с разрешением 1920×1080, что было промышленным ограничением в зависимости от скорости производства. Однако это быстрее, чем проверка специалистом с помощью визуальных средств.
К сокращению времени проверки привело использование алгоритма FAST (Features from accelerated segment test) [4] для извлечения признаков изображения и MLESAC (Maximum Likelihood Estimation Sample Consensus) для алгоритма регистрации изображений, применяемого к парам изображений в оттенках серого шаблона и тестового изображения. Кроме того, в этом методе применялась сегментация изображения для выделения того, что считается тремя основными элементами ПП: проводники, контактные площадки и отверстия. Сегментация выполнялась путем пороговой обработки нормализованной гистограммы из бинаризованного изображения, из которой извлекаются пороговые значения бинаризации для сегментации фона, проводников и контактных площадок, в то время как отверстия могут быть сегментированы отдельно от последних. После сегментации пара изображений шаблон–тест вычитается, как в предыдущих исследованиях, создавая пару положительных и отрицательных результатов изображений. В зависимости от типа дефекта, каждое полученное изображение служит входными данными для алгоритмов обнаружения и классификации. Алгоритм обработки изображений, основанный на геометрическом анализе, для каждого из определенных [1] типов дефектов ПП показывает более высокую точность обнаружения. При этом время обработки изображения с указанным выше размером составляет до 3 с, что позволяет осуществлять АОИ в реальном времени.
Был исследован метод дискретного вейвлет-шумоподавления для улучшения качества изображения с сопоставлением шаблонов. Основное отличие от предыдущих методов заключается в использовании преобразования Хафа (обнаружение геометрических примитивов на бинарных изображениях). На основе набора данных из 50 изображений точность обнаружения составила 94%. Однако скорость обработки не была достигнута для применения метода для производства с быстро растущими темпами.
Применение технологии искусственного интеллекта
Путем сопоставления шаблонов была извлечена разница между парой изображений, а результаты были обработаны для извлечения дискриминативных признаков (отличия фактических изображений от сгенерированных образцов) для классификации основных дефектов ПП [1]. Используемый алгоритм МО – это метод ближайших K соседей (K Nearest Neighbours, KNN), или непараметрическая модель кластеризации набора данных признаков: извлекаются расстояния между признаками всех образцов в наборе данных и классифицируются в предварительно определенный K-кластер. Например, в системе с 14 классами дефектов алгоритм KNN построен с 15 классами, где один класс представляет собой «отсутствие дефекта». При этом средняя точность достигла 70%, что значительно ниже, как показано в описанных ранее методах.
С помощью алгоритма классификации с контролируемым МО была применена комбинация детерминированных методов обработки изображений и метод опорных векторов (Support Vector Machines, SVM). Предварительная обработка изображений начата с бинаризации, а затем использовалось шумоподавление с помощью медианного и среднего фильтров. Далее выполнено извлечение признаков, обеспеченных дескрипторами изображения (Local Binary Patterns, LBP) и HOG (Histogram of Oriented Gradients), которые отвечают за снижение размерности и фильтрацию информации. Оба полученных признака объединяются с помощью байесовского слияния и этапа обучения SVM. Набор данных, содержащий 200 обучающих и 100 тестовых изображений, включает положительные и отрицательные пары, обеспечил точность обнаружения дефектов 90%.
Особые дефекты ПП, образующиеся из малого количества пикселей изображения, имеют значительно малый размер по сравнению со всеми изображениями высокого разрешения и представляют собой проблему для традиционных архитектур сверточных нейронных сетей (Convolutional neural Network, CNN) [5], где крошечные фрагменты изображения имеют тенденцию исчезать в более глубоких слоях CNN. Для решения этой проблемы использовался метод пирамидальной конкатенации, который внедряет информацию из предыдущих слоев CNN в более глубокие слои, что сохраняет информацию небольшого размера. Исследование показало точность обнаружения 97%.
Для дальнейшего хода исследований использовалась сеть CNN VGG16, обеспечивающая самообучающийся подход, чтобы справиться с отсутствием репрезентативного количества дефектных образцов. В исследовании применялась обычная техника вычитания при сопоставлении шаблонов. Однако вместо детерминированного извлечения признаков пар изображений использовалась базовая сеть CNN VGG16-lite для извлечения признаков самообучающимся способом. Таким образом, модель обучается лучшему представлению карты данных. После извлечения признаков они вычитаются. Полученный признак проходит через другую специализированную сеть глубокого обучения, которая обнаруживает и классифицирует дефекты ПП, разделенных на три выхода в соответствии с размером ограничивающей рамки. На основе 2000 обучающих и 1000 тестовых образцов точность классификации составила 98%.
В следующих исследованиях была использована современная модель глубокого обучения YOLOv11 для обнаружения и классификации объектов в рамках контролируемого подхода. Описывались наборы данных, состоящие из 23 000 фрагментов ПП, для лучшего представления мельчайших дефектов по отношению ко всей ПП, разделенных на несколько частей для обучения и одну для тестирования, а также 10-кратной перекрестной проверки. Модель YOLOv11 обучалась обнаруживать области дефектов внутри прямоугольной ограничивающей рамки с оценкой достоверности класса. В этом исследовании модель не обучалась различать несколько классов дефектов – все они рассматривались как один класс дефектов. Этот вариант повысил эффективность обнаружения модели за счет того, что она не определяет класс дефекта, что может быть задачей апостериорного анализа. Средний показатель точности 98% с частотой ложноположительных результатов оказался равным 0,23%.
Для повышения эффективности модели YOLOv11 была проведена модификация ее архитектуры с точки зрения данных и способности классифицировать каждый необходимый класс дефектов. Использовался набор данных, состоящий из 1500 изображений, и применен метод синтеза данных [6] для обеспечения более высокой их репрезентативности в условиях небольшого набора. Средняя точность составила 98,3%, при частоте ложноположительных результатов менее 5%.
Выводы
Несмотря на активное развитие АОИ, основным методом инспекции ПП остается традиционный визуальный подход, основанный на труде инспектора с помощью увеличительных инструментов. Визуальный осмотр не влечет за собой подготовительных расходов и не требует приобретения специализированного оборудования. Однако эти преимущества достигаются за счет субъективности процесса инспекции, увеличения времени проверки и повышения долгосрочных затрат на рабочую силу. Кроме того, ручной визуальный осмотр сопряжен с риском повреждения ПП из-за необходимости физического обращения с ними. В обосновании таких доказательств – значительная роль технологического менеджмента [7]. Эффективность применения АОИ значительно повышается при взаимодействии с TQM (Total Quality Management – всеобщее управление качеством) и MES (Manufacturing Execution System – система управления производственными процессами) предприятия [8].
Проверка ПП более предпочтительна методом АОИ. При правильной настройке он позволяет выполнять автоматизированную проверку без физического контакта, что значительно повышает вероятность обнаружения дефектов и отсутствие риска повреждения ПП.
Ограничением массового промышленного внедрения АОИ является стоимость. При этом АОИ может включать в себя несколько разных конфигураций. Тем не менее его основная структура состоит из обработки, начиная с места захвата изображения, за которой следует ряд параметризованных алгоритмов обработки изображений, обычно с использованием эталонного шаблона для вычитания изображения после этапов извлечения признаков. На рис. 3 показана классическая схема применения АОИ.
После детального ввода установочных параметров системы АОИ могут автоматически извлекать микроскопические (от 6 мкм) элементы изображения из шаблона и изображения инспектируемых ПП, что дает высокую точность. Кроме того, АОИ позволяет обнаруживать дефекты ПП на уровне около 99%. Однако применение АОИ обычно ограничено большой параметризованной настройкой для ПП каждого конкретного типа, что может ограничивать общее количество классов дефектов, подлежащих проверке. Кроме того, время проверки остается актуальной проблемой, радикально варьируясь в зависимости от сложности обработки изображений, иногда достигая более 10 с для проверки одной ПП формата А4. Классификация при этом должна четко определять обнаруженные дефекты [9].
Современные тенденции развития направлены на улучшение ограничений АОИ путем внедрения стратегий ИИ на нескольких этапах обработки с уменьшением времени инспекции и самоадаптирующейся настройкой параметров, что может значительно снизить затраты на их применение. В наших работах по поиску дефектов в ИЭТ [10–12] приведены высокоэффективные методы на основе многоракурсной структуры, гомографии и виртуальной реальности. Их применение при инспекции ПП на предприятиях позволяет уменьшить время инспекции, количество бракованных ПП, повысить класс их точности, производительность, прибыльность и репутацию предприятия, перейти к производству ПП высокого класса точности.