Minimax approximation in Bayesian neural networks

Abstract

У статті досліджується застосування мінімаксної стратегії до байєсівських нейронних мереж (BNN) як ефективного підходу до підвищення стійкості моделей машинного навчання в умовах невизначеності, шуму та адверсарних впливів. Актуальність дослідження зумовлена обмеженнями класичних нейронних мереж і навіть стандартних BNN, які можуть демонструвати нестабільність навчання, переоцінювати впевненість у передбаченнях та втрачати узагальнювальну здатність поза межами тренувальних даних. Запропонований підхід поєднує байєсівське моделювання невизначеності з мінімаксною оптимізацією, що дозволяє враховувати найгірші сценарії збурення даних у процесі навчання. У роботі наведено теоретичне обґрунтування методу, де задача навчання формалізується, як двоосібна гра між моделлю та адверсарним середовищем, яке генерує несприятливі збурення вхідних даних. Такий підхід дозволяє мінімізувати максимальні втрати та підвищити робастність моделі. Реалізація мінімаксної BNN здійснюється через інтеграцію адверсарного навчання у варіаційний байєсівський підхід, що дає змогу одночасно враховувати як епістемічну, так і алеаторну невизначеність. Експериментальна частина дослідження базується на задачі апроксимації функцій різного характеру, зокрема періодичних та експоненційних залежностей, за наявності гаусівського шуму. Проведено порівняльний аналіз класичної BNN та мінімаксної BNN за такими критеріями, як стабільність навчання, динаміка функції втрат, точність апроксимації та дисперсія передбачень. Результати показують, що мінімаксна модель демонструє більш стабільну збіжність, зменшення коливань втрат, кращу поведінку на краях області визначення та підвищену узагальнювальну здатність. Продемостровано, що використання мінімаксної стратегії дозволяє ефективно пригнічувати вплив шуму, зменшувати перенавчання та забезпечувати більш надійні передбачення в умовах обмежених або зашумлених даних. Запропонований підхід може бути застосований у задачах, де критичною є стійкість моделі до невизначеності, зокрема в аналізі ризиків, обробці сигналів та інтелектуальних системах прийняття рішень.