Оптимизация легковесного федеративного обучения для периферийных вычислений

Аннотация

Периферийные устройства Интернета вещей имеют ограниченные вычислительные ресурсы, поэтому стандартное федеративное обучение характеризуется высокой коммуникационной нагрузкой и большой задержкой обучения. Для решения данной проблемы в работе предложен модифицированный легковесный алгоритм FedLite с двухуровневым сокращением параметров и адаптивным выбором клиентов. Эксперименты на датасетах MNIST и CIFAR-10 показали, что по сравнению с классическими FedAvg и FedProx предложенный алгоритм снижает объем передаваемых параметров на 47,2%, сокращает общую задержку на 31,5% при потере точности модели менее 1%. Результаты исследования подходят для интеллектуальных систем умных городов и промышленного Интернета вещей на территории России.