Частотный взгляд на нейросети: гармонический анализ, F -принцип и динамика обучения

Курсовая работа (1–2 курс бакалавриата, ПМПИ)
СПбГУ, 2026

Краткая мотивация

Современные результаты показывают, что при обучении нейросетей наблюдается частотный принцип (Frequency Principle, F-принцип; также спектральный уклон): модели вначале осваивают низкие частоты целевой функции, а высокочастотные компоненты подхватывают существенно медленнее. Гармонический / Фурье-анализ даёт удобный язык для описания этого явления и связи с аппроксимационными возможностями однослойных и многослойных сетей (ридж-функции, пространства Баррона), а также с практиками улучшения обучения (например, Fourier-признаки). Цель работы — аккуратно сформулировать и проверить на простых примерах частотную картину обучения, сопоставив теорию и эксперименты.

Задание

1. Обзор литературы (конспект 6–10 стр.).
   • Дать определения: F-принцип/спектральный уклон, ридж-функции, пространство Баррона, Fourier-признаки, нейронное тангенциальное ядро (NTK).
   • Кратко изложить основные утверждения работ [1, 2, 6, 5, 3, 4, 7]: что именно утверждается, в каких предположениях, какие следствия для практики.
   • Сформулировать 2–3 проверяемых гипотезы в духе: (i) скорость снижения ошибки по низким частотам выше; (ii) Fourier-признаки ускоряют освоение высоких частот; (iii) спектральная картина чувствительна к шагу обучения.
3. Теоретический минимум (2–4 стр.).
   • Для одномерной задачи аппроксимации $f:[0,1]\to \mathbb {R}$ представить ошибку в MSE через Фурье-коэффициенты и обсудить, как по модам меняется ошибка при градиентном обучении линейной модели и широкой однослойной сети (на уровне идей/схем).
   • Пояснить, что такое пространство Баррона и почему результаты типа [5] связывают аппроксимируемость с поведением Фурье-образа.
   • Кратко связать частотную картину с перспективой NTK [7] (спектр ядра, быстрая/медленная сходимость по собственным модам).
5. Эксперименты в Python (реплицируемость обязательна).
   • Синтетика 1D/2D. Сгенерировать целевые функции $f$ с контролируемым спектром (суммы синусов/косинусов; сглаженные ступени). Обучить MLP (ReLU/tanh) на MSE.
   • Спектральная телеметрия. На каждой эпохе оценивать фурье-коэффициенты ${\widehat {f}}$ и ${\widehat {f_{\theta }}}$ и строить кривые ошибки по модам: $E_{k}(t)=|{\widehat {f}}(k)-{\widehat {f_{\theta }}}(k)|^{2}$.
   • Fourier-признаки. Повторить с входным отображением $x\mapsto [\cos(2\pi Bx),\,\sin(2\pi Bx)]$ (случайная матрица $B$) [3, 4]; сравнить скорость освоения высоких частот.
   • Гиперпараметры. Исследовать влияние шага обучения и ширины сети на спектральные кривые; построить теплокарты «частота × эпоха».
   • Репозитории и отчётность. Код в публичном репозитории с requirements.txt, фиксированным зерном, скриптом run_all.py и README.
7. Интерпретация через динамические системы (1–2 стр.).
   • Рассмотреть градиентный спуск как дискретное отображение параметров: $\theta _{t+1}=\theta _{t}-\eta \nabla L(\theta _{t})$; обсудить, как изменение шага $\eta$ влияет на «скорость» движения по отдельным частотным модам ошибки.
   • Сопоставить наблюдения с частотной перспективой: какие моды «притягиваются» быстрее; как Fourier-признаки меняют картину.
9. Итоги и ограничения. Свести вместе теорию и эксперименты: что подтвердилось, где расхождения, что можно улучшить (архитектуры, оптимизаторы, регуляризация).

Требования к оформлению

Отчёт обязательно набирается в LaTeX (желателен biblatex со стилем ГОСТ), объём 20–30 страниц без приложений; все рисунки с подписями и единым стилем. В приложение поместить листинги кода и дополнительные графики.

Рекомендуемая литература

1. Rahaman, N., Arpit, D., Baratin, A., et al. On the Spectral Bias of Neural Networks. ICML 2019, PMLR 97, 5301–5310. Доступ: proceedings.mlr.press/v97/rahaman19a.html.
2. Xu, Z.-Q. J., Zhang, Y., Luo, T. Overview Frequency Principle / Spectral Bias in Deep Learning. arXiv:2201.07395 (2022); опубликовано: Communications on Applied Mathematics and Computation, 2025. Доступ: arxiv.org/abs/2201.07395.
3. Tancik, M., Srinivasan, P. P., Mildenhall, B., et al. Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains. NeurIPS 2020. Доступ: papers.neurips.cc/.../55053683268957697aa39fba6f231c68-Abstract.html.
4. Rahimi, A., Recht, B. Random Features for Large-Scale Kernel Machines. NIPS 2007. Доступ: people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf.
5. Barron, A. R. Universal Approximation Bounds for Superpositions of a Sigmoidal Function. IEEE Trans. Inf. Theory 39(3), 930–945 (1993). DOI: doi.org/10.1109/18.256500.
6. Candès, E. J. Harmonic Analysis of Neural Networks. Applied and Computational Harmonic Analysis 6(2), 197–218 (1999). Доступ: candes.su.domains/.../Harm_Net.pdf.
7. Jacot, A., Gabriel, F., Hongler, C. Neural Tangent Kernel: Convergence and Generalization in Neural Networks. NeurIPS 2018. Доступ: arxiv.org/abs/1806.07572.

Ожидаемый результат

Итоговый архив содержит PDF-отчёт в LaTeX, исходники (.tex, .bib — при использовании biblatex), код экспериментов и инструкции по воспроизведению; в тексте — сопоставление теоретических тезисов со спектральными кривыми обучения, таблицы и графики.

Научный руководитель

ФИО: Мокаев Тимур Назирович [e-mail][Telegram]