Просмотр кода страницы Частотный взгляд на нейросети: гармонический анализ, F -принцип и динамика обучения

''Курсовая работа (1–2 курс бакалавриата, ПМПИ)''<br />
''СПбГУ, 2026''

= Краткая мотивация =

Современные результаты показывают, что при обучении нейросетей наблюдается ''частотный принцип'' (Frequency Principle, F-принцип; также ''спектральный уклон''): модели вначале осваивают низкие частоты целевой функции, а высокочастотные компоненты подхватывают существенно медленнее. Гармонический / Фурье-анализ даёт удобный язык для описания этого явления и связи с аппроксимационными возможностями однослойных и многослойных сетей (ридж-функции, пространства Баррона), а также с практиками улучшения обучения (например, ''Fourier-признаки''). Цель работы — аккуратно сформулировать и проверить на простых примерах частотную картину обучения, сопоставив теорию и эксперименты.

= Задание =

# '''Обзор литературы (конспект 6–10 стр.).'''
#* Дать определения: ''F-принцип/спектральный уклон'', ''ридж-функции'', ''пространство Баррона'', ''Fourier-признаки'', ''нейронное тангенциальное ядро (NTK)''.
#* Кратко изложить основные утверждения работ [1, 2, 6, 5, 3, 4, 7]: что именно утверждается, в каких предположениях, какие следствия для практики.
#* Сформулировать 2–3 проверяемых гипотезы в духе: (i) скорость снижения ошибки по низким частотам выше; (ii) Fourier-признаки ускоряют освоение высоких частот; (iii) спектральная картина чувствительна к шагу обучения.
#
# '''Теоретический минимум (2–4 стр.).'''
#* Для одномерной задачи аппроксимации <math>f:[0,1]\to\mathbb{R}</math> представить ошибку в MSE через Фурье-коэффициенты и обсудить, как по модам меняется ошибка при градиентном обучении линейной модели и широкой однослойной сети (на уровне идей/схем).
#* Пояснить, что такое пространство Баррона и почему результаты типа [5] связывают аппроксимируемость с поведением Фурье-образа.
#* Кратко связать частотную картину с перспективой NTK [7] (спектр ядра, быстрая/медленная сходимость по собственным модам).
#
# '''Эксперименты в Python (реплицируемость обязательна).'''
#* ''Синтетика 1D/2D.'' Сгенерировать целевые функции <math>f</math> с контролируемым спектром (суммы синусов/косинусов; сглаженные ступени). Обучить MLP (ReLU/tanh) на MSE.
#* ''Спектральная телеметрия.'' На каждой эпохе оценивать фурье-коэффициенты <math>\widehat{f}</math> и <math>\widehat{f_\theta}</math> и строить кривые ошибки по модам: <math>E_k(t)=|\widehat{f}(k)-\widehat{f_\theta}(k)|^2</math>.
#* ''Fourier-признаки.'' Повторить с входным отображением <math>x\mapsto[\cos(2\pi Bx),\,\sin(2\pi Bx)]</math> (случайная матрица <math>B</math>) [3, 4]; сравнить скорость освоения высоких частот.
#* ''Гиперпараметры.'' Исследовать влияние шага обучения и ширины сети на спектральные кривые; построить теплокарты «частота × эпоха».
#* ''Репозитории и отчётность.'' Код в публичном репозитории с <code>requirements.txt</code>, фиксированным зерном, скриптом <code>run_all.py</code> и <code>README</code>.
#
# '''Интерпретация через динамические системы (1–2 стр.).'''
#* Рассмотреть градиентный спуск как дискретное отображение параметров: <math>\theta_{t+1}=\theta_t-\eta\nabla L(\theta_t)</math>; обсудить, как изменение шага <math>\eta</math> влияет на «скорость» движения по отдельным частотным модам ошибки.
#* Сопоставить наблюдения с частотной перспективой: какие моды «притягиваются» быстрее; как Fourier-признаки меняют картину.
#
# '''Итоги и ограничения.''' Свести вместе теорию и эксперименты: что подтвердилось, где расхождения, что можно улучшить (архитектуры, оптимизаторы, регуляризация).

= Требования к оформлению =

Отчёт '''обязательно''' набирается в LaTeX (желателен <code>biblatex</code> со стилем ГОСТ), объём 20–30 страниц без приложений; все рисунки с подписями и единым стилем. В приложение поместить листинги кода и дополнительные графики.

= Рекомендуемая литература =

# Rahaman, N., Arpit, D., Baratin, A., ''et al.'' On the Spectral Bias of Neural Networks. ''ICML 2019, PMLR 97'', 5301–5310. Доступ: [https://proceedings.mlr.press/v97/rahaman19a.html proceedings.mlr.press/v97/rahaman19a.html].
# Xu, Z.-Q. J., Zhang, Y., Luo, T. Overview Frequency Principle / Spectral Bias in Deep Learning. ''arXiv:2201.07395'' (2022); опубликовано: ''Communications on Applied Mathematics and Computation'', 2025. Доступ: [https://arxiv.org/abs/2201.07395 arxiv.org/abs/2201.07395].
# Tancik, M., Srinivasan, P. P., Mildenhall, B., ''et al.'' Fourier Features Let Networks Learn High Frequency Functions in Low Dimensional Domains. ''NeurIPS 2020''. Доступ: [https://papers.neurips.cc/paper/2020/hash/55053683268957697aa39fba6f231c68-Abstract.html papers.neurips.cc/.../55053683268957697aa39fba6f231c68-Abstract.html].
# Rahimi, A., Recht, B. Random Features for Large-Scale Kernel Machines. ''NIPS 2007''. Доступ: [https://people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf people.eecs.berkeley.edu/~brecht/papers/07.rah.rec.nips.pdf].
# Barron, A. R. Universal Approximation Bounds for Superpositions of a Sigmoidal Function. ''IEEE Trans. Inf. Theory'' 39(3), 930–945 (1993). DOI: [https://doi.org/10.1109/18.256500 doi.org/10.1109/18.256500].
# Candès, E. J. Harmonic Analysis of Neural Networks. ''Applied and Computational Harmonic Analysis'' 6(2), 197–218 (1999). Доступ: [https://candes.su.domains/publications/downloads/Harm_Net.pdf candes.su.domains/.../Harm_Net.pdf].
# Jacot, A., Gabriel, F., Hongler, C. Neural Tangent Kernel: Convergence and Generalization in Neural Networks. ''NeurIPS 2018''. Доступ: [https://arxiv.org/abs/1806.07572 arxiv.org/abs/1806.07572].

= Ожидаемый результат =

Итоговый архив содержит PDF-отчёт в LaTeX, исходники (<code>.tex</code>, <code>.bib</code> — при использовании biblatex), код экспериментов и инструкции по воспроизведению; в тексте — сопоставление теоретических тезисов со спектральными кривыми обучения, таблицы и графики.

= <span class="mw-headline" id="Scientific advisor">Научный руководитель</span> =

ФИО: Мокаев Тимур Назирович [[mailto:t.mokaev@spbu.ru e-mail]][[https://t.me/tim_mokaev Telegram]]