2. Алгоритм t-SNE
3. Архитектура Автоэнкодера. Свойства и назначение
https://neurohive.io/ru/osnovy-data-science/avtojenkoder-tipy-arhitektur-i-primenenie/
4. Вариационный автоэнкодер. Вариационный вывод. Семейства распределений латентных переменных.
https://neurohive.io/ru/osnovy-data-science/variacionnyj-avtojenkoder-vae/
5. Функция потери Кульбака-Либлера.
6. TF-IDF
https://ru.wikipedia.org/wiki/TF-IDF
7. Latent Semantic Indexing (LSI)
https://ru.wikipedia.org/wiki/%D0%9B%D0%B0%D1%82%D0%B5%D0%BD%D1%82%D0%BD%D0%BE-%D1%81%D0%B5%D0%BC%D0%B0%D0%BD%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7
8. Supervised Semantic Indexing (SSI). Трюк для уменьшения размерности матрицы параметров модели.
9. Потеря маргинального ранжирования (Triplet margin loss)
Что то похожее: https://gombru.github.io/2019/04/03/ranking_loss/
10. Алгоритм Wsabie
11. Взвешенная попарная функция потери аппроксимированного ранга (Weighted Approximate-Rank Pairwise loss, WARP)
12. Word2Vec. Алгоритм обучения эмбеддингов слов CBoW и SkipGram
https://habr.com/ru/post/496186/
13. Сеть Элмана
14. Фундаментальные проблемы обучения рекуррентных сетей
http://proceedings.mlr.press/v28/pascanu13.pdf
15. Обратное распространение по времени
16. Задача языкового моделирования. Постановка задачи
17. Что такое перплексия
http://www.machinelearning.ru/wiki/images/0/0c/NizhibitskyLomonosovSlides14.pdf
https://ru.coursera.org/lecture/unsupervised-learning/vnutrienniie-kritierii-kachiestva-tiematichieskikh-modieliei-OGWkI
18. Что такое BLEU
https://docs.microsoft.com/ru-ru/azure/cognitive-services/translator/custom-translator/what-is-bleu-score
19. LSTM ячейка. Преимущества по сравнению с класичесскими РНН. Формула вычисления выходного значения. Что такое подглядывающие соединения (peephole connections).
https://ru.wikipedia.org/wiki/%D0%94%D0%BE%D0%BB%D0%B3%D0%B0%D1%8F_%D0%BA%D1%80%D0%B0%D1%82%D0%BA%D0%BE%D1%81%D1%80%D0%BE%D1%87%D0%BD%D0%B0%D1%8F_%D0%BF%D0%B0%D0%BC%D1%8F%D1%82%D1%8C
https://habr.com/ru/company/wunderfund/blog/331310/
20. GRU ячейка. Отличие от LSTM. Формула вычисления выходного значения.