Учебный план и рабочая программа
дополнительного профессионального образования по образовательной программе «Анализ и аналитика данных»
в объёме 520 академических часов
Учебный план показать
| № | Дисциплины (модули) | Часы |
|---|---|---|
| 1 | Инфраструктура ИТ-систем и сети | 42 |
| 2 | Информационные процессы и технологии сбора данных | 42 |
| 3 | Технология программирования на Python | 42 |
| 4 | Эффективная обработка данных в Excel | 42 |
| 5 | Системы управления базами данных и язык SQL | 42 |
| 6 | Профессиональная аналитика в библиотеках Pandas и Polars | 42 |
| 7 | Продвинутый SQL и аналитические функции в базах данных | 42 |
| 8 | Хранилища данных (DWH) и ETL-процессы | 42 |
| 9 | Технологии Big Data и распределенные системы обработки | 42 |
| 10 | Статистический аппарат и математические методы анализа | 42 |
| 11 | Визуализация данных и построение BI-отчетности | 50 |
| 12 | Методы машинного обучения и использование ИИ-инструментов | 8 |
| 13 | Итоговая аттестация | 8 |
Рабочая программа показать
1. Инфраструктура ИТ-систем и сети
Архитектура ЭВМ и систем: серверное оборудование и принципы хранения данных
Компьютерные сети: стек TCP/IP, DNS и основы маршрутизации для аналитика
Протоколы обмена: как работают HTTP/HTTPS и REST API при передаче данных
Безопасность ИС: основы шифрования, VPN и безопасный доступ к базам данных
Виртуализация: введение в облачные вычисления и контейнеры (Docker)
Правовая база: основы ФЗ-152 «О персональных данных» в ИТ-системах
Вопрос 6
2. Информационные процессы и технологии сбора данных
Жизненный цикл данных: сбор, обработка, хранение и утилизация информации
Источники цифрового следа: классификация данных из логов, СУБД и внешних сервисов
Методы сбора: парсинг, стриминг и пакетная выгрузка данных
Инвентаризация ИС: аудит существующих информационных систем организации
Качество данных (DQ): критерии чистоты и пригодности данных для анализа
Документирование ИС: ведение паспортов данных и схем потоков (Data Flow)
Вопрос 6
3. Технология программирования на Python
Основы синтаксиса: переменные, стандартные типы данных и операторы
Алгоритмизация: логические условия и циклы (for, while)
Структуры данных: списки, словари, кортежи и работа с ними
Функции и модули: написание чистого и переиспользуемого кода
Работа с файловой системой: чтение и запись (txt, csv, json, excel)
Основы Git: контроль версий, ветвление и совместная работа над кодом
Вопрос 6
4. Эффективная обработка данных в Excel
Организация данных: «умные» таблицы, проверка данных и выпадающие списки
Функциональный анализ: сложные связки ВПР, ИНДЕКС, ПОИСКПОЗ и логика
Сводные таблицы: создание агрегированных отчетов из сырых выгрузок
Математика в Excel: финансовые и статистические функции для экспресс-анализа
Визуализация: построение понятных графиков и настройка дашбордов
Power Query: основы ETL (извлечения и преобразования) внутри Excel
Вопрос 6
5. Системы управления базами данных и язык SQL
Реляционная модель: таблицы, ключи (Primary/Foreign Key) и связи
Основы SELECT: фильтрация (WHERE), сортировка (ORDER BY) и лимиты
Агрегация: GROUP BY и расчет показателей (SUM, AVG, COUNT, MIN/MAX)
Объединение таблиц: логика JOIN (Inner, Left, Cross) и операции UNION
Проектирование БД: нормализация данных и создание простых схем (ER-диаграммы)
СУБД в ИС: обзор PostgreSQL, MySQL и SQLite: сходства и различия
Вопрос 6
6. Профессиональная аналитика в библиотеках Pandas и Polars
Жизненный цикл данных: сбор, обработка, хранение и утилизация информации
Источники цифрового следа: классификация данных из логов, СУБД и внешних сервисов
Методы сбора: парсинг, стриминг и пакетная выгрузка данных
Инвентаризация ИС: аудит существующих информационных систем организации
Качество данных (DQ): критерии чистоты и пригодности данных для анализа
Документирование ИС: ведение паспортов данных и схем потоков (Data Flow)
Вопрос 6
7. Продвинутый SQL и аналитические функции в базах данных
Оконные функции: ранжирование, расчет долей и скользящих средних
Сложные подзапросы: использование CTE (WITH) для читаемости кода
Текстовый и временной анализ: работа со строками и датами в SQL
Оптимизация производительности: индексы, партиционирование и планы запросов
Процедурный SQL: основы написания триггеров и функций
Безопасность БД: управление ролями, правами доступа и аудит действий
Вопрос 6
8. Хранилища данных (DWH) и ETL-процессы
Архитектура DWH: слои данных (Staging, Core, Marts) и хранилища-звезды
ETL-технологии: проектирование конвейеров загрузки данных (Extract-Transform-Load)
Инструменты оркестрации: основы автоматизации процессов в Apache Airflow
ClickHouse: работа с быстрой колоночной СУБД для аналитики
Greenplum: основы MPP-архитектуры для массивно-параллельной обработки
Интеграция систем: автоматизация сбора данных через API и вебхуки
Вопрос 6
9. Технологии Big Data и распределенные системы обработки
Концепция Big Data: основные характеристики (V-модель) и задачи.
Экосистема Hadoop: распределенная файловая система HDFS.
Apache Spark: высокоскоростная обработка данных в оперативной памяти.
Spark SQL: использование SQL-запросов к неструктурированным данным.
Data Lake: архитектура озер данных и форматы хранения (Parquet, Avro).
NoSQL-решения: краткий обзор MongoDB и Cassandra для аналитика.
Вопрос 6
10. Статистический аппарат и математические методы анализа
Описательная статистика: расчет мер центральной тенденции и вариации.
Распределения и вероятности: нормальное распределение и его роль.
Проверка гипотез: статистическая значимость, p-value и t-тесты.
Корреляционный анализ: поиск статистических связей между показателями ИС.
Регрессионный анализ: основы построения предсказательных моделей.
Анализ аномалий: методы детекции ошибок и выбросов в данных.
Вопрос 6
11. Визуализация данных и построение BI-отчетности
Графический анализ: использование Matplotlib и Seaborn в Python.
Дашборды: принципы проектирования интерфейсов в Apache Superset.
Storytelling: методология донесения результатов анализа до руководства.
Интерактивная визуализация: создание веб-отчетов (Streamlit/Plotly).
Дизайн-код аналитика: выбор правильных типов визуализации под задачи.
Self-service BI: организация самостоятельного доступа бизнеса к данным.
Вопрос 6
12. Методы машинного обучения и использование ИИ-инструментов
Машинное обучение: классификация, регрессия и обучение без учителя.
Библиотека Scikit-Learn: создание и тестирование первой ML-модели.
AutoML: автоматизация выбора алгоритмов и настройки параметров.
ML на стороне СУБД: обзор встроенных функций аналитики в ClickHouse/Postgres.
LLM для аналитика: использование ИИ для генерации кода и очистки данных.
Этика ИИ: ответственное использование алгоритмов и интерпретация результатов.
Вопрос 6
в объёме 1040 академических часов
Учебный план показать
| № | Дисциплины (модули) | Часы |
|---|---|---|
| 1 | Инфраструктура ИТ-систем и сети | 52 |
| 2 | Информационные процессы и технологии сбора данных | 52 |
| 3 | Технология программирования на Python | 52 |
| 4 | Эффективная обработка данных в Excel | 52 |
| 5 | Системы управления базами данных и язык SQL | 52 |
| 6 | Профессиональная аналитика в библиотеках Pandas и Polars | 52 |
| 7 | Продвинутый SQL и аналитические функции в базах данных | 52 |
| 8 | Хранилища данных (DWH) и ETL-процессы | 52 |
| 9 | Технологии Big Data и распределенные системы обработки | 52 |
| 10 | Статистический аппарат и математические методы анализа | 52 |
| 11 | Визуализация данных и построение BI-отчетности | 52 |
| 12 | Методы машинного обучения и использование ИИ-инструментов | 52 |
| 13 | Итоговая аттестация | 8 |
Рабочая программа показать
1. Инфраструктура ИТ-систем и сети
Архитектура ЭВМ и систем: серверное оборудование и принципы хранения данных
Компьютерные сети: стек TCP/IP, DNS и основы маршрутизации для аналитика
Протоколы обмена: как работают HTTP/HTTPS и REST API при передаче данных
Безопасность ИС: основы шифрования, VPN и безопасный доступ к базам данных
Виртуализация: введение в облачные вычисления и контейнеры (Docker)
Правовая база: основы ФЗ-152 «О персональных данных» в ИТ-системах
Вопрос 6
2. Информационные процессы и технологии сбора данных
Жизненный цикл данных: сбор, обработка, хранение и утилизация информации
Источники цифрового следа: классификация данных из логов, СУБД и внешних сервисов
Методы сбора: парсинг, стриминг и пакетная выгрузка данных
Инвентаризация ИС: аудит существующих информационных систем организации
Качество данных (DQ): критерии чистоты и пригодности данных для анализа
Документирование ИС: ведение паспортов данных и схем потоков (Data Flow)
Вопрос 6
3. Технология программирования на Python
Основы синтаксиса: переменные, стандартные типы данных и операторы
Алгоритмизация: логические условия и циклы (for, while)
Структуры данных: списки, словари, кортежи и работа с ними
Функции и модули: написание чистого и переиспользуемого кода
Работа с файловой системой: чтение и запись (txt, csv, json, excel)
Основы Git: контроль версий, ветвление и совместная работа над кодом
Вопрос 6
4. Эффективная обработка данных в Excel
Организация данных: «умные» таблицы, проверка данных и выпадающие списки
Функциональный анализ: сложные связки ВПР, ИНДЕКС, ПОИСКПОЗ и логика
Сводные таблицы: создание агрегированных отчетов из сырых выгрузок
Математика в Excel: финансовые и статистические функции для экспресс-анализа
Визуализация: построение понятных графиков и настройка дашбордов
Power Query: основы ETL (извлечения и преобразования) внутри Excel
Вопрос 6
5. Системы управления базами данных и язык SQL
Реляционная модель: таблицы, ключи (Primary/Foreign Key) и связи
Основы SELECT: фильтрация (WHERE), сортировка (ORDER BY) и лимиты
Агрегация: GROUP BY и расчет показателей (SUM, AVG, COUNT, MIN/MAX)
Объединение таблиц: логика JOIN (Inner, Left, Cross) и операции UNION
Проектирование БД: нормализация данных и создание простых схем (ER-диаграммы)
СУБД в ИС: обзор PostgreSQL, MySQL и SQLite: сходства и различия
Вопрос 6
6. Профессиональная аналитика в библиотеках Pandas и Polars
Жизненный цикл данных: сбор, обработка, хранение и утилизация информации
Источники цифрового следа: классификация данных из логов, СУБД и внешних сервисов
Методы сбора: парсинг, стриминг и пакетная выгрузка данных
Инвентаризация ИС: аудит существующих информационных систем организации
Качество данных (DQ): критерии чистоты и пригодности данных для анализа
Документирование ИС: ведение паспортов данных и схем потоков (Data Flow)
Вопрос 6
7. Продвинутый SQL и аналитические функции в базах данных
Оконные функции: ранжирование, расчет долей и скользящих средних
Сложные подзапросы: использование CTE (WITH) для читаемости кода
Текстовый и временной анализ: работа со строками и датами в SQL
Оптимизация производительности: индексы, партиционирование и планы запросов
Процедурный SQL: основы написания триггеров и функций
Безопасность БД: управление ролями, правами доступа и аудит действий
Вопрос 6
8. Хранилища данных (DWH) и ETL-процессы
Архитектура DWH: слои данных (Staging, Core, Marts) и хранилища-звезды
ETL-технологии: проектирование конвейеров загрузки данных (Extract-Transform-Load)
Инструменты оркестрации: основы автоматизации процессов в Apache Airflow
ClickHouse: работа с быстрой колоночной СУБД для аналитики
Greenplum: основы MPP-архитектуры для массивно-параллельной обработки
Интеграция систем: автоматизация сбора данных через API и вебхуки
Вопрос 6
9. Технологии Big Data и распределенные системы обработки
Концепция Big Data: основные характеристики (V-модель) и задачи.
Экосистема Hadoop: распределенная файловая система HDFS.
Apache Spark: высокоскоростная обработка данных в оперативной памяти.
Spark SQL: использование SQL-запросов к неструктурированным данным.
Data Lake: архитектура озер данных и форматы хранения (Parquet, Avro).
NoSQL-решения: краткий обзор MongoDB и Cassandra для аналитика.
Вопрос 6
10. Статистический аппарат и математические методы анализа
Описательная статистика: расчет мер центральной тенденции и вариации.
Распределения и вероятности: нормальное распределение и его роль.
Проверка гипотез: статистическая значимость, p-value и t-тесты.
Корреляционный анализ: поиск статистических связей между показателями ИС.
Регрессионный анализ: основы построения предсказательных моделей.
Анализ аномалий: методы детекции ошибок и выбросов в данных.
Вопрос 6
11. Визуализация данных и построение BI-отчетности
Графический анализ: использование Matplotlib и Seaborn в Python.
Дашборды: принципы проектирования интерфейсов в Apache Superset.
Storytelling: методология донесения результатов анализа до руководства.
Интерактивная визуализация: создание веб-отчетов (Streamlit/Plotly).
Дизайн-код аналитика: выбор правильных типов визуализации под задачи.
Self-service BI: организация самостоятельного доступа бизнеса к данным.
Вопрос 6
12. Методы машинного обучения и использование ИИ-инструментов
Машинное обучение: классификация, регрессия и обучение без учителя.
Библиотека Scikit-Learn: создание и тестирование первой ML-модели.
AutoML: автоматизация выбора алгоритмов и настройки параметров.
ML на стороне СУБД: обзор встроенных функций аналитики в ClickHouse/Postgres.
LLM для аналитика: использование ИИ для генерации кода и очистки данных.
Этика ИИ: ответственное использование алгоритмов и интерпретация результатов.
Вопрос 6
