Часть 4. Почему смещение происходит при корректировке оптимизма?

1. связанные с

В предыдущих частях серии мы демонстрировали положительные результаты смещения в корректируемой оптимизмом начальной загрузке, просто добавляя случайные функции к нашим меткам. Эта проблема связана с «утечкой информации» в алгоритме, что означает, что обучающие и тестовые наборы данных не разделяются при оценке оптимизма. В связи с этим оптимизм при некоторых условиях может быть очень недооценен. Давайте проанализируем код, понять его довольно просто, тогда мы сможем увидеть, откуда возникла проблема.

1. Подгоните модель M ко всем данным S и оцените прогнозирующую способность C. ## эта часть является нашей переоцененной оценкой производительности (может быть AUC, точность и т. Д.)
   
2. Итерация от b = 1… B: ## теперь мы делаем повторную выборку данных, чтобы оценить ошибку
   1. Возьмите повторную выборку из исходных данных, S *
   2. Подгоните загрузочную модель M * к S * и получите прогнозирующую способность, C_boot ##, это, несомненно, даст нам другую перегруженную модель, что хорошо
   3. Используйте загрузочную модель M *, чтобы получить прогнозирующую способность на S, C_orig ## мы используем те же данные (образцы), которые использовались для обучения модели для ее тестирования, поэтому неудивительно, что у нас есть значения с лучшей производительностью, чем ожидалось. Значения C_orig будут слишком высокими.
      
3. Оптимизм O рассчитывается как среднее значение (C_boot - C_orig)
4. Рассчитать оптимизм с поправкой производительности как СО.

Одним из способов исправить это было бы изменение шага 3 начальной загрузки вместо проверки исходных данных, чтобы проверить оставленные (невидимые) данные в начальной загрузке. Таким образом, данные об обучении и тестировании сохраняются полностью раздельно с точки зрения выборок, что устраняет наше смещение в сторону завышенной производительности модели на нулевых наборах данных с высокими характеристиками. Вероятно, в любом случае нет смысла делать это, когда у нас есть такие методы, как LOOCV и K-перекрестная валидация.

В качестве p (функции) >> N (образцы) мы получим все более и более хорошие возможности для достижения хорошей производительности модели, используя загруженные данные на исходных данных. Зачем? Поскольку исходные данные содержат те же примеры, что и при начальной загрузке, и по мере того, как мы получаем больше функций, больше шансов получить случайную корреляцию с нашей переменной отклика. Когда мы тестируем начальную загрузку на исходных данных (плюс больше выборок), мы сохраняем некоторые из этих случайных способностей предсказать реальные метки. Это типичная проблема переоснащения, когда у нас больше функций, а процедура неисправна.

Давайте еще раз экспериментально рассмотрим проблему, этот код можно напрямую скопировать и вставить в R для повторения анализа и графиков. У нас есть две реализации метода, первая для меня для glmnet (лассо-логистическая регрессия), вторая для glm (логистическая регрессия) с этого сайта ( http://cainarchaeology.weebly.com/r-function-for-optimism-adjusted-auc.html ). Не стесняйтесь пробовать разные алгоритмы машинного обучения и играть с параметрами.

библиотека (glmnet) библиотека (pROC) библиотека (каретка) библиотека (ggplot) библиотека (kimisc) ### ТЕСТ 1: оптимизация начальной загрузки с glmnet cc
Итак, вот результаты, так как количество только шумовых элементов на оси x увеличивает нашу «скорректированную» оценку AUC (на оси y), также увеличивается, когда мы начинаем получать достаточно, чтобы этот шум мог случайным образом предсказать метки. Таким образом, это показывает, что проблема начинается примерно с 40-50 функций, а затем ухудшается до примерно 75+. Это с помощью функции 'glmnet'.

Давайте посмотрим на метод с использованием glm, мы обнаружим ту же тенденцию, другую реализацию. ## TEST2 auc.adjust
Итак, у нас это есть, метод имеет проблему с ним и не должен использоваться с более чем 40 функциями. К сожалению, этот метод в настоящее время используется для наборов данных с количеством измерений, превышающим это число (более 40), потому что люди думают, что это опубликованный метод, который безопасен, к сожалению, это не то, как мир работает с R читателями. Помните, что система коррумпирована, наука и статистика полны лжи, и, если сомневаетесь, проведите собственные тесты на положительный и отрицательный контроль.
Это с функцией «glm». Случайные объекты добавлены по оси x, исправлены AUC по оси y.

Что если ты не веришь в это? Я имею в виду, что это метод учебника. Что ж, читатели R, если это так, я предлагаю написать это самостоятельно и попробовать код здесь, провести эксперименты с нулевыми (только случайные данные) наборами данных с растущими возможностями.
Это последняя часть серии статей о разоблачении метода начальной загрузки с исправленным оптимизмом. Я считаю это развенчанным.

связанные с

предложения ежедневные обновления по электронной почте около р новости и учебные пособия на такие темы, как: Наука о данных , Большие данные, R рабочих мест визуализация ( ggplot2 , присущи рефлективный, вербальный , карты , анимация ), программирование ( RStudio , Sweave , Латекс , SQL , Затмение , мерзавец , Hadoop , Web Scraping ) статистика ( регрессия , PCA , Временные ряды , торговый ) и многое другое ... Если вы зашли так далеко, почему бы не подписаться на обновления с сайта? Выберите свой вкус: Эл. почта , щебет , RSS , или же facebook ...

Похожие

Комментарии