| Строка 17: |
Строка 17: |
| * '''Голые цифры''' — статистические значения приводятся без привязки, без сравнения с чем-либо, при этом визуально большие значения обыгрываются как «ужасно много», а визуально маленькие как «ужасно мало», хотя и то, и то может быть ложью. «Новостной канал лишь бессмысленно тратит госфинансирование! Посмотрите, при таком бюджете у него всего лишь 2,45 % аудитории, его никто не смотрит!»; в реальности в этой стране вообще нет новостных каналов с более чем 3 % аудитории, и 2,45 % — более чем солидная величина. | | * '''Голые цифры''' — статистические значения приводятся без привязки, без сравнения с чем-либо, при этом визуально большие значения обыгрываются как «ужасно много», а визуально маленькие как «ужасно мало», хотя и то, и то может быть ложью. «Новостной канал лишь бессмысленно тратит госфинансирование! Посмотрите, при таком бюджете у него всего лишь 2,45 % аудитории, его никто не смотрит!»; в реальности в этой стране вообще нет новостных каналов с более чем 3 % аудитории, и 2,45 % — более чем солидная величина. |
| * '''Проценты неизвестно от чего''' (можно рассматривать как вариант предыдущего) — приводятся относительные изменения показателя, но не говорится ничего о его абсолютных значениях. «Рывок в отечественном авиастроении! Производство самолётов выросло на 50 %!». Перевод: на единственном разваливающемся авиазаводе за прошлый год собрали три «кукурузника», за позапрошлый — два. | | * '''Проценты неизвестно от чего''' (можно рассматривать как вариант предыдущего) — приводятся относительные изменения показателя, но не говорится ничего о его абсолютных значениях. «Рывок в отечественном авиастроении! Производство самолётов выросло на 50 %!». Перевод: на единственном разваливающемся авиазаводе за прошлый год собрали три «кукурузника», за позапрошлый — два. |
| * '''Апофения''' — склонность к поиску закономерностей в случайных данных: | | * '''Неоправданная экстраполяция''' — хорошо иллюстрируется примером из эпиграфа. Некая тенденция, определённая для относительно малого промежутка времени, произвольно продолжается в будущее и/или прошлое. В особо тяжёлых случаях за «тенденцию» выдаются просто две точки, через которые ничтоже сумняшеся проводят прямую. |
| | * '''Выдача корреляции за зависимость''' — «Зимой уровень воды в Рейне высокий, и аудитории рейнского университета полны студентами. Летом Рейн мелеет, а в аудиториях пусто. Вывод: количество студентов в аудиториях зависит от уровня воды в реке!». Люди, знающие о таком понятии, как статистическая корреляция (измеряемый уровень синхронности в изменениях двух или более величин), часто склонны полагать, что наличие корреляции автоматически означает наличие причинно-следственной связи. Это не так. Корреляция может подтвердить или опровергнуть гипотезу о связанности величин, если эта гипотеза появилась из каких-то не-математических оснований. Но само по себе наличие корреляции ничего не доказывает. Но [[Учёный изнасиловал журналиста|журналистам]] же нужен кричащий заголовок! |
| | * '''Апофения''' — поиск закономерностей в случайных данных: |
| ** '''Принятие совпадения за закономерность''': вероятно, а особенно при малом числе наблюдений, что реальное соотношение случайных событий будет отличаться от теоретически рассчитанного, но мозг пытается дать иное объяснение. [[головоногие|Осьминог]] Пауль угадал результаты 12 матчей из 14, но из этих данных ещё не следует, что он обладал экстрасенсорными способностями: пусть случайное совпадение маловероятно, но не невозможно. Если бы экспериментов было не 14, а на порядки больше — доля правильных ответов приближалась бы к теоретическим 50 %. | | ** '''Принятие совпадения за закономерность''': вероятно, а особенно при малом числе наблюдений, что реальное соотношение случайных событий будет отличаться от теоретически рассчитанного, но мозг пытается дать иное объяснение. [[головоногие|Осьминог]] Пауль угадал результаты 12 матчей из 14, но из этих данных ещё не следует, что он обладал экстрасенсорными способностями: пусть случайное совпадение маловероятно, но не невозможно. Если бы экспериментов было не 14, а на порядки больше — доля правильных ответов приближалась бы к теоретическим 50 %. |
| ** '''Фальшивая причинность''' — эксплуатируется очень распространённое интуитивное представление, которое можно выразить фразой: «Если правильная монета сто раз подряд выпала орлом, то теперь вероятность выпадения решки выше». В действительности вероятность одного конкретного выбрасывания как была, так и осталась 1/2<ref>Строго говоря, из-за аэродинамических особенностей монеты (рельефный рисунок на стороне таки имеет значение), шанс, что выпадет орёл, несколько больше, но это крайне малое отклонение. К тому же не факт, что работает на всех образцах монет.</ref>. | | ** '''Фальшивая причинность''' — эксплуатируется очень распространённое интуитивное представление, которое можно выразить фразой: «Если правильная монета сто раз подряд выпала орлом, то теперь вероятность выпадения решки выше». В действительности вероятность одного конкретного выбрасывания как была, так и осталась 1/2<ref>Строго говоря, из-за аэродинамических особенностей монеты (рельефный рисунок на стороне таки имеет значение), шанс, что выпадет орёл, несколько больше, но это крайне малое отклонение. К тому же не факт, что работает на всех образцах монет.</ref>. |
| ** '''Равномерное распределение самое вероятное''' — если в городе за неделю происходит в среднем семь автомобильных аварий (ну представим, что день недели здесь никак не влияет, чисто в теории!), то интуитивно ожидается, что наиболее вероятная картина — по аварии в день; в действительности это самое маловероятное распределение. | | ** '''Равномерное распределение самое вероятное''' — если в городе за неделю происходит в среднем семь автомобильных аварий (ну представим, что день недели здесь никак не влияет, чисто в теории!), то интуитивно ожидается, что наиболее вероятная картина — по аварии в день; в действительности это самое маловероятное распределение. |
| * '''Длина носа китайского императора''' — статистика изначально основана на полностью недостоверных данных. Название происходит от задачи: «Никому не позволено видеть китайского императора. Требуется определить длину носа китайского императора. Решение: обходим весь Китай и спрашиваем у каждого китайца, какова, по его мнению, длина носа императора. Получаем больше миллиарда оценок. Усредняем их — и получаем точную длину носа китайского императора!». Где ошибка? Очень просто: в исходных данных изначально нет информации, так что никакая статистическая обработка не поможет её создать. | | * '''Длина носа китайского императора''' — статистика изначально основана на полностью недостоверных данных. Название происходит от задачи: «Никому не позволено видеть китайского императора. Требуется определить длину носа китайского императора. Решение: обходим весь Китай и спрашиваем у каждого китайца, какова, по его мнению, длина носа императора. Получаем больше миллиарда оценок. Усредняем их — и получаем точную длину носа китайского императора!». Где ошибка? Очень просто: в исходных данных изначально нет информации, так что никакая статистическая обработка не поможет её создать. |
| * '''Выдача корреляции за зависимость''' — «Зимой уровень воды в Рейне высокий, и аудитории рейнского университета полны студентами. Летом Рейн мелеет, а в аудиториях пусто. Вывод: количество студентов в аудиториях зависит от уровня воды в реке!». Люди, знающие о таком понятии, как статистическая корреляция (измеряемый уровень синхронности в изменениях двух или более величин), часто склонны полагать, что наличие корреляции автоматически означает наличие причинно-следственной связи. Это не так. Корреляция может подтвердить или опровергнуть гипотезу о связанности величин, если эта гипотеза появилась из каких-то не-математических оснований. Но само по себе наличие корреляции ничего не доказывает. Но [[Учёный изнасиловал журналиста|журналистам]] же нужен кричащий заголовок!
| |
| * '''Методологически неверное исследование''', упускающее из виду влияние других факторов. Производитель [[фуфломицин]]а заявляет, что после курса лечения его препаратом у пациентов симптомы пошли на спад, и вроде бы статистические данные правдоподобны. Но при этом совершенно неясно, не может ли эффект быть связан с изменением условий (например, пациенты стали соблюдать гигиенические условия и потому не допустили осложнения болезни, либо они параллельно принимали другие препараты), с регенеративными способностями самого организма, и эффект плацебо ещё никто не отменял. Поэтому ключевой принцип честного исследования — «при прочих равных условиях»: поэтому обязательно вводится контрольная группа, столь же рандомизированная, сколько основная, и её участники принимают плацебо, причём ни экспериментатор, ни подопытные не знают, что в пилюлях — испытуемое средство или один сахарок. Таким образом контрольная группа становится надёжным эталоном, по сравнению с которой может быть исследована эффективность препарата. И вообще, леченый насморк проходит через неделю, а нелеченый — через через семь дней! | | * '''Методологически неверное исследование''', упускающее из виду влияние других факторов. Производитель [[фуфломицин]]а заявляет, что после курса лечения его препаратом у пациентов симптомы пошли на спад, и вроде бы статистические данные правдоподобны. Но при этом совершенно неясно, не может ли эффект быть связан с изменением условий (например, пациенты стали соблюдать гигиенические условия и потому не допустили осложнения болезни, либо они параллельно принимали другие препараты), с регенеративными способностями самого организма, и эффект плацебо ещё никто не отменял. Поэтому ключевой принцип честного исследования — «при прочих равных условиях»: поэтому обязательно вводится контрольная группа, столь же рандомизированная, сколько основная, и её участники принимают плацебо, причём ни экспериментатор, ни подопытные не знают, что в пилюлях — испытуемое средство или один сахарок. Таким образом контрольная группа становится надёжным эталоном, по сравнению с которой может быть исследована эффективность препарата. И вообще, леченый насморк проходит через неделю, а нелеченый — через через семь дней! |
| * '''Игнорирование слабости корреляции''' — демагог скрывает значение коэффициента корреляции, тем самым создавая впечатление, что зависимость между двумя переменными строжайшая. Однако, если корреляция слабая, разброс величин становится значительным, но демагог лишь сравнивает средние температуры по двум палатам и утверждает, что сумел объяснить температуру каждого конкретного пациента связью с параметром X, тогда как слабая корреляция объясняет совсем немного случаев различия величин. Пример — [https://flavorchemist.livejournal.com/180307.html исследование связи IQ и религиозности] (там же ещё немного примеров по предыдущему пункту; специально для атеистов: автор текста по ссылке — сам атеист). Статистически достоверные различия есть, но малозаметны, но это не мешает школьникам из раковых пабликов ВК гордо орать: «Я аметист, значит, умный, а вируны фсе тупые!». | | * '''Игнорирование слабости корреляции''' — демагог скрывает низкое значение коэффициента корреляции, создавая впечатление, что зависимость между двумя переменными строжайшая, и на этом основании делает строго определённый вывод для каждого конкретного случая. В действительности при слабой корреляции разброс может быть значительным. Подобными трюками часто оправдывают, например, гендерные или расовые стереотипы: то, что женщины в среднем слабее мужчин, не означает, что конкретная Маша не окажется сильнее и выносливее конкретного Васи. Туда же идут [https://flavorchemist.livejournal.com/180307.html исследования связи IQ и религиозности] (там же ещё немного примеров по предыдущему пункту; специально для атеистов: автор текста по ссылке — сам атеист). Статистически достоверные различия есть, но малозаметны, что не мешает школьникам из раковых пабликов ВК гордо орать: «Я аметист, значит, умный, а вируны фсе тупые!». |
| ** Как и вообще выводы, основанные на сравнении медианного значения без учёта дисперсии. Ну не стоит говорить преждевременно, что данный конкретный американский [[Пейсы, кашрут и день субботний|ашкеназ]] умнее данного конкретного [[Хумус, киббуцы и хайтек|израильтянина]]! | | ** Как и вообще выводы, основанные на сравнении медианного значения без учёта дисперсии. Ну не стоит говорить преждевременно, что данный конкретный американский [[Пейсы, кашрут и день субботний|ашкеназ]] умнее данного конкретного [[Хумус, киббуцы и хайтек|израильтянина]]! |
| * '''[[Систематическая ошибка выжившего]]''', когда она допускается намеренно: «Наш Интернет-магазин знает вся страна! 95 % проголосовавших на сайте нашего магазина подтвердили, что пользовались его услугами, остальные 5 % — что знают о нём!». | | * '''[[Систематическая ошибка выжившего]]''', когда она допускается намеренно: «Наш Интернет-магазин знает вся страна! 95 % проголосовавших на сайте нашего магазина подтвердили, что пользовались его услугами, остальные 5 % — что знают о нём!». |
| * '''Смещение распределения результатов опроса при введении новых вариантов ответов'''. Смотрите известную «теорему о невозможности демократии» Эрроу. | | * '''Смещение распределения результатов опроса при введении новых вариантов ответов'''. Смотрите известную «теорему о невозможности демократии» Эрроу. |
| * '''Неопределённость в понятиях'''. Опросы 2019 года показывают, что в России 65 % православных. Что здесь значит «православных»? Видимо, людей, самоидентифицирующихся как «православные». Но устраивает ли это определение? Добавим в него «верующих в существование Бога» — и получим меньший процент. «Крещёных» — иной процент. «Исповедующих Никео-Цареградский символ веры» — ещё меньший. «Регулярно участвующих в церковной жизни» — и снова иной процент. «Принадлежащих к Русской Православной церкви, а не к старообрядчеству, катакомбникам и другим неканоническим сообществам» — и снова иной процент. А если собрать все признаки в единое определение — православных окажется явное меньшинство. | | * '''Неопределённость в понятиях'''. Опросы 2019 года показывают, что в России 65 % православных. Что здесь значит «православных»? Видимо, людей, самоидентифицирующихся как «православные». Но устраивает ли это определение? Добавим в него «верующих в существование Бога» — и получим меньший процент. «Крещёных» — иной процент. «Исповедующих Никео-Цареградский символ веры» — ещё меньший. «Регулярно участвующих в церковной жизни» — и снова иной процент. «Принадлежащих к Русской Православной церкви, а не к старообрядчеству, катакомбникам и другим неканоническим сообществам» — и снова иной процент. А если собрать все признаки в единое определение — православных окажется явное меньшинство. |
| * '''Неоправданная экстраполяция''' — хорошо иллюстрируется примером из эпиграфа. Некая тенденция, определённая для относительно малого промежутка времени, произвольно продолжается в будущее и/или прошлое. В особо тяжёлых случаях за «тенденцию» выдаются просто две точки, через которые ничтоже сумняшеся проводят прямую.
| |
| * Банальная '''подгонка данных'''. Без комментариев. | | * Банальная '''подгонка данных'''. Без комментариев. |
| ** Субверсия: [[лишние нолики]] в «сложных» расчётах. | | ** Субверсия: [[лишние нолики]] в «сложных» расчётах. |