Статистическая запись

Статистическое письмо Исследования, от разработки гипотез до готовой рукописи, - это процесс. Следовательно, раздел результатов рукописи является продуктом всех более ранних этапов

Исследование, от разработки гипотез до готовой рукописи, - это процесс. Следовательно, раздел рукописи, содержащий результаты, является продуктом всех более ранних этапов исследования. Чем лучше качество этих ранних этапов, тем лучше качество раздела результатов.

Основные моменты

  • Планируйте, планируйте, планируйте, планируйте!
  • Расскажите связную, сжатую историю.
  • Четко сформулируйте свои гипотезы и то, как ваш анализ обращается к каждой гипотезе.
  • Предоставьте достаточно деталей, чтобы ваша аудитория могла понять, что вы сделали и почему вы это сделали.

Другие советы

  • Важно планирование (анализ мощности, классы, статистические пакеты).
  • Чем больше вы понимаете статистический метод, тем проще его описать другим.
  • Практикуйтесь в анализе, интерпретации и написании результатов с помощью наборов практических данных.
  • «Расстояние» между получением результатов и возможностью написать о них увеличивается с увеличением сложности анализа (т. Е. От типа используемого вами статистического метода) и сложности модели.
  • Попробуйте технику «Бабушка».
  • Нет никакой связи между количеством времени, которое вам потребовалось, чтобы что-то сделать, и количеством места на странице, которую занимает эта статья.
  • Помните, что существует тщательный баланс между достаточным количеством деталей для воспроизведения эксперимента и ограничениями места, налагаемыми журналом.
  • Проверьте наличие обновленных стандартов отчетности (рекомендации APA, p-значения, отсутствие «статистического сигнала», метаанализ, SEM и т. Д.).

Когда начать

Раздел результатов обычно состоит из двух частей: описательной статистики и анализа. Эти две части должны быть тесно связаны. Например, вы, вероятно, не захотите описывать переменные, которые не будут использоваться в анализе. Это может сбить с толку вашу аудиторию и тратить ценное пространство.

Описательная статистика важна, потому что это часто средство, с помощью которого ваши переменные представлены вашей аудитории. Вы можете думать об этой части как о знакомстве одного друга с другим. Конечно, для разных типов переменных используются разные типы описательной статистики.

  • порядковый или непрерывный
  • количество допустимых (не пропущенных) значений
  • среднее и стандартное отклонение
  • возможно медиана
  • диапазон
  • возможно корреляции с другими непрерывными переменными (без p-значений)
  • возможно гистограммы
  • частота каждого уровня (включая пропущенные)
  • возможно, перекрестные таблицы с другими категориальными переменными
  • возможно гистограммы

Вышеупомянутые пункты являются просто предложениями. Если у вас есть одна или несколько группирующих переменных, таких как основная категориальная переменная-предиктор, вы можете указать N, средние значения и стандартные отклонения для каждой группы. Такие значения часто используются в метаанализах, которые становятся все более популярными, как и контрольные списки качества, которые, как правило, дают более высокие оценки статьям, которые предоставляют более подробную описательную статистику.

В этом разделе следует избегать использования p-значений. Описательная статистика всего лишь: она описывает вашу выборку данных. P-значения обязательно означают, что гипотеза была проверена. Однако при описании данных гипотеза, подлежащая проверке, не требуется, поэтому значение p указывать не следует. Включение p-значений в описательную статистику также способствует проблеме альфа-инфляции. Эта проблема обсуждается позже на этом семинаре.

В аналитической части раздела результатов вы захотите описать вашу конкретную гипотезу, статистический метод, который вы будете использовать, и модель (например, переменные результата и предиктора). Это особенно важно, когда ваша гипотеза предполагает взаимодействие. Четкое указание взаимосвязи между вашей гипотезой и статистическим методом и моделью важно по двум причинам. Во-первых, это помогает вашей аудитории пройти через эту часть раздела результатов. Во-вторых, эта связь облегчит содержательную интерпретацию результатов. Для часто используемых методов, таких как обычная регрессия по методу наименьших квадратов, ваше описание может быть всего лишь одним предложением. Для более сложных техник или при использовании техники, которая, вероятно, незнакома вашей аудитории, может потребоваться дополнительное описание (и объяснение).Описание процесса построения модели также важно. Если в вашей модели есть категориальные переменные, четко укажите, как они обрабатывались (например, ссылочная категория, схема кодирования, конкретная гипотеза). Большинство моделей основаны на предположениях, и вы должны упомянуть, что предположения были оценены, но результат каждого диагностического теста обычно не включается. Если одно или несколько предположений грубо нарушаются, может потребоваться дальнейшее обсуждение. Нередко упоминается, какой статистический пакет (и какая версия пакета) использовался для проведения анализа.но результат каждого диагностического теста обычно не включается. Если одно или несколько предположений грубо нарушаются, может потребоваться дальнейшее обсуждение. Нередко упоминается, какой статистический пакет (и какая версия пакета) использовался для проведения анализа.но результат каждого диагностического теста обычно не включается. Если одно или несколько предположений грубо нарушаются, может потребоваться дальнейшее обсуждение. Нередко упоминается, какой статистический пакет (и какая версия пакета) использовался для проведения анализа.

Обычно анализы упорядочиваются от наиболее важного к менее важному, кроме тех случаев, когда это нарушает ход вашей истории. Если имеется несколько анализов, укажите, использовалась ли процедура альфа-контроля, и если да, то какую. Почти во всех исследованиях есть по крайней мере некоторые недостающие данные. Вы захотите указать, как обрабатывались недостающие данные (например, полный анализ случаев, методы максимального правдоподобия, множественное вменение). Многие журналы также требуют или поощряют исследователей включать меры величины эффекта и их стандартные ошибки. Вам нужно очень точно указать, какой показатель размера эффекта вы использовали, потому что их десятки. Если вы провели априорный анализ мощности, вы захотите его описать.

В идеале между моментом, когда вы закончите писать, и сроком публикации статьи (или плаката) должно пройти не менее нескольких дней. Перечитать статью после того, как отложить ее на некоторое время, - отличный способ выявить ошибки и проверить целостность. Также может быть полезно попросить коллегу прочитать его.

Примеры

После того, как я представил этот семинар в прошлый раз, я обнаружил, что большинство людей в аудитории хотели конкретных деталей, особенно того, что и чего не следует говорить в разделе результатов. Фактически, многие люди сказали, что хотят, чтобы им показали результат, скажем, регрессионного анализа, а затем пример того, как его записать. К сожалению, это практически невозможно сделать, и я скоро покажу вам, почему. Кроме того, такой подход «формочки для печенья» обычно очень плохой путь. Мне не нравится, когда люди делают статистику таким образом, и этот подход еще хуже, когда вы пишете результаты. Лучший способ написать четкий и краткий раздел результатов - это полностью понять статистические методы, которые вы использовали для анализа своих данных.Еще одна хорошая стратегия - просмотреть тексты в вашей области, которые содержат аналогичный анализ, чтобы получить идеи о точной терминологии, которую следует использовать. Это особенно хорошая идея, потому что описания аналогичных анализов могут сильно отличаться в разных областях. Кроме того, в некоторых журналах требуется более точный язык, чем в других журналах, поэтому вы можете просмотреть некоторые статьи в журнале, в котором вы хотите опубликовать. Вы также можете найти примеры на наших страницах примеров анализа данных, наших аннотированных страницах вывода инаши аннотированные выходные страницы инаши аннотированные выходные страницы иМодели регрессии для категориальных зависимых переменных с использованием Stata, второе издание, Лонг и Фриз (2006). Даже если вы не анализируете свои данные с помощью Stata, это отличный ресурс.

Давайте начнем с пары примеров того, почему вы не можете просто посмотреть на часть вывода и написать об этом. После этого мы рассмотрим несколько примеров некоторых распространенных ошибок, которые встречаются при написании результатов, казалось бы, простых анализов.

Итак, вот таблица регрессии. Полпеременной является дихотомическим, а чтениепеременной непрерывно. Что может быть трудным в интерпретации этого?

Трудность связана с тем, как кодируется дихотомическая переменная пола. Если полбыл закодирован как 0/1, то точка пересечения представляет собой среднее значение для группы с кодом 0, когда оценка чтения равна 0. Если полкодируется как 1/2, то точка пересечения является средним значением для группы с кодом 1 минус значение коэффициент (B, 5,487) для полапри чтении равен 0. Если полкодируется -1/1, то пересечение и коэффициент для полаинтерпретируются третьим способом. Чтениепеременной-предикторатакже могут быть включены в модель в исходной метрике, центрированной или стандартизованной. Обратите внимание, что, несмотря на изменения в кодировании переменных-предикторов, общая модель осталась прежней; модель просто параметризуется по-разному.

Теперь давайте сделаем еще один шаг к этому примеру. Допустим, мы создали переменную с именем female, которая равна 1 для женщин и 0 в противном случае (т. Е. 0 для мужчин). Давайте заменим полна женский, а также включим взаимодействие между женщинойи чтением.

Как бы вы интерпретировали эти результаты? Что ж, взаимодействие frне является статистически значимым, поэтому мы мало что можем сказать об этом. Итак, перейдем к женскомуи прочитаем. Коэффициент для переменной female- это ожидаемое изменение результата, когда считываемаяпеременная удерживается равной 0. Подобным образом коэффициент для считаннойпеременной - это ожидаемое изменение результата, когда переменная femaleудерживается на уровне 0. Эти значения могут интересовать исследователя, а могут и не представлять его. О них следует сообщать, но следует ли их интерпретировать, зависит от исследовательской ситуации. В этом примере мы, вероятно, не будем интерпретировать коэффициенты для эффектов более низкого порядка (т. Е. Коэффициенты для женщини чтения), потому что переменная readне принимает значение 0 в данных. Фактически, значение 0 не имеет смысла. Точно так же следует сообщать точку пересечения или константу, но не интерпретировать. (Если бы непрерывные переменные в модели были центрированы, точку пересечения можно было бы интерпретировать.) Другой распространенный вопрос заключается в том, должен ли статистически незначимый член взаимодействия оставаться в модели. Этот вопрос зависит от вашей подготовки и ваших гипотез.

Если у вас были две дихотомические переменные-предикторы (обе закодированы -1/1) и их взаимодействие в модели, то вы могли бы интерпретировать члены более низкого порядка; в нашем примере, поскольку у нас есть непрерывный предиктор, мы не можем интерпретировать члены более низкого порядка. Когда категориальные предикторы закодированы -1/1, члены более низкого порядка называются «основными эффектами». Когда категориальные предикторы имеют код 0/1, как это почти всегда в регрессионных моделях, члены более низкого порядка называются «простыми эффектами». Это различие важно, потому что простые эффекты интерпретируются иначе, чем основные эффекты.

Важным моментом здесь является то, что то, как вы кодируете свои переменные, влияет на то, как вы интерпретируете их коэффициенты в выходных данных. Следовательно, вы хотите использовать методы кодирования, дающие желаемую интерпретацию. Хотя наш пример иллюстрирует кодирование дихотомической переменной, у вас также есть варианты, касающиеся кодирования непрерывных переменных. Например, если вы хотите, чтобы константа имела другое значение, вы можете центрировать непрерывную переменную-предиктор.

Распространенной ошибкой при работе с моделями регрессии является обращение к модели выше как к многомернойрегрессии вместо множественнойрегрессии. Многомерная регрессия - это модель регрессии с более чем одной переменной результата; множественная регрессия - это регрессия с более чем одной переменной-предиктором.

Дело в том, что простого взгляда на результат часто бывает недостаточно при попытке интерпретировать и писать. Скорее, вам нужно знать много вещей, и, казалось бы, мелкие детали могут сильно повлиять на смысл. Вот почему подход к интерпретации «резак для печенья» не работает. Теперь давайте перейдем к другим примерам мест, где людям часто трудно писать о результатах.

Пример: категориальные переменные-предикторы

Теперь давайте посмотрим на модель, которая включает категориальную переменную, имеющую более двух уровней. В этом примере мы включили переменную гонку, которая имеет четыре уровня. Поскольку расаимеет четыре уровня, мы включили в регрессию три фиктивные переменные (т. Е. Переменные 0/1). Фиктивная переменная для второго уровня гонкистатистически значима, в то время как никакие другие фиктивные переменные - нет. Что можно сказать по этому поводу?

То, что мы можем сказать об этом, зависит от вашей гипотезы и вашей подготовки. Если гипотеза касается изменчивой расы, то мы не можем ничего сказать о сравнении различных уровней расы,пока не узнаем, является ли изменчивая расав целом статистически значимой или нет. Приведенный ниже тест на 3 степени свободы (он же комплексный тест) показывает, что это не так, поэтому мы ничего не можем сказать о разнице между уровнем 2 и уровнем 1 гонки. С другой стороны, если у вас была априорная гипотеза относительно теста между латиноамериканцем (контрольная группа) и азиатом (2-я раса), вы могли бы интерпретировать результат выше и проигнорировать тест с тремя степенями свободы ниже.

Теперь давайте немного изменим модель (заменим математикуна socst) и посмотрим, что получится.

Теперь общий тест на расустатистически значим, и вы можете интерпретировать результаты в приведенной выше таблице регрессии.

Когда вы пишете о фиктивных переменных, вы захотите прояснить, какой тип системы кодирования использовался (например, фиктивное кодирование, кодирование эффектов, ортогональное полиномиальное кодирование и т. Д.), А также какова контрольная группа. Оба они повлияют на интерпретацию фиктивных переменных. Кроме того, вы не хотите исключать фиктивные переменные, которые не являются статистически значимыми; например, вы не захотите повторно запускать вышеупомянутую модель без третьего уровня гонки. Если вы это сделаете, ваша референтная группа будет представлять собой комбинацию первого и третьего уровней расы, и это вряд ли будет иметь существенный смысл.

Дополнительные сведения о системах кодирования см. В главе 5 наших веб-книг по регрессии с SAS, Stata и SPSS.

Пример: логистическая регрессия

Если вы провели логистическую регрессию, вы можете описать свои результаты несколькими способами. Вы можете обсудить логиты (логарифмические шансы), отношения шансов или прогнозируемые вероятности. Какой показатель вы выберете, зависит от ваших личных предпочтений и договоренностей в вашей области. Большая часть информации в этом разделе цитируется из регрессионных моделей для категориальных зависимых переменных с использованием Stata, второе издание.Лонг и Фриз (2006), страницы 177-181. Если вы используете модель логистической регрессии, модель упорядоченного логита, полиномиальную модель логита, модель Пуассона или отрицательную биномиальную модель, я настоятельно рекомендую вам взять или купить копию этой книги и ознакомиться с конкретным типом модели. что вы бежите. Большинство людей находят эту книгу очень полезной, даже если они используют статистический пакет, отличный от Stata.

При интерпретации вывода в метрике logit: «… при изменении единицы измерения x k мы ожидаем, что logit изменится на k , при этом все остальные переменные останутся постоянными». «Эта интерпретация не зависит от уровня других переменных в модели».

При интерпретации результата в метрике отношения шансов: «Ожидается, что для единичного изменения x k , шансы изменятся с коэффициентом exp ( k ), при сохранении всех остальных переменных постоянными». «Интерпретируя отношения шансов, помните, что они мультипликативны. Это означает, что положительные эффекты больше единицы, а отрицательные - от нуля до единицы. Величины положительных и отрицательных эффектов следует сравнивать, принимая обратное значение для отрицательного (или наоборот) ». «Для exp ( k )>1 вы могли бы сказать, что шансы« exp ( k ) раз больше », для exp ( k ) k ) раз меньше »».

Теперь, если вам трудно понять изменение единицы измерения в логарифмической шкале шансов, а отношения шансов не так ясны, как вы думали, вы можете рассмотреть возможность описания своих результатов в метрике прогнозируемых вероятностей. Многие аудитории и многие исследователи считают, что это более интуитивный показатель, позволяющий понять результаты логистической регрессии. В то время как связь между переменной результата и переменными-предикторами является линейной в метрике логарифмических шансов, взаимосвязь не является линейной в метрике вероятности. Помните, что «… постоянное изменение коэффициента шансов не соответствует постоянному изменению или постоянному изменению коэффициента вероятности. Эта нелинейность означает, что вам придется очень точно определять значения, на которых сохраняются другие переменные в модели ».

Я надеюсь, что этот пример проясняет, почему я говорю, что для написания четкого и связного раздела результатов вам действительно нужно понимать статистические тесты, которые вы проводите.

Наш следующий пример касается доверительных интервалов, поэтому давайте немного забегаем вперед и поговорим о доверительных интервалах в выходных данных логистической регрессии. «Если вы сообщаете отношения шансов вместо непреобразованных коэффициентов, обычно указывается 95% доверительный интервал отношения шансов вместо стандартной ошибки. Причина в том, что отношение шансов является нелинейным преобразованием логит-коэффициента, поэтому доверительный интервал асимметричен ».

Пример: доверительные интервалы

Многие журналы настаивают на включении доверительных интервалов в раздел результатов. Но что вам говорит доверительный интервал? Проблемные интерпретации включают: «Мы на 95% уверены, что истинный параметр для оценки чтения находится между .209 и .456». «Существует 95% -ная вероятность, что истинный параметр находится между .209 и .456». Скорее, доверительный интервал дает диапазон значений, так что если бы эксперимент проводился много раз (например, 10 000 раз), диапазон содержал бы истинный параметр в 95% случаев. В большинстве случаев нет оснований комментировать доверительный интервал: это то, что есть. Одна из ситуаций, в которой вы можете захотеть прокомментировать доверительный интервал, - это когда вы проводите исследование, чтобы получить точную оценку определенного параметра, например, среднего возраста людей в определенной популяции.

Пример: условия взаимодействия

Многие исследователи испытывают трудности с интерпретацией и пониманием значения терминов взаимодействия в статистических моделях, поэтому это часто является одной из самых сложных частей раздела результатов для написания. Если вы собираетесь включить термин взаимодействия в свою модель, убедитесь, что он проверяет интересующую вас гипотезу; не включайте взаимодействия «просто потому, что». Кроме того, планируйте потратить дополнительное время на изучение и построение графиков взаимодействия. Это один из терминов в вашей модели, который вам нужно будет понять очень, очень хорошо, прежде чем вы сможете ясно описать его. Кроме того, некоторые статистические программные пакеты лучше других подходят для создания графиков взаимодействий, поэтому вам может потребоваться переключение пакетов для построения графика. Графики часто являются необходимой частью понимания взаимодействия,даже если график не будет включен в окончательную рукопись.

Самая простая форма взаимодействия для интерпретации - это взаимодействие двух дихотомических переменных. Достаточно легко получить средние значения ячеек, посмотреть, как рассчитываются коэффициенты, и получить график. Ситуация усложняется, когда у вас есть дихотомия на постоянное взаимодействие. В этой ситуации графики обычно очень помогают понять, что происходит. Когда у вас есть непрерывное за непрерывным взаимодействием, график становится трехмерным, и вы смотрите на деформацию плоскости. Ситуация становится еще более сложной, если у вас есть более одного взаимодействия в модели или трехсторонние (или более высокие) взаимодействия. Помните, что если в вашей модели есть условия взаимодействия, вам почти всегда необходимо иметь в модели эффекты более низкого порядка. Например, если у вас есть трехстороннее взаимодействие xyz,вам нужно будет включить в модель три двусторонних взаимодействия: xy, yz и xz, а также x, y и z. Если все члены более низкого порядка не включены в модель, трехстороннее взаимодействие, вероятно, будет непрерывным.

Дополнительные сведения об использовании и интерпретации взаимодействий в регрессии см. В последних нескольких главах наших веб-книг по регрессии OLS с SAS, Stata и SPSS. Для получения дополнительной информации о взаимодействиях в логистической регрессии см. Наш семинар «Визуализация основных эффектов и взаимодействий для бинарных логит-моделей в Stata» .

Пример: двумерные тесты

В нашем последнем примере давайте поговорим о ясности определения того, какой статистический тест проводился. Глядя на результат выше, исследователь может написать: «Мы провели двумерный анализ, и результат был значительным (p = 0,01)». Однако это проблематично по нескольким причинам. Прежде всего, «двумерный» анализ может относиться к любому анализу, который включает ровно две переменные. Примеры двумерного анализа включают хи-квадрат, корреляцию, простую регрессию OLS, простую логистическую регрессию, t-тест, односторонний дисперсионный анализ и т. Д. Во-вторых, в описании должно быть конкретно указано, какие переменные используются в каждом анализе. Возможно, лучше было бы написать это: «Мы провели тест хи-квадрат с учетом пола и любимого вкуса мороженого, и результат был статистически значимым (χ 2 (2) = 9,269, p

Слова предостережения

Хотя я не могу точно сказать, какие слова использовать в разделе результатов, мы составили неполный список слов, при использовании которых вы хотите быть очень осторожными. Одна из проблем со многими из этих слов заключается в том, что они имеют как минимум два значения: значение в просторечии и конкретное статистическое значение (а иногда и более одного статистического значения).

- доказано / доказано - шанс - шансы - риск - вероятность - значимость (статистическая или клиническая, параметр или модель) - вероятность - бета (стандартизованный или нестандартный коэффициент регрессии) - стандартизованный (переменная, коэффициент, результаты тестов) - нормальный - с учетом ( это идея, которая находится в голове аналитика, а не программа, анализирующая данные) - ковариаты - надежные (регрессия, стандартные ошибки, результаты) - вложенные (модели, данные) - иерархические (модели, например, многоуровневое моделирование, блокированная регрессия, данные) - случайный (переменные, точки пересечения, наклоны, эффекты) - данные есть; данные - страты

Таблицы и графики

Возвращаясь к вопросу о проблемах с пространством, таблицы и графики - это два способа передать большой объем информации на относительно небольшом пространстве. Однако создание полезных таблиц и графиков часто бывает сложнее, чем кажется. Почти каждый имел опыт чтения журнальной статьи и был озадачен тем, что именно находится в конкретной таблице или как рассчитываются некоторые значения. Часто возникает соблазн и легко добавить слишком много информации в одну таблицу; Старая поговорка «лучше меньше, да лучше» верна.

Таблицы и графики могут быть включены либо в описательную часть раздела результатов, либо в часть анализа, либо в обе. Конечно, вы хотите очень разумно использовать эти методы передачи информации. (Другими словами, у вас, вероятно, не может быть больше, чем несколько таблиц и / или графиков в вашей рукописи.)

Вот несколько общих советов по созданию таблиц. (цитата из Lang and Secic, How to Report Statistics in Medicine: Annotated Guidelines for Authors, Editors, and Reviewers, Second Edition, 2006, chapter 20)

  • «Таблицы предназначены для общения, а не для хранения данных». (Говард Уэйнер)
  • «Таблицы многозадачны примерно так же, как люди; чем проще задача, тем больше вы можете выполнять одновременно несколько задач ».
  • «Таблицы должны иметь цель; они должны дополнять остальной текст и интегрироваться с ним ».
  • «Таблицы должны быть организованы и отформатированы, чтобы помогать читателям находить, видеть, понимать и запоминать информацию».
  • «Организуйте стол как визуально, так и функционально».
  • «Данные, представленные в таблицах, не должны дублироваться в другом месте текста».

Вот несколько общих советов по созданию графиков. (Никол и Пексман, Отображение ваших результатов: Практическое руководство по созданию фигур, плакатов и презентаций, 2003 г.)

  • включать только важную информацию
  • только черный и белый; без цвета (журнал против Интернета)
  • понятен сам по себе; вся информация, необходимая для понимания каждого элемента (например, сокращения и определения), должна быть включена в заголовок.
  • в большинстве случаев следует избегать трехмерных графиков
  • по возможности легенды должны быть на изображении рисунка
  • по возможности, метки оси должны быть параллельны оси
  • зависимая переменная обычно представлена ​​на оси ординат.
  • следует соблюдать правила использования заглавных букв, характерные для субтитров.
  • ось y должна составлять от 2/3 до 3/4 длины оси x
  • самые высокие значения по осям должны быть выше, чем самые высокие значения данных
  • линии сетки, если они используются, не должны располагаться слишком близко друг к другу
  • символы, обозначающие точки данных, или символы графика примерно того же размера, что и самые маленькие строчные буквы на графике
  • шкалы осей (метки) не должны вводить в заблуждение (например, небольшая разница должна выглядеть незначительной)
  • размеры шрифта не должны отличаться более чем на четыре пункта
  • ссылки на рисунки в тексте обозначаются номерами рисунков.

Если у вас очень большой набор данных, создание графиков может стать проблемой. Возможно, вы захотите посмотреть « Графика больших наборов данных: визуализация миллиона» Анвина, Тэуса и Хофманна (2006). Они предлагают несколько полезных советов по тому, как сделать графики с большим количеством точек данных более удобочитаемыми. Другие типы фигур, такие как рельефные карты, схемы плана исследования или рисунки, которые использовались в качестве стимулов в эксперименте, иногда представлены в исследовательских публикациях. В перечисленных выше текстах есть несколько советов, как сделать их максимально полезными для вашей аудитории.

Некоторые вещи, которых следует избегать

Есть несколько вещей, которых вы хотите избежать в разделе результатов.

Один из них - ложная точность. Как правило, достаточно двух цифр после запятой. Фактически, округление (при представлении результатов, а не при проведении анализа) часто может помочь вашей аудитории лучше понять ваши результаты.

Избегайте заключения о том, что один результат «более значим», чем другой результат, потому что, например, одно значение p равно 0,02, а другое - 0,0001. Не существует такого понятия, как один результат «более значительный», чем другой. Если вас интересует относительная важность, вы хотите посмотреть на размеры эффекта, но, конечно, не на p-значения.

Еще одна ловушка, которую следует избегать, - это утверждение, что результат «почти значимый» или «почти значимый», когда значение p равно 0,055 или около того. Эти термины - просто разные способы сказать «неважно». Кроме того, согласно закону Мерфи, p-значение 0,055 будет связано с переменной, которая вас больше всего интересует. Пожалуйста, избегайте «корректировки» вашей модели, чтобы получить желаемое p-значение (которое меньше или равно 0,05). Вы можете сказать, что результат с p-значением 0,055 наводит на размышления и что в будущих исследованиях, возможно, потребуется продолжить изучение этого вопроса, но не имеет значения, не имеет значения, и вы должны учитывать роль случайного шанса, которую сыграл в получении этого p- стоимость.

Пока мы говорим о незначительных результатах, хороший способ сэкономить место в разделе результатов (и обсуждения) - не тратить время на размышления о том, почему результат не является статистически значимым. Из-за логики, лежащей в основе проверки гипотез, у вас действительно нет возможности узнать, почему результат не является статистически значимым. Как только вы обнаружите, что что-то статистически незначимо, вы обычно больше ничего не можете сделать, так что не тратьте на это свое время или место; скорее идите дальше и поговорите о другом. Некоторые действительно настойчивые аналитики пытаются проводить апостериорный анализ мощности, когда сталкиваются с незначительными результатами, но существует обширная литература, объясняющая, почему они не подходят и не полезны. Отличные резюме можно найти в Hoenig and Heisey (2001).Злоупотребление властью: повсеместная ошибка вычислений мощности для анализа данныхи Левин и Энсом (2001) Post Hoc Power Analysis: идея, чье время прошло?. Как показывают Хениг и Хейси, мощность математически напрямую связана с p-значением; следовательно, вычисление мощности после того, как вы знаете значение p, связанное со статистикой, не добавляет никакой новой информации. Более того, как ясно объясняют Левин и Энсом, логика, лежащая в основе постфактум-анализа мощности, в корне ошибочна.

Изменение мышления в отношении p-значений

В последние годы многие статистики выступают за переосмысление использования p-значений в исследованиях. Некоторые предлагают полностью отказаться от p-значений, в то время как другие предлагают снизить их важность. Многие хотят избавиться от фразы «статистически значимый» и заменить ее обсуждением того, достаточно ли велик наблюдаемый эффект, чтобы иметь смысл в «реальном мире». Во многих ситуациях легче сказать, чем сделать. Например, большинство исследователей согласятся, что корреляция 0,9 важна в «реальном мире», а корреляция 0,001 не важна в «реальном мире», но как насчет всех значений между ними? При каком значении корреляция становится значимой в «реальном мире»? Вы можете задать аналогичный вопрос о различиях в средних значениях между группами. Это самые простые и легкие примеры.Это еще одна причина, по которой вам действительно нужно понимать используемые статистические процедуры, потому что вам нужно иметь некоторое представление о том, какие могут быть правдоподобные значения. В этой ситуации полезны размеры эффекта, но величина эффекта не была определена для всех анализов. Например, на данный момент нет согласованных мер величины эффекта для моделей подсчета, линейных многоуровневых моделей или большинства анализов, в которых используются взвешенные данные. Также помните, что все это «эффекты», которые измеряются в одном наборе данных, и поэтому часто требуется некоторая мера изменчивости.но величина эффекта не была определена для всех анализов. Например, на данный момент нет согласованных мер величины эффекта для моделей подсчета, линейных многоуровневых моделей или большинства анализов, в которых используются взвешенные данные. Также помните, что все это «эффекты», которые измеряются в одном наборе данных, и поэтому часто требуется некоторая мера изменчивости.но величина эффекта не была определена для всех анализов. Например, на данный момент нет согласованных мер величины эффекта для моделей подсчета, линейных многоуровневых моделей или большинства анализов, в которых используются взвешенные данные. Также помните, что все это «эффекты», которые измеряются в одном наборе данных, и поэтому часто требуется некоторая мера изменчивости.

Важные вопросы

1.) Отсутствующие данные: проблемы с отсутствующими данными и возможные способы их решения могут занять много времени. Вам нужно не только узнать о плюсах и минусах различных возможных методов, но и решить, какой из них наиболее подходит для вашей ситуации. Вы обнаружите, что жесткие правила в этой области встречаются редко, и между «экспертами» существует множество разногласий. Более того, рекомендации со временем меняются по мере разработки новых методов и обнаружения и изучения подводных камней старых методов. После того, как вы определились с методом, вам нужно будет определить, будет ли пакет статистического программного обеспечения, с которым вы знакомы, делать то, что вы хотите, или вам нужно будет найти и изучить пакет, который будет делать это. Затем вам нужно определить, будет ли пакет, который вы хотите использовать для анализа, обрабатывать этот тип вменения.Например, предположим, что вы выполняли множественную линейную регрессию в SPSS. Это было нормально, пока вы не решили использовать полную информацию с максимальной вероятностью (FIML) для обработки недостающих данных.

2.) Небольшие размеры выборки: для большинства прикладных исследований малые размеры выборки проблематичны, как правило, по многим причинам. Конечно, первый вопрос: что такое маленькое? На этот вопрос нет однозначного ответа, так же как нет однозначного ответа на вопрос: достаточен ли размер моей выборки? Возвращаясь к вопросу о небольших размерах выборки, одна из причин их сложности заключается в том, что часто бывает трудно получить случайную и репрезентативную выборку, если размер выборки небольшой. Во-вторых, многие общие статистические процедуры (например, процедуры максимального правдоподобия, ОДВ, корреляции) не подходят для малых размеров выборки. Даже если исследователь решит использовать метод моделирования, модель может не работать по числовым причинам, модель может не сходиться, матрица может не быть положительно определенной и т. Д. Даже если модель работает успешно,предположения теста могут не выполняться или быть «хрупкими». Любая из этих проблем может заставить исследователя либо модифицировать модель до тех пор, пока она не запустится, либо «вернуться» к более простому статистическому методу. Это может действительно усложнить ситуацию, потому что теперь вы должны задать вопрос в измененной форме, затем поток исследования будет нарушен и т. Д. Другими словами, ваши гипотезы обязательно привязаны к вашему статистическому анализу, и вы обычно не можете изменить его. без изменения другого. Кроме того, актуальными становятся вопросы честного и точного отчета о том, что вы сделали.Это может действительно усложнить ситуацию, потому что теперь вы должны задать измененную форму своего исследовательского вопроса, затем поток исследования будет нарушен и т. Д. Другими словами, ваши гипотезы обязательно привязаны к вашему статистическому анализу, и вы обычно не можете изменить его. без изменения другого. Кроме того, актуальными становятся вопросы честного и точного отчета о том, что вы сделали.Это может действительно усложнить ситуацию, потому что теперь вы должны задать измененную форму своего исследовательского вопроса, затем поток исследования будет нарушен и т. Д. Другими словами, ваши гипотезы обязательно привязаны к вашему статистическому анализу, и вы обычно не можете изменить его. без изменения другого. Кроме того, актуальными становятся вопросы честного и точного отчета о том, что вы сделали.

3.) Альфа-инфляция / множественность. Альфа-инфляция - это явление, которое происходит, когда вы проводите все больше и больше тестов значимости на одном и том же наборе данных. Я собираюсь использовать крайний пример, чтобы проиллюстрировать проблему. Допустим, вы запускаете только один тест на значимость своих данных и установили альфа равную 0,05. Это означает, что в пяти случаях из 100 вы получите статистически значимый результат, хотя на самом деле нет никакого эффекта в популяции. Другими словами, у вас есть 5% шанс отклонить нулевую гипотезу, если она верна. Теперь предположим, что вы выполнили 10 тестов. Формула для определения номинального альфа-уровня: 1 - (1 - альфа) x, где x - количество тестов, которые вы выполняете. Итак, мы имеем 1 - (1 - 0,05) 10 = 0,40. Это означает, что существует 40% вероятность того, что вы получите ошибку I типа (также известную как ложная тревога), а не 5%.Чтобы решить эту проблему, многие исследователи используют процедуры альфа-коррекции (которые могут создавать свой собственный набор проблем), но вы можете видеть, что вы хотите выполнить как можно меньше тестов значимости, чтобы минимизировать эту проблему. Эта тема также связана с нашим предыдущим обсуждением планирования. Вы хотите знать заранее, сколько тестов значимости вы будете выполнять. Также существует проблема честного и точного отчета о том, что вы здесь сделали. Вы хотите запускать только те тесты, которые планировали запустить, а не ловить рыбу для получения статистически значимых результатов. В качестве крайнего примера вы не захотите запускать 100 t-тестов и сообщать только несколько статистически значимых. Читатель вашей статьи или диссертации предполагает, что вы сообщили обо всех соответствующих аспектах того, что вы сделали,и упущение того факта, что вы выполнили на 97 тестов значимости больше, чем сообщили, является важным упущением, поскольку ваши результаты следует интерпретировать совершенно по-разному в зависимости от того, сколько тестов вы выполнили. Помните, что воспроизводимость опубликованных результатов имеет первостепенное значение для развития любой дисциплины, а точность в отношении типа и количества выполненных анализов является важным аспектом воспроизводимости ваших результатов. Фрэнк Э. Харрелл-младший обсуждает эту тему в своей книге «Стратегии регрессионного моделирования, второе издание» (2015 г.). Он также обсуждает «фантомные степени свободы». Да, они такие же жуткие, как звучат!Помните, что воспроизводимость опубликованных результатов имеет первостепенное значение для развития любой дисциплины, а точность в отношении типа и количества выполненных анализов является важным аспектом воспроизводимости ваших результатов. Фрэнк Э. Харрелл-младший обсуждает эту тему в своей книге «Стратегии регрессионного моделирования, второе издание» (2015 г.). Он также обсуждает «фантомные степени свободы». Да, они такие же жуткие, как звучат!Помните, что воспроизводимость опубликованных результатов имеет первостепенное значение для развития любой дисциплины, а точность в отношении типа и количества выполненных анализов является важным аспектом воспроизводимости ваших результатов. Фрэнк Э. Харрелл-младший обсуждает эту тему в своей книге «Стратегии регрессионного моделирования, второе издание» (2015 г.). Он также обсуждает «фантомные степени свободы». Да, они такие же жуткие, как звучат!

4.) Сложные данные опроса: многие исследователи, которые никогда раньше не использовали сложные данные опроса, считают, что анализ этого типа данных подобен анализу данных экспериментов или квази-экспериментов. Это неправда. Веса выборки необходимо использовать для корректировки точечных оценок для плана выборки, а стандартные ошибки необходимо скорректировать, чтобы учесть независимость наблюдений (т. Е. Необходимо использовать PSU и / или страты или повторяющиеся веса. ). Для некоторых исследователей это просто означает использование различных команд в пакете stat, который они уже используют (например, Stata). Для других это означает изучение нового пакета статистики.

5.) Коррелированные данные. Теперь технически наиболее сложные данные обследований являются коррелированными данными. Однако существует много типов коррелированных данных, которые не являются данными обследований. Например, пациенты или врачи в больницах, люди по соседству, партнеры в парах и т. Д. Есть несколько способов анализа коррелированных данных, и часто аналитик принимает решение, какой метод использовать. Опять же, если вы не знакомы с различными способами анализа коррелированных данных, вам придется остановиться и узнать, по крайней мере, достаточно о различных методах, чтобы вы могли выбрать метод, который, по вашему мнению, является наиболее подходящим для использования. Когда вы пишете об анализе, вам нужно будет обосновать, почему вы выбрали этот метод по сравнению с другими. Кроме того, вам может потребоваться анализировать данные, используя более одного метода, чтобы вы могли быть уверены в своих результатах.

Использование Интернета

Последняя тема, которую я хочу обсудить сегодня, касается возможных будущих тенденций в исследованиях и того, как они могут повлиять на вас. Некоторые исследователи начали размещать свои наборы данных, кодовые книги и синтаксис на своих веб-сайтах. Аналогичным образом некоторые журналы запрашивают копии наборов данных и размещают их на своих веб-сайтах, чтобы другие исследователи могли использовать их в качестве вторичных наборов данных или для подтверждения опубликованных результатов. В любом случае, эта тенденция означает, что наборы данных и их анализ могут подвергаться более тщательному изучению. Мы всегда предлагаем исследователям использовать синтаксис (а не «указывать и щелкать») для проведения анализа. Для этого есть как минимум две веские причины. Такие файлы синтаксиса могут быть очень полезны, если вы получили отредактированный и повторно представленный («R&R») или для размещения на веб-сайте. Это также будет документировать ваши преобразования данных,анализы и мыслительный процесс. Даже если вы не планируете делать свой набор данных общедоступным, вам следует тщательно записывать каждый шаг вашего исследования и анализа данных, включая то, как и почему каждый шаг выполняется.

Дополнительные ресурсы

Я надеюсь, что эти советы помогут упростить написание разделов с результатами работы. Если вы заинтересованы в просмотре ресурсов, упомянутых в этой презентации, ссылки:

Дистанционная консультация и консультация по электронной почте доступны аспирантам UCLA, которые работают над диссертацией, диссертацией или статьей, которая будет опубликована; информацию и часы работы см. в разделе «Удаленное статистическое консультирование». Кроме того, просмотрите наши статистические консультационные услуги, чтобы узнать больше о том, какие услуги мы предоставляем. Обратите внимание, что мы не можем полностью прочитать ваш раздел результатов и сделать комментарии. Скорее, мы можем ответить на конкретные вопросы, которые могут у вас возникнуть по поводу интерпретации, формулировки и т. Д. Если вы хотите нанять наставника по статистике, у нас есть список людей, которыми мы можем поделиться с вами.