Кэмпбелл утверждал, что есть четыре вида законности беспокойства исследователю, оценивая результат любого эксперимента. Как пример этих четырех видов законности, давайте исследуем наш гипотетический эксперимент на исходной экспертизе. Вспомните, что мы нашли, что испытанты в экспериментальной группе, кто был выставлен Нобелевскому награжденному источнику, показали больше соглашения с учреждением заработной платы и регулирования цен, чем сделал испытанты в контрольной группе, для которой источник оставался анонимным. Вопрос статистического заключения validity asks, наблюдало ли различие между экспериментальные и контрольные группы, возможно, произошли из-за случайного колебания, или надежно ли наблюдаемое различие (вероятно, чтобы быть полученным снова, если эксперимент повторен). Статистический тест позволяет определение вероятности, что наблюдаемое различие представляет случайное возникновение. Если вероятность, что различие является случайным, составляет 5 % или меньше (p <.05), как показано статистическим тестом, то результат, как полагают, является статистически существенным (или надежным).
Второе беспокойство в оценке эксперимента является внутренней законностью. Если эксперимент проходит тест законности заключения, что-то другое, чем шанс ответственен за наблюдаемое различие, но статистический тест не гарантирует, что манипуляция (исходная экспертиза) ответственна за наблюдаемое различие. Это гарантируют, что эффект изменения отношения не происходит из-за некоторой переменной кроме манипуляции, если есть соответствующая контрольная группа и если испытанты были беспорядочно назначены на условия. Так как соответствующую контрольную группу рассматривают тождественно экспериментальной группе за исключением манипуляции, если эти две группы, как находят, отличаются, то это различие должно или быть приписано манипуляции или факту, что у этих двух групп есть различные виды испытантов. Беспорядочно назначая испытанты на условия, последняя возможность может быть устранена, и можно прийти к заключению, что манипуляция была необходима оказать наблюдаемое влияние.
Вид одной трети законности, внешней законности, касается в том, как хорошо наблюдаемый эффект делает вывод другому возможному подчиненному населению, другим местоположениям, и различным экспериментальным материалам. Когда только один эксперимент проводится, исследователь никогда не может убеждаться, что у наблюдаемого эффекта есть любая общая применимость. Возможно, опытные источники вызывают больше изменения отношения только для экономических тем, но не для других. Единственный способ проверить внешнюю законность открытия состоит в том, чтобы концептуально копировать (повторяют) эксперимент. Другими словами, во вторых и третьих экспериментах, те же самые концептуальные гипотезы будут проверены, но конкретные процедуры будут отличаться. Экспериментатор будет использовать различные испытанты, в различных местоположениях, с различными экспериментальными материалами. До степени то, что результаты могут копироваться с большим разнообразием различных процедур, у результатов есть внешняя законность.
Наконец, в оценке эксперимента, исследователь должен быть обеспокоен законностью конструкции. Это – вопрос того, действительно ли, что предназначалось, чтобы управляться, фактически управлялся и что предназначалось, чтобы быть измеренным, был фактически измерен. Мы уже обсудили некоторые из проблем, с которыми сталкиваются в оценке законности конструкции мер по отношению (например, иногда люди могут попытаться ввести в заблуждение нас относительно их истинных отношений). Одинаково важно убедиться, что манипуляция действительна. В нашем примере опытный источник – победитель Нобелевской премии. Увеличенное убеждение наблюдается в экспериментальной группе из-за экспертизы источника, или действительно ли это происходит из-за некоторого несоответствующего аспекта манипуляции? Возможно испытанты были убеждены, потому что наш источник выиграл приз, и любой источник, который выиграл приз – было ли это премией Оскар, мисс Америкой Пэгинт, или Южному Чемпионату Запроса борова графства – понравится больше испытанты, и эта симпатия привела бы к большему количеству соглашения. В нашем примере, "выигрывая приз"путался(covaried) с экспертизой источника. Определенная степень смешивания, вероятно, неизбежна в большинстве исследования, потому что экспериментальное обращение сложно и вряд ли будет управлять только одной вещью. Исследователи как правило имеют дело с этой проблемой в одном или обоих из следующих путей. Во-первых, клетчатая мера по манипуляции может быть принята, который разработан, чтобы видеть, чувствовали ли испытанты в экспериментальной группе, что у источника была большая экспертиза относительно проблемы, чем сделал испытанты в контрольной группе. Если это произошло, и кроме того если участники эксперимента не сообщали о симпатии источника больше, чем сделал контрольные объекты, уверенность в законности конструкции манипуляции увеличена. Второй способ иметь дело с этой проблемой состоит в том, чтобы использовать многократные операции обращения. Идеально, эксперимент должен использовать несколько различных манипуляций исходной экспертизы (опытные источники, кто выиграл призы, опытные источники, кто не имел, мужские опытные источники, женские опытные источники). Если все эти опытные источники имеют тот же самый эффект, то можно более уверенно приписать их эффект к тому, что у них есть вместе, а именно, экспертиза. В дополнение к определенному путает, который может присутствовать в любом исследовании, социальные психологи выявили три общих фактора смещения, которые можно путать с экспериментальной манипуляцией:
Особенности требования. Это происходит, когда экспериментальное обращение дает испытанту намек о "правильном" ответе или ответе, который экспериментатор хотел бы, чтобы испытант сделал.
Предчувствие оценки. Это происходит, когда экспериментальное обращение делает испытанты касавшимися того, чтобы быть оцененным экспериментатором. Это делает испытанты более вероятно, чтобы участвовать в социально желательном ответе, ответе, который заставляет их выглядеть хорошими (но не обязательно ответ, который подтвердил бы гипотезу экспериментатора).
Уклон экспериментатора. Это происходит, когда поведение экспериментатора, а не экспериментальная манипуляция, влияет на ответы испытантов. Например, если экспериментатор должен был кивнуть своей головой в соглашении, когда испытанты слушали опытный источник, но не, когда они слушали анонимный источник, это могло произвести наблюдаемое различие между условиями.
Поскольку эти факторы смещения могут ползать в экспериментальную ситуацию вполне неумышленно, экспериментатор должен знать о них в проведении исследования. В большинстве исследования убеждения эти факторы смещения минимизированы при помощи один или больше следующих процедур:
предоставление подвергает тему номера – ложное объяснение, которое по-видимому объясняет испытантам, почему они участвуют в исследовании;
удаление отношения имеет размеры от экспериментального урегулирования;
тестирование неочевидных гипотез, которые вряд ли будут предположены испытантами;
уменьшение различия в статусе между экспериментатором и испытантами;
автоматизация экспериментальных процедур и хранение экспериментаторов ослепляют к экспериментальному условию, в котором находятся испытанты.