Контрольная по измерению
Измерение – отображение эмпирической системы в числовую систему, сохраняющую порядок отношений между объектами. Классическая концепция измерения различает два способа приписывания объектам значений переменных. Первый способ называется оцениванием. Отображение свойства объекта на шкалу осуществляется здесь в условных единицах. Например, можно с той или иной степенью точности определить место человека на шкале «консерватизма». Никакой единицы консерватизма в распоряжении исследователя не имеется, градации могут меняться произвольно.
Собственно измерение требует определения единицы – эталона шкалы. В этом случае измерению поддаются лишь пространственные и временные признаки, а также численность – аддитивные величины. Однако в социальных и поведенческих науках получил признание более широкий взгляд на измерение как на приписывание объектам значений в соответствии с заданной системой отношений на различных уровнях.
Переменная – не то же самое, что реальные признак или свойство. Это своего рода линейка – совокупность норм и операций, которые необходимы и достаточны для квалификации события, свойства, отношения, словом, всего того, что принято понимать под фактами. Для линейки не очень важно, нанесены ли ее деления на деревянную, пластмассовую либо металлическую пластинку. Гораздо важнее градуировка шкалы, а также умение пользователя правильно производить замеры. Аналогичным образом обстоит дело и при измерении поведения, только «линейка» в данном случае имеет вид вопросника (или бланка наблюдения), а «прикладывание» их к объекту есть не что иное, как операциональное определение.
Как измерительный инструмент переменная конструируется исследователем путем установления континуума значений (градаций). Minimum minimorum континуума, как мы уже знаем, – дихотомия: «да» и «нет», плюс и минус, утверждение и отрицание. Фактически же мы почти всегда имеем дело с трихотомиями, поскольку в составе любой переменной положена градация «нет ответа» (или «нет данных»).
Таким образом, переменная содержит три компонента: 1) некоторую не всегда отчетливо сформулированную концепцию измеряемого признака, например, «электоральные предпочтения», «стабильность семьи», «образование» и т.п.; 2) шкалу – совокупность значений, задающих критерии классификации объектов; 3) операциональное определение – совокупность инструкций, регламентирующих процесс идентификации объекта по установленной шкале значений.
Элементарный уровень измерения – номинальный. Этому уровню соответствует шкала наименований, которая состоит из значений признаков, не упорядоченных по степени возрастания или убывания. Типичные примеры шкалы наименований: национальность, профессия, политические убеждения. Значения шкалы наименований конструируются в соответствии с логическими правилами классификации. Первое из них – правило непротиворечия. Оно гласит: «Объект может быть отнесен к одному и только одному классу, предусмотренному значением переменной». Иными словами, исследователь обязан называть вещи своими именами и избегать диалектики, при которой объект одновременно оказывается и тем, и другим. Сделать это не так легко, как кажется, – назвать вещь своим именем. Реакционеры иногда кажутся либералами, глупые – умными, женщины – мужчинами. Но даже в самых затруднительных ситуациях аналитик обязан дать однозначную квалификацию объекту. Здесь многое позволено. Единственное, что запрещено, – это квалифицировать объект как белый и черный одновременно.
Следствием данного правила является стопроцентная сумма частот всех градаций переменной. Если сумма частот превышает стопроцентную отметку, значит, по крайней мере некоторые единицы попали одновременно в два класса и посчитаны неоднократно. Так бывает, когда в вопроснике задают шкалу-ассорти, где можно выбрать и то, и другое, и третье. Например, спрашивается: «Что вы больше всего любите?» с вариантами ответов: мацу, шашлык, либерально-демократические свободы... Здесь можно предпочесть все подсказки вопросника, и стопроцентной суммы не получится, если хотя бы один из респондентов попал в классы любящих одновременно мацу и либерально-демократические свободы. Причина искажения в том, что приведенные позиции не составляют переменную, напротив, каждая из них – являет собой «обрезанную» версию переменной. Полноценная версия предполагает ответы «Да», «Нет» и «Не могу сказать».
Правильно построенная переменная представляет собой одномерный континуум. В отличие от многосоставных измерений он не требует агрегации. Отсюда второе правило – правило единого основания классификации. Нельзя разделять людей на умных и рыжих, потому что и рыжие иногда оказываются умными. Нельзя смешивать две разные переменные в одном вопросе. Нельзя не учитывать и изменение смысла переменной при ее перемещении в иной контекст. Например, вопрос об отношении к интеллигентам, заданный в Москве и Чикаго, окажется двумя разными вопросами, потому что в русской традиции принято приписывать интеллигенту роль носителя нравственного начала, тогда как житель Чикаго не сразу догадается, кто имеется в виду под «интеллигентом».
Третье правило – правило полноты. В изучаемой совокупности не должно быть ни одного объекта, не поддающегося идентификации по заданным значениям. Иными словами, объект должен быть распределен на континууме переменной и получить полагающееся ему место в одном из классов. Если же этого не происходит, процесс измерения «зависает» – линейку приложить просто не к чему и не к кому. Заметим, что позиция «Нет данных» решает проблему полноты, когда шкала не охватывает весь диапазон значений. Например, отказ респондента сообщить свой возраст не означает, что шкала возраста не имеет отношения к данному объекту. Примеры шкал, которые не имеют отношения к объекту, иначе говоря, не релевантны ему, многочисленны. Социологи часто пытаются осуществить замеры мнений, установок, других личностных характеристик, предполагая, что изучаемое свойство имеется у всех. Например, вопрос: «Как вы относитесь к Бурбулису?», задававшийся некоторыми центрами изучения общественного мнения в 1992 г., основывался на убеждении, что свойство «Отношение к Бурбулису» имеется у всех, кто попал в выборку. Исключалась сама возможность того, что у человека нет ни положительного, ни отрицательного отношения к Бурбулису. Позиция «Не могу сказать», казалось бы, включает в себя такого рода респондентов, однако сюда попадают не только не имеющие мнения, но и не имеющие самого признака.
В социологических измерениях нередко возникает разновидность искусственно созданных эмерджентных переменных – переменных, порожденных самой процедурой. Люди, не имевшие до момента интервьюирования никакого отношения к изучаемому признаку, конструируют это отношение в процессе межличностной коммуникации с интервьюером, отвечая «положительно», «отрицательно» или чаще всего «нейтрально». Причины эмерджентных переменных связаны больше всего с влиянием интервьюера.
Проектируя переменные, социолог стремится обеспечить их соответствие фактическому поведению объекта. В то же время он обязан организовать их в логическом отношении, пренебрегая тем обстоятельством, что «жизнь» часто бывает нелогичной и многозначной. Здесь намечается дилемма: либо описывать жизнь во всей противоречивости, либо конструировать схемы. В первом случае социологу лучше избрать для себя карьеру писателя, во втором случае необходимо постараться, чтобы логическая схема соответствовала действительности.
Требования взаимнооднозначного соответствия и единого основания содержат в себе определенное насилие над «человеческой» реальностью. В жизни «да» часто переходит в «нет», «демократы» называют себя коммунистами, а плюс оказывается минусом. Лучше всего работать с номиналиями, которые, как предполагается, в наибольшей степени соответствуют языку социального взаимодействия и поведения. Номинальные измерения в социологических и социально-экономических исследованиях расцениваются как фундаментальные для понимания самой природы социальной реальности. С.В. Чесноков основывает такой вывод на предположении, что номинальные переменные являются конечным итогом процедур эмпирической верификации теоретических понятий всегда, когда объектом исследований в той или иной мере являются люди, их сознание и поведение. «Это обусловлено тем, – пишет С.В. Чесноков, – что и социолог-исследователь, и люди, выразившие добрую волю контактировать с социологом в роли респондентов, выражают свои реакции, формируют и описывают социальное в образах и понятиях, знаками которых являются слова, а не числа»(1). Отсюда следует предположение об ограниченных возможностях числового анализа данных. Гуманитарным измерением С.В. Чесноков называет любое именование, а детерминационным анализом – установление следования «если а, то b», где аи b – имена(2).
Вне сомнения номинальные переменные, фиксирующие конкретные значения, лежат в фундаменте социологического словаря. Однако эта их особенность коренится не столько в «живом языке» социального общения, сколько в эквивалентности значений переменных протокольным фактофиксирующим высказываниям. Такого рода номинальные «протоколы» вне зависимости от их содержания лежат в фундаменте любых научных описаний. Собственно шкалы (континуумы) представляют собой способы организации номинальных значений в идеализированных метриках, но в любом случае должно соблюдаться требование взаимнооднозначного соответствия единицы и значения переменной.
Требования, предъявляемые к номинальным измерениям (идентификациям), должны выполняться и для шкал более высокого уровня: упорядоченных, интервальных и метрических.
Упорядоченная шкала отличается от номинальной тем, что ее градации располагаются в определенном порядке относительно возрастания либо убывания интенсивности свойства.
К классу упорядоченных относятся оценочные шкалы, установки и предпочтения. В социологии используются два вида упорядоченных шкал: ранги (рейтинги) и баллы. Ранги устанавливаются путем приписывания объекту места таким образом, что количество мест в точности равно количеству объектов. Например, можно распределить студентов по уровню подготовки и приписать каждому его место, начиная от первого и кончая последним. Иначе говоря, мы ранжируем их, зная, что вне зависимости от уровня знаний в группе должны быть первые и последние.
Рейтинг как тип социального оценивания является нормой определенного типа культуры, основанной на приоритете индивидуального интереса перед интересами коллективными. Теория рационального выбора основана как раз на идее оптимизации индивидуального поведения при ограниченных ресурсах.
Балльные шкалы оперируют не местами, а школьными значениями. Эти значения не зависят друг от друга. В некотором смысле балльная шкала имеет эгалитарное происхождение. Все студенты, включая первого и последнего, могут получить тройки и быть счастливы в соответствии с теорией относительной депривации. Однако надежность такого рода шкал очень сомнительна, особенно в случаях, когда для означивания меток используются цифры. Расстояние от 4 до 5 – не то же самое, что расстояние от 2 до 3. У каждого преподавателя есть собственные предпочтения относительно участка континуума, на котором он распределяет студентов. Один ставит 2 и 3, другой 4 и 5. Как сравнивать их? Больших затруднений здесь не возникает, поскольку индивидуальные значения можно нормировать относительно среднего балла либо стандартного отклонения баллов у каждого преподавателя.
Упорядоченные шкалы оценивания предполагают логическое балансирование позиций относительно нейтрального центра. Это требование отражает более общее правило построения шкал: каждая категория шкалы должна характеризоваться равной вероятностью «попадания» объекта при условии случайного распределения. Иными словами, количество градаций справа от центра должно быть равно количеству градаций слева, Часто в качестве «центра» шкалы используется значение «Не могу сказать». Так создается очевидная двусмысленность в интерпретации данных. «Не могу сказать» означает, что респондент не может выбрать ни одну из предложенных позиций; но если «Не могу сказать» стоит в центре сбалансированной шкалы, имеется в виду «Затрудняюсь предпочесть что-либо».
Когда значения упорядоченной шкалы оценивания не имеют четко определенных границ, шкала превращается в полуупорядоченную. Фактически в социологических и психологических исследованиях чаще всего используются полуупорядоченные шкалы.
Интервальные шкалы основаны на процедурах, обеспечивающих равные или примерно равные расстояния между градациями переменной. В данном случае сравниваются не значения переменных, а расстояния между значениями. Иными словами, любые два измерения данной эмпирической системы, осуществленные по шкале интервалов, переводятся друг в друга с помощью линейной функции.
Если по номинальной шкале последовательность объектов устанавливается без особых затруднений, интервальная шкала предполагает решение проблемы сравнения расстояний между объектами(3). Это свойство линейных преобразований, характерное для интервальных шкал, демонстрируется числовым примером: 5 – 2 / 2 – 1 = 24 – 15 / 15 – 12 = 3.(4) Отношение разностей между шкальными значениями является в данном случае постоянным». Если один из объектов интервальной шкалы отображается в ноль, можно говорить о шкале отношений – частном случае интервальной шкалы. В данном случае фиксируется начало отсчета(5).
Построить интервальную шкалу можно с помощью парных сравнений либо используя, как это делал Л. Терстоун, судейские процедуры. Сначала создается массив релевантных суждений, описывающих измеряемый признак, например отношение, установку либо оценку. Затем экспертам предлагается расположить суждения по категориям от наибольшей интенсивности признака до наименьшей. Предполагается, что распределение судейских оценок вокруг шкальных значений подчинено нормальному закону. Отбираются те суждения, которые получил и согласованные оценки судей. Таков метод построения «интервалов, кажущихся равными». Наиболее известные методы построения шкал интервалов разработаны Л. Терстоуном, Р. Ликертом, Л. Гуттманом. Однако в современной социологии они используются редко.
Метрические, или абсолютные, шкалы соответствуют всем требованиям, предъявляемым к шкалам более низких классов, они имеют не только нулевую метку отсчета, но и единицу измерения времени, расстояния либо численности единиц. Здесь допустимы все преобразования с числами.
Приписывание значений объектам осуществляется в трех формах: вербальной, графической и числовой. Вербальная интерпретация переменных наиболее распространена в массовых опросах. В качестве элементов шкалы здесь выступают суждения, свидетельствующие о мнениях, ценностях, состояниях. Насколько адекватно это свидетельство – особая проблема. Ясно одно: сами суждения не более чем свидетельство о реальности, которая стоит за ними. Поэтому вербальная интерпретация шкалы выполняет в языке повседневности роль своеобразного зонда. Ее принципиальное отличие от обыденной речи заключается в четкой концептуальной структуре, адаптированной к многообразным речевым ситуациям и контекстам. Даже открытый вопрос, казалось бы, максимально ориентированный на лексику респондента, работает только при условии однозначного концептуального кодирования.
Вербально интерпретированные позиции шкалы воспринимаются достаточно отчетливо, если их немного. Но уже при выборе из пяти градаций начинаются затруднения. Например, категории «доволен» и «скорее доволен, чем недоволен» различаются со значительной степенью условности. В семипунктовой шкале возможности вербальной интерпретации оказываются исчерпанными. Здесь предпочтительнее графическое оформление шкалы, создающее возможность стандартного прочтения. Графическая интерпретация шкалы применяется в так называемых кросс-культурных исследованиях, где лексика инструмента требует перевода на язык респондента.
Числовая интерпретация иногда ошибочно отождествляется с вербальной. Использование цифр в качестве имен числительных не означает введения метрики. Например, в целях кодирования мужчин можно обозначить цифрой 1, а женщин – цифрой 2. В данном случае применены метки, но не числа. Числа предполагают осуществление операций аддитивности, арифметических действий. Круг числовых шкал ограничен интервальным и метрическим уровнями измерения, где установлены единицы интенсивности свойства.
Связь между двумя переменными может быть интерпретирована в логических категориях, и тогда исследователь доказывает зависимость, не обращаясь к данным. Назовем такой тип связи инференцией (inferre, лат – заключать, делать вывод). Инференция осуществима в том случае, если изменения в переменной А слогической необходимостью влекут изменения в переменной В. Такого рода выводы равнозначны аналитическим суждениям и представляют собой тавтологии. Так, вряд ли нужно обследовать множество прямоугольных треугольников, чтобы установить однозначную связь между суммой квадратов катетов и квадратом гипотенузы. Теорема Пифагора не нуждается в эмпирическом подтверждении. В социологии подобные логически необходимые – инференциальные – зависимости воспринимаются как трюизмы, например о зависимости коэффициента рождаемости от численности женщин в фертильном возрасте.
Более продуктивны статистически значимые связи, не поддающиеся однозначному объяснению. В данном случае связь между переменными имеет характер контингенции (contingere, лат. – касаться, иметь отношение). Контингенция основана на статистической взаимосвязи признаков, она требует интерпретации в концептуальных терминах и логического объяснения. Р. Мертон называет такого рода связи эмпирическими генерализациями и отличает их от генерализаций теоретических. Первые не включены в структуру теории и представляют собой лишь материал для теоретического анализа. Теоретические генерализации, именуемые также законами, выводятся из исходных допущений и могут быть непосредственно не связаны с единичными наблюдениями.
Назвать подобного рода «цепочки» предположений логическим выводом неправомерно. В социологии чаще всего приходится заменять логическое доказательство нарративом (narratio, лат. – повествование) – рассказом о том, какова связь между переменными: производительными силами и производственными отношениями, мирской аскезой и рациональным предпринимательством, брахицефалией и психологией «одинокой толпы». Логические и статистические процедуры уступают здесь место историческим иллюстрациям, литературным аллегориям и описаниям «случаев из жизни». Доказательность заменяется риторической убедительностью.
Как конструируется пространство концептуальных переменных? Первый вход в него можно назвать априорным. Исследователь оперирует измерениями, которые уже приняты в научной литературе и получили теоретическое и процедурное обоснование. В социологических вопросниках такой путь обычно ведет к использованию «закрытых» переменных (их градации устанавливаются вне зависимости от «свободных» ответов респондента).
Второй вход в пространство концептуальных переменных выглядит вполне апостериорным, хотя внутри него прячется априорная конструкция. В данном случае исследователь изобретает новую переменную и вводит ее в концептуальный аппарат науки. Поскольку готовыми измерительными процедурами он не располагает, континуумы выводятся из наблюдаемых событий. Априорная форма принимает здесь вид «смутного образа» (imagery), как назвал эту исходную концептуализацию П. Лазарсфельд. «Смутный образ» – это измерение, которое могло бы принять в себя наблюдаемый факт и упорядочить его в континууме возможных состояний – тогда факт превратится в значение переменной. А до этого он подлежит пристальному рассматриванию.
Мастерство методолога проявляется изначально в том, что он видит событие как точку на континууме переменной и пытается сформировать «смутный образ», приобрести новый значимый критерий классификации единиц исследования – вдруг он окажется самым сильным при объяснении событий. Когда переменная построена, она включается в «мировое пространство» и начинает работать с большим или меньшим успехом.
Концептуальные переменные образуют систему координат, в которой размещается реальность. Нет никаких сомнений, что «скоординированная» таким образом реальность является результатом абстрагирования и дистанцирования от «живой жизни». Она бедна и ущербна, но у нее есть одно исключительное преимущество, заключающееся как раз в силе абстракции: полученная в результате абстрагирования схема воссоздает идею объекта, очищенную от несущественного и случайного. Теорема о соотношении длины радиуса и длины окружности доказывается без обращения к наличествующим в опыте окружностям. Притяжение двух тел описывается формулой Ньютона—Кеплера вне зависимости от того, насколько привлекательна внешность данных тел. Демократический стиль лидерства в малой группе усиливает агрессивную реакцию членов группы на «чужого». Все это – схемы, образованные в пространстве концептуальных переменных.
Каждая переменная имеет определенные значения, которые в совокупности исчерпывают диапазон возможных изменений. Количество значений переменной практически бесконечно. Переменная «национальность» включает сколь угодно много позиций – национальностей, «возраст» может фиксироваться самыми маленькими интервалами, «удовлетворенность» при желании идентифицируется в терминах «очень удовлетворен», «не очень удовлетворен», «удовлетворен», «скорее удовлетворен, чем неудовлетворен»... Предположим, что, устанавливая значения переменных в системе «мировых координат», мы стремимся к расширению их диапазона, т.е. к увеличению точности измерений. Такая стратегия приводит к экстенсивному пространству переменных, границы которого в принципе не определены.
Пространство признаков напоминает ящик, разделенный на множество ячеек. Каждая ячейка – класс, образованный пересечением значений переменных.
Хотя каждый исследователь стремится к детализации картины мира, он вынужден работать в очень ограниченном пространстве. Спрашивается: каково пространство минимальной размерности? Если значения переменной сводятся к дихотомии, ее диапазон минимизируется. «Да будут слова ваши «да – да», «нет – нет», а что сверх того, то от лукавого», – эта заповедь предписывает сводить переменную «образование» к градациям, предположим, «высшее – не высшее», «национальность» к «русский – не русский», «пол» – к «женщина – не женщина». В конечном счете система координат приобретает вид бинарного пространства переменных – четырехклеточной матрицы.
Четырехклеточные матрицы – наименее точная и наиболее надежная форма представления данных. Существует обширный класс статистик, измеряющих интенсивность связи дихотомических переменных. Немаловажное преимущество дихотомий заключается также в том, что к ним сводятся все типы шкал, применяемых в социологии и психологии. Например, успешность карьеры можно измерить в шкале «очень успешная – успешная / средняя / неуспешная / очень неуспешная». Эта шкала относительно легко переводится в дихотомию «успешная – неуспешная» путем сложения соседних градаций. Необходимость укрупнения возникает, как правило, в тех случаях, когда отдельные классы оказываются недостаточно наполненными. Сведение к дихотомиям решает проблему унификации измерений при использовании многомерных классификаций.
Пространство признаков, образующее для аналитика систему мировых координат, обладает различной размерностью. Мы можем ограничиться в своем взгляде на мир одной переменной, и тогда он превратится в одномерный, линейный мир. Например, в зондажах общественного мнения можно задать респонденту только один вопрос: за кого он собирается голосовать. Никакого иного измерения, кроме этой «электоральной установки», не существует. В данном случае система мировых координат сводится к одной оси, имеющей два значения и более. Однако сбор социологической информации по одной переменной практикуется крайне редко. Исследователя интересуют и другие параметры, позволяющие дифференцировать объекты. Если нужны не просто сведения, а объяснения переменной, пространство признаков становится многомерным.
Как только мы «сформатировали» реальность в двумерной таблице, возникает вопрос: каковы основания судить о том, что первая переменная каким-либо образом связана со второй. Предположим, что первая переменная означает образование, а вторая—доход. Есть люди с высоким образованием и высоким доходом, но немало богатых людей и среди не окончивших среднюю школу. Если мы произведем «обмер» одного-единственного человека и установим у него высокое образование и низкий доход, мы не сможем сказать ничего определенного о взаимосвязи признаков. В данном случае мы имеем дело с сингулярностью (singularis, лат. – отдельный, одиночный). Сингулярности молчат. Одно наблюдение – мало, два наблюдения – тоже мало, мало и трех. Статистический вывод начинает работать тогда, когда единиц исследования достаточно много. «Достаточно много» означает, что при условии равновероятного попадания в каждую клетку пространства признаков наполнение каждой из них составит не менее семи единиц. Тогда единицы начнут образовывать конфигурации в нашем идеальном пространстве признаков и смогут сказать кое-что, к примеру, о взаимосвязи образования и дохода.
Здесь возникает эффект эпистемической инверсии – уже не единица исследования характеризуется определенным признаком, а сам признак характеризуется частотой – количеством единиц, которым присущ данный признак. Сотни и тысячи респондентов сообщают о себе самые различные сведения, и ни один из этих людей не интересует социолога. Социолога интересует, во-первых, сколько людей подпадает под значение переменной, т.е. наполнение класса, во-вторых, каково распределение частот по всему континууму переменной, в-третьих, как меняется распределение при введении в группировку второго, третьего и энного признаков, и, в-четвертых, имеется ли связь между признаками и насколько она меняется в различных контекстах.
Если иметь в виду только формальную структуру социологической теории, избавленную от содержательных концептуализаций, можно сказать, что в ней нет ничего, кроме пространства переменных и единиц, размещаемых в пространстве в соответствии со значениями переменных. Модификации этой «кристаллической решетки» теории определяются количеством переменных и количеством единиц исследования. Соответственно устанавливаются типы пространства переменных.
Тип 1. Много единиц – мало переменных. Крупномасштабные обследования, включающие десятки тысяч исследовательских единиц, требуют огромных затрат. В переписях населения и референдумах производится сплошной опрос, и учетчики посещают практически каждую семью. Несомненно, при таком охвате статистики стремятся получить как можно больше сведений.
Тип 2. Мало единиц – много переменных. Когда в фокусе внимания исследователя находится мало единиц, появляется возможность подробно изучить каждую из них. Подобная стратегия относится к «качественной» и ориентирована на описание случая (case study)(6).
Вполне возможна ситуация, когда осуществляется обследование одного или нескольких объектов в рамках хорошо разработанной теории и валидизированной системы переменных. В этом случае исследование называется монографическим. Его цель – не получение нового научного обобщения, а выставление диагноза обследуемому объекту.
Тип 3 – промежуточный: достаточное количество единиц – достаточное количество переменных. В нормальном социологическом исследовании переменных должно быть столько, сколько по силам обработать персоналу лаборатории. Массив же должен быть достаточным для проверки гипотезы максимальной размерности.
Переменные представляют собой различного вида «линейки», которые «прикладываются» к объектам. В этих линейках – различное число градаций, расстояния между градациями могут быть равными, неравными и вообще неизвестными. Кроме того, сами «линейки» могут претерпевать изменения под влиянием внешних обстоятельств. Коротко говоря, средства измерения могут быть хорошими и плохими. Все это создает в совокупности проблему качества социологического инструментария. Инструмент должен отвечать требованиям релевантности, валидности, надежности, точности и устойчивости.
Релевантность – это обоснование применимости измерителя к измеряемому признаку. Проблема релевантности связана с тем обстоятельством, что «наблюдаемая реальность», если таковая вообще существует, представляет или скрывает некую «подлинную» реальность, соответствующую своему понятию. Ошибки релевантности возникают до процедуры измерения, и, даже если инструмент обладает высокой степенью совершенства, он может быть нерелевантен для определенного признака.
Когда инструмент создан, возникает вопрос о возможном отклонении результата измерения от истинного значения. Надежность – это вероятность отклонения приписываемого объекту значения от истинной его характеристики. Надежность является интегральной характеристикой инструмента, включающей правильность, точность и устойчивость и валидность.
Как оценивается уровень надежности? Ведь вариация истинных и ошибочных замеров на самом деле неизвестна. Для решения этой задачи используются три техники косвенного оценивания: «тест-ретест», параллельные измерения и деление шкалы.
«Тест-ретест» показывает вероятность возникновения различных результатов при двух замерах одного и того же объекта одинаковым инструментом, но не дает никаких сведений об источнике ошибки. В частности, при повторном интервьюировании очень велика вероятность влияния первого замера на второй и последующие. Нормы морали предписывают держать свое слово, и те, у кого семь пятниц на неделе, не одобряются. Поэтому респондент склонен давать сходный ответ, если он запомнил его при первом опросе. В итоге оценка надежности инструмента будет явно завышена. На самом деле социологические признаки (особенно мнения и оценки) меняются. Если изменения будут зафиксированы, «тест-ретест» в данном случае покажет заниженную надежность.
Параллельные измерения избавлены от погрешностей, присущих «тест-ретесту». Измерительный инструмент применяется в двух формах одновременно. Например, для измерения установки можно использовать два разных тест-вопросника. Если полученные два ряда коррелируют, инструмент принимается. В данном случае остается неясным, какая форма основная, а какая параллельная. Выбор обычно осуществляется на основе произвольных критериев. Кроме того, разработка параллельных инструментов – дело довольно трудоемкое и, как правило, не оправдывает себя.
Деление шкалы заключаетсяв интерпретации двух частей континуума и более как отдельных шкал. Предположим, измерительным инструментом является совокупность вопросов. Она делится на две группы, например, на вопросы с четной и нечетной нумерацией. По каждой группе подсчитываются средние значения переменной. Затем вычисляется коэффициент корреляции – мера надежности шкалы.
Отклонение результата измерения от истинного значения признака может быть обусловлено систематической ошибкой. В данном случае речь идет о правильности. Инструмент создает систематическую ошибку, например, в тех случаях, когда шкалы несбалансированы, респонденты неверно понимают вопросы, сказывается влияние интервьюера и т.п. Смещения шкалы, как правило, возникают при ранжировании объектов по списку. Позиции, стоящие в начале списка, обычно отмечаются чаще, чем последние. Такой инструмент является неправильным. Правильным будет предъявлять респондентам карточки с наименованием объектов оценивания, не забывая их перемешивать.
Точность измерения – это количество градаций переменной, которое может быть изменено в зависимости от задач исследования. Возраст принято исчислять годами, но для младших дошкольников разница в несколько месяцев не менее важна, чем разница в несколько лет для взрослых. Расстояние от дома до работы может быть подсчитано с точностью до ста метров, однако такая точность вряд ли понадобится. Чем больше градаций, тем более точные данные получает исследователь. При этом вероятность отклонения результатов от истинных значений признака возрастает – надежность снижается.
Количество делений шкалы – результат разумного компромисса между стремлением к точности и требованиями надежности. Более точный инструмент, как правило, больше подвержен всякого рода неприятностям. Но надежность грубого инструмента не компенсирует грубости результатов. Как правило, при многократном повторении замеров и при отсутствии систематической ошибки их средняя приближается к истинному значению признака.
Устойчивость – это воспроизводимость результатов при многократных замерах. Дело в том, что меняться может не только характеристика объекта, но и сам измерительный инструмент. Он может быть точным и правильным, но неустойчивым. В отличие от правильности устойчивость нарушается по причине случайных ошибок. Устойчивость обратно пропорциональна точности. Чем чувствительнее инструмент, тем больше вариация получаемых данных. В технике устойчивость измерительного прибора в большинстве случаев можно уверенно контролировать. В социологии же, особенно при измерении установок, вторичный замер соотносится уже не со «старым» признаком, а с тем, к которому уже было применено воздействие инструмента.
Валидность инструмента связана с отношением между измерительным инструментом и результатами измерения. Предполагается, что если инструмент валидный, то существуют определенные эмпирические отношения между результатами его применения и другими свойствами или переменными. Эти отношения лежат в основе предикативной валидности – корреляции между результатами измерения и внешними критериями.
Наиболее распространенный критерий валидности связан с методом «известной группы». Предположим, надо оценить валидность тест-вопросника для измерения политического консерватизма. В качестве внешнего критерия можно избрать социально-экономический статус. Мотивы такого выбора обусловлены теоретическим выводом, что консервативные установки более представлены в среднем классе, чем в среди бедных.
Если же обнаружится, что в среднем и низшем классах примерно одинаковое количество консервативно настроенных, предикативная валидность инструмента становится сомнительной. Высокая корреляция между социально-экономическим статусом и консервативной установкой, измеренной определенным образом, не валидизирует инструмент, а только не отвергает его. Это связано с тем, что независимый критерий может не иметь никакого отношения к консерватизму.
Конструктная валидность связывает измерительный инструмент со структурой теории. Она основывается на следующем рассуждении. Во-первых, предполагается, что инструмент измеряет определенное свойство; во-вторых, это предположение интерпретируется в терминах теории; в-третьих, устанавливается круг свойств, связанных или не связанных с инструментом; в-четвертых, предполагаемые отношения подтверждаются либо не подтверждаются эмпирическими данными, Если предсказание подтверждается, то инструмент считается валидным. В случае неподтверждения допустимы три версии: 1) инструмент не измеряет предполагаемое свойство; 2) ошибочна теоретическая модель, лежащая в основе предсказания; 3) нев