Метод тестов плюсы и минусы условия. Преимущества и недостатки тестирования. Достоинства и недостатки тестирования

Метод тестов является одним из основных в современной психодиагностике. По уровню популярности в образовательной и профессиональной психодиагностике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия.

В данном разделе под тестами следует понимать методики, которые состоят из серии заданий с выбором из готовых вариантов ответа. При подсчете баллов по тесту выбранные ответы получают однозначную количественную интерпретацию и суммируются. Суммарный балл сравнивается с количественными тестовыми нормами, и после этого сравнения формулируются стандартные диагностические заключения.

Популярность метода тестов объясняется следующими главными его достоинствами:

1) стандартизацией условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним образованием. Это, однако, не означает, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием;

2) оперативностью и экономичностью. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа. Тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени на сбор данных;

3) количественным дифференцированным характером оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам. Количественный характер тестовых результатов дает возможность применить хорошо разработанный аппарат психометрики, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях;

4) оптимальной трудностью. Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 % из максимально возможного количества баллов. Это достигается за счет предварительных испытаний – психометрического эксперимента (или пилотажа). Если в ходе пилотажа становится известным, что с заданием справляется примерно половина из обследованного контингента, то такое задание признается удачным, и его оставляют в тесте;

5) надежностью. Это, наверное, самое главное достоинство тестов в образовательной психодиагностике. Лотерейный характер современных экзаменов с вытягиванием счастливых или несчастливых билетов давно уже стал притчей во языцах. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявления какого-то умения или способности). В результате возможность для «хвостистов» выбиться в отличники, а для отличника вдруг провалиться резко сокращается;

6) справедливостью. Является важнейшим социальным следствием перечисленных выше достоинств. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех в равные условия. Наиболее сильно субъективизм экзаменатора проявляется, как известно, не в трактовке уровня решенности задачи (не так просто назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий – своим полегче, чужим – труднее. Тесты обеспечивают важнейшую функцию школы как социального фильтра – функцию «социально-профессиональной селекции». То, насколько справедливой оказывается подобная селекция, имеет гигантское значение для развития общества. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного применения тестов, ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе;

7) возможностью компьютеризации. В данном случае это не просто дополнительное удобство, сокращающее живой труд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптированном компьютерном тестировании резко сокращается время тестирования). Компьютеризация – это мощный инструмент обеспечения информационной безопасности (достоверности диагностики). Компьютерная организация тестирования, предполагающая создание мощных информационных банков тестовых заданий, позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкретному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

Во многих странах внедрение метода тестов (равно как и сопротивление этому внедрению) тесно связано с социально-политическими обстоятельствами. Внедрение хорошо технически оснащенных тестовых служб в образование – важнейший инструмент в борьбе с коррупцией, поражающей правящую элиту (номенклатуру) во многих странах. На Западе тестовые службы работают независимо от выпускающих (школы) и принимающих (вузы) организаций и снабжают абитуриента независимым сертификатом о результатах тестирования, с которым он может отправляться в любое учреждение. Эта независимость службы тестирования от выпускающих и принимающих организаций является дополнительным фактором демократизации процесса селекции профессиональных кадров в обществе, дающая талантливому и просто работоспособному человеку лишний шанс проявить себя.

Что такое тестирование

Методы психологических исследований – это те научные приемы и средства, с помощью которых можно зафиксировать и описать психологические различия как между людьми, так и между группами людей, объединенных по каким-либо признакам.

Цель современной психологической диагностики заключается в получении достоверных сведений для дальнейшего построения научных теорий и выработки практических рекомендаций.

Выделяют следующие основные методы психологического исследования: метод наблюдения, опроса, тестирования и эксперимента. Метод тестов является одним из основных в современной психодиагностике.

По уровню популярности в образовательной и профессиональной психодиагностике он прочно удерживает первое место в мировой психодиагностической практике уже фактически в течение столетия.

Тест (в переводе с англ. – «проба» или «ииспытание»)– это краткое, стандартизированное испытание, поддающееся стандартизации и математической обработке данных. С помощью тестов стремятся выявить определенные способности, навыки, умения (или их отсутствие), наиболее точно охарактеризовать некоторые качества личности. Во многих случаях в психологических исследованиях используется не один, а несколько методов, каждый из которых дополняет другие, раскрывая новые стороны психической деятельности.

История возникновения тестирования

Еще в глубокой древности существовали более или менее типовые процедуры выявления индивидуальных различий между людьми. Так, в Китае более четырех тысяч лет назад высшие чиновники обязаны были выдержать в присутствии императора строгий экзамен по знанию ритуалов и церемоний, стрельбе из лука, верховой езде, умению писать, считать, музицировать. В древнем Вавилоне и в Египте претендент на должность писца должен был доказать обладание соответствующими навыками, разбираться в финансах, законах, сельском хозяйстве. В библии описаны своеобразные способы отбора воинов на особо трудные и опасные задания в зависимости от их действий на привале. В античной Греции и Риме разрабатывались весьма подробные классификации характеров и закономерности их определения по поведенческим признакам.

Несмотря на то, что все это и многое другое исторически предшествовало тестированию, возникновение научных тестов следует отнести лишь к концу девятнадцатого века. Сам термин был введен Френсисом Гальтоном (1822 -1911), занимавшимся исследованием остроты зрения и слуха, мускульной силы и т. п. Однако наибольшую популярность этот термин приобрел после выхода в свет в 1890 году статьи «Умственные тесты и измерения», написанной американским психологом Джеймсом Кеттеллом (1860-1944)

Кеттелл разработал несколько десятков тестов, направленных на оценку элементарных сенсомоторных процессов (чувствительности, времени реакции, количества воспроизводимых звуков после разового прослушивания и др.).

Широкое распространение тестов началось с 1905г, когда был предложен тест Бина-Симона для диагностики развития детского интеллекта.

Направления тестирования

В основе метода объективной психологической оценки лежит тест (или проба), который может представлять собой:

1) стимул определенной модальности, если это психофизическое исследование;

2) задачи разного уровня сложности, если это педагогическая психология;

3) задания, связанные с исследованием внимания, памяти, сообразительности и т.д. в общей и возрастной психологии.

Для того, чтобы эти тесты (пробы) могли дать объективные и измеримые данные, они предварительно проверяются на большом числе испытуемых. Например, в педагогической психологии – на детях одного возраста или людях одного уровня образования и т.д. При этом из всех предложенных задач отбираются те, которые успешно решаются значительным числом всех испытуемых (например, двумя третями).

Эта процедура называется нормированием, или определением «нормы». С ней впоследствии сравниваются решения тех испытуемых, знания, умения и навыки которых измеряются.

Результаты этих измерений оцениваются в условных баллах (или в ранговых оценках), объединенных в шкалу порядка и указывающих, какое место данный испытуемый мог бы занять по отношению к соответствующей группе испытуемых (то есть к «норме»).

Задача психологических тестов, таким образом, – измерить различия между индивидами или между реакциями одного индивида в разных условиях.

Виды тестов

Тесты различаются по форме проведения:

Тест-опросник - это система заранее продуманных, тщательно отобранных и проверенных с точки зрения их надежности и валидности вопросов, по ответам на которые можно судить о психологических качествах испытуемых.

Тест-задание предполагает оценку психологии и поведения человека на базе его действий. В тестах этого типа испытуемому предлагается серия специальных заданий, по итогам выполнения которых судят о наличии или отсутствии и степени развития у него изучаемого качества.

Выделяют следующие виды тестов:

1. Личностные тесты предназначены для выявления личностных особенностей, черт характера. Набор выявляемых качеств зависит от теоретической концепции, положенной в основу теста. Эти тесты могут выявлять уровень выраженности каждой характеристики (например, тест Кеттелла), или по совокупности данных, относить человека к тому или иному типу (например, тест Майерс-Бригс). Существуют как комплексные тесты, описывающие личность в целом, так и тесты на какое-либо определенное качество (например, тесты на определение темперамента Айзенка и др.). Некоторые тесты предназначены для выявления патологий характера и личностного развития (например, ММРI).

2. Интеллектуальные тесты предназначены для выяснения уровня интеллекта и образования. Интеллектуальные тесты предполагают несколько заданий (арифметических, логических, графических и т. д.), которые расположены по мере повышения сложности (например, тест Венгера). Как правило, на выполнение интеллектуального теста дается ограниченное количество времени.

3. Тесты способностей . Способностями называют индивидуально-психологические особенности человека, которые способствуют его успеху в какой-либо деятельности. Способности проявляются в деятельности, формируются в деятельности и существуют относительно определенной деятельности. Выделяют общие и частные способности. Общие способности, присущие всем людям основные формы психического отражения: способности ощущать, воспринимать, запоминать, мыслить; а также в большей или меньшей степени присущие всем людям способности к общечеловеческим видам деятельности: игре, обучению, труду, общению. Частные – присущие не всем людям способности: музыкальный слух, точный глазомер, особенности моторики, памяти и т.д.

4. Проективные тесты . В современной психодиагностике их выделяют отдельно. В основе проективных тестов лежит механизм проекции, выявляющие собственные неосознаваемые мысли, качества, недостатки (например, тесты АРТ, ТАТ). Данные виды теста включают в себя также рисуночные, цветовые (например, тест Люшера), конститутивные и интерпретационные методики. Пользуясь проективным тестом, психолог может ввести испытуемого в воображаемую, сюжетно неопределенную ситуацию, подлежащую произвольной интерпретации. Такой ситуацией может стать, например, поиск определенного смысла в картинке, где изображены неизвестно какие люди, непонятно чем они заняты. Нужно ответить на вопросы, кто эти люди, о чем думают и что произойдет дальше. На основании содержательной интерпретации ответов судят о собственной психологии отвечающих.

Применение тестов

Как методический инструмент тесты широко используются в современных исследованиях. Однако прежде чем решить, какой из сотен имеющихся тестов может быть применен для исследования, психолог задается вопросом:

1) какова цель теста?

2) для какой группы лиц он лучше подходит?

3) чем он отличается от других методов изучения индивидуальности человека?

4) насколько ответственно он конструировался?

5) насколько он точен?

6) насколько адекватны и действительны его результаты?

От каждого измерительного инструмента требуется, чтобы он был как можно более точным, чтобы на полученные результаты можно было положиться как на данные, близкие к «настоящей» величине измеряемого признака. Следовательно, точность можно понимать как меру достоверности, с какой тест измеряет ее.

Достоинства и недостатки тестирования

Популярность метода тестов объясняется следующими главными его достоинствами .

1) Стандартизация условий и результатов. Тестовые методики относительно независимы от квалификации пользователя (исполнителя), однако это не означает того, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием.

2) Оперативность и экономичность. Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полуминуты, а весь тест занимает не более часа (в школьной практике это один урок); тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени (человеко-часов) на сбор данных.

3) Количественный дифференцированный характер оценки. Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам (знаниям, умениям в данной области). Хороший тест позволяет различать не только три категории учеников – отличников, «середнячков» и «хвостистов», но и хорошо дифференцировать испытуемых на полюсах шкалы – отличать просто способных от очень способных и талантливых, а среди отстающих отличать небезнадежных от «безнадежных» (или совершенно неподготовленных). Кроме того, количественный характер тестовых результатов дает возможность применить в случае тестов хорошо разработанный аппарат психометрии, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях.

4) Оптимальная трудность. Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 процентов из максимально возможного количества баллов. Это достигается за счет предварительных испытаний – психометрического эксперимента, или пилотажа. Если в ходе пилотажа становится известно, что с заданием справляется примерно половина из обследуемого контингента, то такое задание признается удачным и его оставляют в тесте.

5) Надежность. Это, может быть, самое главное достоинство тестов. «Лотерейный» характер современных экзаменов с вытягиванием «счастливых» или «несчастливых» билетиков давно стал притчей во языцех. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявлений какого-то умения или способности). В результате возможность для «хвостиков» выбиться в отличники, а для отличника вдруг «провалиться» резко сокращается.

6) Справедливость. Справедливость является важнейшим достоинством метода тестов. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех испытуемых в равные условия. Наиболее сильно субъективизм экзаменаторов проявляется, как известно, не в трактовке уровня решенности задачи (не так просто можно назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий: своим – полегче, чужим – труднее.

7) Возможность компьютеризации. В результате компьютеризации повышаются все параметры тестирования (например, при адаптивном компьютерном тестировании резко сокращается время тестирования). Компьютерная организация тестирования, предполагающая создание мощных информационных «банков тестовых заданий», позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкурентному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

8) Психологическая адекватность. Это важнейшее психологическое следствие оптимальной сложности. Наличие в тесте (по сравнению с традиционными экзаменационными вариантами) большого количества кратких заданий средней трудности дает многим испытуемым поверить в себя, активизировать психологически оптимальную установку «на преодоление».Свойство оптимальной сложности важно для теста тем, что оно обеспечивает не только измерительную (различающую) силу тесту, но и оптимальный психологический настрой испытуемых. Тестовая ситуация оптимальной сложности является оптимальным возбудителем – люди испытывают нормальный уровень стресса (напряжения), необходимый для того, чтобы показать наивысший результат. Недостаток стресса (в случае легкого теста), а тем более избыток (в случае трудного) искажают результаты измерения. Этого, как правило, совершенно не понимают организаторы наших конкурсных экзаменов, пытающиеся в случае высокого конкурса дать абитуриентам задачки посложнее («на засыпку»), что создает избыточный стресс, который не дает возможности проявить себя людям, подготовленным хорошо, но обладающим пониженной стрессоустойчивостью.

Метод тестов обладает некоторыми весьма серьезными недостатками , не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию, такими как:

1) Опасность «слепых» (автоматических) ошибок . Например, испытуемый не понял инструкции и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил искажающую тактику, возник сдвиг в приложении трафарета-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т.д.

2) Опасность профанации . Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. Все проблемы предполагается решать с помощью 2–3 тестов – на все случаи жизни. К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Примером такой профанации может служить повальное использование клинического теста MMPI для отбора кадров в нашей стране. Недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку;

3) Потеря индивидуального подхода, стрессогенность . Тест – самый общий ранжир, под который подгоняют всех людей. Возможность упустить яркую индивидуальность нестандартного человека, к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует, особенно в ситуации аттестационного тестирования. Люди с пониженной стрессоустойчивостью начинают волноваться и ошибаться в элементарных для себя вопросах. Вовремя заметить такую реакцию на тест – задача квалифицированного и добросовестного исполнителя;

4) Отсутствие возможности раскрыть индивидуальность. С точки зрения выявления творческого потенциала большинство тестов ограничено именно тем, что они не апеллируют к творческой, конструктивной деятельности. Они выполнены в форме стандартного набора заданий с заданным ответом;

6) Отсутствие доверительной обстановки . Формализованный характер процедуры тестирования лишает испытуемого ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь в его проблемах и трудностях. Диалогические методы (беседа, игра) в этом плане имеют несомненные преимущества: непосредственно общаясь с испытуемым, квалифицированный психолог может установить доверительный контакт, проявить персональное участие, создать атмосферу, снимающую напряжение и защиту.

Заключение

Таким образом, тесты нельзя делать единственным исчерпывающим методом любой диагностики (и образовательно-профессиональной, и личностной) – они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). Место тестов – дополнять указанные выше традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.

Похожая информация.

Большинство учеников в процессе изучения английского будут проходить проверку знаний: TOEFL, IELTS, школьные экзамены и т.д. Тесты - способ довольно быстро и легко проверить большой объем информации, и, как любой тип проверки, помогает психологически подготовить ученика к предстоящим экзаменам. Также тест - статистическое доказательство прогресса ученика,так как здесь он получает четкий результат, например, 80% из 100.

В то же время следует учесть, что тесты подходят для проверки далеко не всех языковых навыков, в первую очередь главного - говорения. Кроме этого тесты дают представления скорее о пассивных, чем активных знаниях ученика. Многие, например, без проблем выбирают в тесте правильные глагольные формы, в то же время неправильно их используют в общении и письме.
В статье рассмотрим различные виды тестовых заданий, их преимущества и недостатки, а также для проверки каких навыков они лучше всего подходят.

Типы тестовых заданий:

Multiple choice
Transformation
Gap-filling
Matching
Cloze
True / False
Open questions
Error correction

1. Multiple choice

Choose the correct word to complete the sentence.
I ….. tennis every Sunday morning.

playing
play
am playing
am play

Суть задания: ученик должен выбрать среди несколько вариантов правильный ответ.
Подходят для проверки: грамматики, лексики, чтения и аудирования.
Преимущества:
– самый быстрый способ протестировать большой объем информации
– подходят для подготовки учеников к стандартизованным тестам
Недостатки:
– создание качественных тестов с множественным выбором занимает немало времени.

2. Transformation

Complete the second sentence so that it has the same meaning as the first.
We paid some people to landscape the garden for us last year.
had
We _____________________________________ last year.

Суть задания: ученик должен переделать предложение используя определенное слово.
Подходит для проверки: грамматических форм

3. Matching

Суть задания: ученик сопоставляет пункты с одной колонки с соответствующими пунктами с другой. Это могут быть индивидуальные слова, слова и их определения, части предложения, картинки и слова и т.д.
Подходят для проверки: лексики
Преимущества:
– уменьшают «тестовый стресс» ученика, так как есть опора для ответов
Недостатки:
– не всегда предоставляют четкую картину о знаниях ученика. Даже если ученик не знает правильного ответа, у него есть шанс угадать. Эту проблему можно решить, если включить во вторую колонку больше слов или картинок чем в первой.
– одна ошибка может «подвинуть» все задание и оно будет выполнено неправильно

4. Completion (fill in the blank tests, cloze tests)

Complete the text by adding a word to each gap.

Word Bank: feast, turkey, parade, football, cranberry, pumpkin pie, thanks

Thanksgiving is a special time of year when families come together and give ___ for all they have.
There is a popular ___ in New York, and you can also enjoy the ___ games on TV.
Thanksgiving dinner is a ___ that includes ___, potatoes, ____ sauce and much more.
There are also many desserts after Thanksgiving dinner, including the most popular ___.

Суть задания: ученик заполняет пропуски в предложениях.
Подходит для проверки: грамматики и лексики

5.True / False

Decide if the statement is true or false.
The currency of the USA is the dollar. T/F

Суть задания: каждый вопрос являет собой утверждение. Ученик должен определить правильно оно или нет.
Подходит для проверки: чтения и аудирования.
Преимущества:
– очень быстро и легко проверяются
Недостатки:
– в таком типе задания ученик может выбрать неправильный ответ не из-за незнания темы, а обычной невнимательности к каким-то деталям
– не всегда указывают на пробелы в знаниях, так как ученик имеет 50% шансов удачно угадать. Эту проблему можно решить с помощью дополнительного задания – ученик должен не просто отметить неправильные утверждения, но и исправить их.

6. Open questions

Answer the questions.
Why did John go to the shop?

Суть задания: ученик дает письменные ответы на вопросы
Подходит для проверки: всех языковых аспектов.
Преимущества:
– проверяет, насколько хорошо ученик может использовать знания, а не только то, сколько информации он заучил.
Недостатки:
– требует больше времени для проверки
– проверка более субъективна, чем при других видах тестовых заданий. Один преподаватель может быть согласен с выбором слов ученика, другой – нет. Эту проблему можно решить с помощью word bank – набора лексики, которую ученики могут использовать при ответе. Желательно предоставить ученикам больше вариантов, чем требуется в ответе. Например, если в тесте 20 вопросов, word bank может содержать 30 слов.

Error Correction

Find the mistakes in the sentence and correct them.
I would rather to work from home than come to the office.

Суть задания: ученик должен найти и исправить ошибки в предложении. Ошибками могут быть лишние слова, неправильные формы глаголов, пропущенные слова и т.д.
Подходит для проверки: грамматики, лексики, чтения и аудирования

Подводя итоги следует заметить, что к главным плюсам тестов относится то, что это - структурированный и объективный способ быстро проверить большое количество информации.
Главный минус - тесты не подходят для проверки главного аспекта изучения - коммуникации. Поэтому для полноценной проверки уровня владения языком тестовые задания следует комбинировать с такими формами проверки, как эссе и устное собеседование.

Перед каждым разработчиком ПО рано или поздно встает задача оценки качества выпускаемого продукта. Зачастую руководители небольших проектов считают непозволительной роскошью прибегать к услугам профессиональных тестировщиков. Ведь, на первый взгляд, кто, если не сам разработчик или пользователь может наилучшим образом найти недостатки в программе? По сути, в этом случае все исследование сводится к бета-тестированию («Бе́та-тести́рование (англ. betatesting) – интенсивное использование почти готовой версии продукта (как правило, программного или аппаратного обеспечения) с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю»).

Практика использования клиентов – потребителей продукта в качестве тестировщиков в последнее время стала достаточно популярной. Мы постараемся оценить очевидные на первый взгляд плюсы и минусы бета-тестирования и тестирования специалистами. Все ли из них оказываются «плюсами» или «минусами» при ближайшем рассмотрении?

Плюсы и минусы бета-тестирования

Плюсы :

1. Обратная связь.
Неоспоримым достоинством бета-тестирования является получение реальной обратной связи с пользователями продукта. Для этого применяются различные инструменты: сбор отзывов, анкетирование, периодическое вовлечение реальных бизнес-пользователей в процесс тестирования.

Действительно, в ряде случаев только пользователи могут провести проверку ПО на выявление наиболее удобных, наиболее интересных или, наоборот, наиболее неприемлемых модулей и функций. Получив такие отзывы, разработчики могут оперативно доработать продукт с учетом высказанных пожеланий: поменять логику системы, отредактировать тестовые сценарии.

Дефекты ПО также выявляются при использовании редко встречающихся окружений. Таким образом, при выборе стратегии бета-тестирования следует учитывать, что наилучший результат будет достигнут при условии привлечения большого количества пользователей с разным окружением. Прекрасным примером такой работы является стратегия известной компании Google. Используя мощное оборудование, компания систематизирует и классифицирует отзывы десятков тысяч пользователей, доводя свои программные продукты до совершенства.

2. Экономия средств.

Плюсом бета-тестирования, на первый взгляд, является его невысокая стоимость. Действительно, в идеале мы получаем тестовое покрытие без дополнительных вложений. Чаще всего метод бета-тестирования используется в области игровой индустрии. Опыт многих фирм-разработчиков подтверждает экономическую целесообразность этого метода. Снижение общих затрат компании может быть достигнуто и при использовании бета-тестов в качестве инструмента продвижения системы. Бесплатное тиражирование бета-версий обеспечивает повышенный интерес конечных пользователей к итоговой версии продукта.

Но всегда ли всё складывается так удачно? Как показывает практика, отсутствие грамотной стратегии бета-тестирования может привести к печальным результатам. Рассмотрим это на реальных примерах.

Не так давно некая компания, выпускающая компьютерные игры, разместила бета-версию в свободном доступе. Целью акции было получение баг-репортов от пользователей. Дело сразу не заладилось: отзывов поступало очень мало. Разработчикам пришлось предложить бонусы в виде необходимых внутриигровых артефактов за каждый оставленный баг-репорт. Только после этого шага была, наконец, получена необходимая информация.

В результате такой «беспроигрышной» стратегии компания потратила гораздо больше времени, чем планировала. Более того, она понесла дополнительные расходы на «содержание» всей команды разработки во время ожидания результатов.

Другой свежий пример: один японский разработчик выдал в бета-тестирование широко известную игру для мобильных устройств. Каково же было удивление пользователей, когда оказалось, что у них не всегда получалось даже просто запустить игру на своих устройствах. Мало того: участники бета-тестирования преждевременно распространили в сети информацию об игре, что нарушило планы кампании. Фактически, «экономия» привела к коммерческому провалу запуска игры. При этом компания, как и в предыдущем случае, потратила сверхплановые время и средства.

Описанные ситуации показывают, что бета-тестирование, спланированное без привлечения опытных специалистов, далеко не всегда приводит к экономии средств.

Минусы :

1. Низкая квалификация тестировщиков.

Важно помнить, что основные участники бета-тестирования – это добровольцы из числа обычных пользователей будущего продукта. Эти люди не всегда обладают даже минимальными техническими навыками, позволяющими дать качественную оценку ПО. Конечно, о чёткой локализации и понятном описании бага при бета-тестировании можно даже не вспоминать – этим всё равно понадобится заниматься штатным тестировщикам.

2. Неполное тестовое покрытие.

Некую аналогию бета-тестирования можно увидеть в легендарном фильме «Операция «Ы»…». По сюжету перед «бандой» стоит задача – инсценировать ограбление склада, на котором «все уже украдено до вас». В качестве «тестового стенда» используется гараж, переоборудованный так, чтобы получить характеристики реального склада («Продуктив»). Банда подбирает отмычки и проводит «тестовые сценарии» по проникновению и имитации ограбления. В целом, операция должна пройти успешно, НО… «Трус», натренированный «на кошках», в ответственный момент натыкается на альтернативный сценарий: «А где бабуля?» – «Я за нее» . В итоге операция «Ы» оказывается проваленной. Практика показывает, при тестировании непрофессионалами часть функционала всегда остается не охваченной.

Плюсы и минусы тестирования специалистами

Теперь постараемся сформулировать основные плюсы и минусы работы с профессиональными тестировщиками.

Плюсы :

Плюсов работы с опытной командой – великое множество, мы остановимся лишь на некоторых из них.

1. Комплексный подход к тестированию.

Очевидно, главный плюс, интересующий всех, – это высокое качество тестирования, достигаемое с помощью максимального охвата всех стадий работы. Дефекты, пропущенные в таких приложениях, как, к примеру, десктопное или мобильное ПО, приводят к огромным финансовым потерям как самого разработчика, так и его клиентов. Возможность составления планов и согласования тестового покрытия с бизнес-аналитиками дает уверенность в минимизации материальных рисков. Тестировщики участвуют в процессе определения состава релиза, проверяют надежность процедуры как полного отката версии, так и частичных изменений и преобразования данных.

2. Отчётность о результатах тестирования.

По результатам работы специалистов заказчик получает не только список пройденных сценариев, но и набор отчетов, в которых содержатся заключения о качестве выпущенного продукта и узких местах ПО, а также предложения по доработкам. На основании таких отчетов производитель имеет возможность оперативно принимать дальнейшее решение по продукту. Все необходимые исправления и изменения излагаются так, что разработчики могут сразу приступать к их реализации.

3. Высокое качество тестирования, основанное на опыте специалистов.

Возвратимся к примеру «Операции «Ы». Квалифицированные специалисты никогда бы не упустили альтернативные сценарии, и исход мероприятия мог быть совсем другим. Опыт – великая вещь! При этом команда тестировщиков несет полную ответственность за свою работу, чего никак нельзя сказать об участниках бета-тестирований.

Минусы :

К минусам привлечения специалистов чаще всего относят «понятие двух «Д»: «дорого и долго». Далеко не каждая компания может себе позволить расширять штат и нанимать сотрудников-тестировщиков на постоянную основу, особенно если речь идет о стартапах. Поэтому в настоящее время большой популярностью пользуется аутсорсинг. Он дает возможность привлечь команду специалистов на конкретный проект.

Другая тенденция – переход от традиционных методов разработки и тестирования (Waterfall) к гибким (Agile). Джанет Грегори и Лиза Криспин опубликовали прекрасную работу, детально описывающую место разработчиков и тестировщиков в Agile-проектах . Однако, не следует забывать, что любой тестировщик должен обладать минимальными техническими навыками и уметь хорошо ориентироваться в предметной области.

С другой стороны, приведенные в этой статье примеры показывают, что надежды на экономию времени и средств от использования «усеченного» бета-тестирования зачастую оказываются несбыточными. А значит, «долго и дорого» – это всего лишь расхожий штамп, далеко не всегда подтверждаемый на практике.

Заключение

Итак, без качественного тестирования вы однозначно рискуете выдать клиенту продукт с багами. Но качественное тестирование также подразумевает получение информации о соответствии выпускаемого продукта ожиданиям конечных пользователей. Вам нужно самостоятельно принять решение о том, какой способ тестирования необходимо использовать на вашем проекте, либо применить стратегию, сочетающую оба подхода. Мы же надеемся, что эта статья поможет вам сделать грамотный выбор.

Тестирование учащихся в школе отнюдь не новомодное изобретение, как сейчас многие хотят представить. Периодически выполняемые школьниками контрольные и самостоятельные работы, фронтальные опросы и персональные задания также имели своей целью выявить уровень усвоения полученных знаний. С появлением в школах компьютеров работа по составлению и проверке тестов на самые различные темы по самым различным предметам намного упростилась. А вот сами тесты появились в школах гораздо раньше.

В чём плюсы и минусы тестирования как способа контроля

Многие преподаватели в своей работе использовали так называемые карточки с тестами. Каждая карточка представляла собой уникальное индивидуальное задание, раздавались они классу буквально на 10-15 минут. После этого карточки собирались и урок продолжался. Такие тестовые задания позволяли учителю определить полноту усвоения школьниками материалов предыдущего урока. Причем, на проверку таких карточных тестов требовалось очень мало времени – на одну карточку всего несколько секунд. В то же время на проверку одной самостоятельной работы учитель тратил не меньше пяти минут и то при условии, что ему приходилось прежде иметь дело с подобными заданиями.

Отношение к тестам в школе далеко не однозначное. Многие считают, что тесты не отражают реального уровня приобретенных учениками знаний. Отчасти это справедливо, поскольку полностью полагаться на результаты тестов, исключив все другие способы проверки знаний, ни в коем случае нельзя. Во время выполнения тестов ученики могут допустить какую-то незначительную оплошность, которая повлияет на результат или попросту поспешить и разнервничаться, да мало ли что еще. Но эффективность тестов как средств быстрой оценки успеваемости в классе отрицать нельзя. Вопрос только в том, что безоговорочно принимать все результаты тестов недопустимо, необходимо проверять результаты тестов и проводить дифференцированный анализ по каждому ученику в отдельности.

При проверке самостоятельной работы, например, по математике, учитель может увидеть ход вычислений ученика и выявить ту досадную опечатку, которая привела к ошибке. Может быть, кто-то отвлек ученика в этот момент, а времени на самостоятельную проверку у него не было. Опытный и объективный педагог никогда не посчитает это ошибкой, тем более, если и формулы и ход решения были абсолютно правильными. Тестирование же требует только правильного ответа. При выполнении тестов, в которых требуется выполнить какие-то действия, для получения ответа, ученикам рекомендуется сдавать свои черновики вместе с тестовыми карточками. Тогда и у педагога и у ученика будут основания пересмотреть результаты теста и поставить правильную оценку. Применение простых тестов, в которых надо, например, подставить в формулу нужное значение, ответить на вопрос однозначно «да» или «нет» либо назвать единицу измерения, наиболее точно отражают усвоение материала и не требуют уточнений. И применение таких тестов в школах должно проводиться как можно чаще.

Качество подобных тестов на сегодняшний день, увы, оставляет желать лучшего. Дело тут не только в том, что недостаточно исходного материала или средств выполнения самостоятельной разработки тестов, а еще и в том, что со временем и само отношение к тестам стало негативным и наработки прошлых лет оказались потеряны. А ведь тестирование в школе это не просто дань моде и нельзя ее воспринимать формально, как некую вмененную обязанность. Тестирование дает хорошую возможность ученикам увидеть наглядно свои пробелы в обучении и постараться их исправить. Ведь при поступлении в высшее учебное заведение, а особенно во время учебы студенту придется столкнуться с мнением педагогов, которые будут оценивать их знания объективно, невзирая на их предыдущие школьные заслуги. Очень важно с самого начала показать, что знания, полученные в школе, а главное стремление их получить, не прошли для студента даром.

Что учесть при разработке тестов

При разработке тестов необходимо учитывать несколько важных факторов. Первое, тесты должны быть составлены только на основе пройденного материала, дополнительный материал здесь учитываться не должен. Второе, время, отводимое на выполнение определенного тестового задания, должно быть рассчитано с учетом скорости выполнения подобных заданий не в среднем по классу, а по самому медлительному ученику, при необходимости таким детям следует дать дополнительное время без ущерба для усвоения нового материала. Третье, построение тестов должно идти от простого к сложному, чтобы ученик не запнулся на первых заданиях и не потерял драгоценное время. Четвертое, все тестовые задания должны быть выполнимы, то есть предварительно проверены на наличие опечаток. При несоблюдении хотя бы одного из этих требований говорить о полноценной и объективной оценке знаний невозможно.