ГОСТ Р ИСО 19105-2003
Группа Т43
НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ
ГЕОГРАФИЧЕСКАЯ ИНФОРМАЦИЯ
Соответствие и тестирование
Geographic information. Conformance and testing
ОКС 35.240.70
Дата введения 2004-07-01
Предисловие
1 РАЗРАБОТАН Государственным научно-внедренческим центром геоинформационных систем и технологий (Госгисцентр)
ВНЕСЕН Техническим комитетом по стандартизации ТК 394 "Географическая информация/геоматика"
2 ПРИНЯТ И ВВЕДЕН В ДЕЙСТВИЕ Постановлением Госстандарта России от 9 декабря 2003 г. N 359-ст
3 Настоящий стандарт идентичен международному стандарту ИСО 19105-2000 "Географическая информация - Соответствие и тестирование", подготовленного Техническим комитетом ISO/TC 211 "Geographic information/Geomatics" (ИСО ТК/211 "Географическая информация/Геоматика")
4 ВВЕДЕН ВПЕРВЫЕ
Введение
Стандартизация в области цифровой географической информации нацелена на создание структурированного набора международных стандартов для информации, касающейся объектов и явлений, которые прямо или косвенно связаны с определением их местоположения на Земле. Эти стандарты определяют методы, инструменты и услуги по управлению данными (включая определение и описание), получение, обработку, анализ, оценку, представление и передачу указанных данных в цифровой/электронной форме между различными пользователями, системами и местами расположения. Работа связана, где это возможно, с соответствующими международными стандартами на информационные технологии и обеспечивает общую схему для разработки приложений, специфических для каждого направления, использующего географические данные.
Стандарт опирается на некоторые положения таких стандартов, описывающих соответствие и тестирование, как ГОСТ Р ИСО/МЭК 9646-1 (в области взаимосвязи открытых систем), ГОСТ Р ИСО 10303-31 (в области промышленных автоматизированных систем и объединений) и ИСО/МЭК 10641 (в области компьютерной графики и обработки изображений). Хотя общая схема тестирования на соответствие, описанная в данных трех стандартах, используется и в этом стандарте, некоторые концепции для применения их в данной конкретной области были изменены.
Цель стандартизации в области цифровой географической информации не может быть полностью достигнута, если данные и системы не могут быть тестированы на соответствие требованиям стандартов на географическую информацию. Тестирование соответствия - это проверка исследуемого объекта на наличие определенных характеристик, требуемых стандартом, и степени соответствия объекта стандарту. Тестирование включает в себя проверку исследуемого объекта на соответствие требованиям определенного стандарта (или стандартов) и удовлетворение этим объектом заявленных возможностей.
Общая схема комплекса проверок должна быть определена для всех стандартов серии "Географическая информация". Стандартизация требует международного определения приемлемости общей методологии тестирования вместе с соответствующими методами и процедурами тестирования.
В настоящем стандарте рассматриваются общие методы тестирования. Тестирование на соответствие не включает в себя проверку на эксплуатационную надежность, приемку и эксплуатационные качества, поскольку стандарты данной серии не содержат требований, относящихся к указанным областям.
Организация, рассматривающая использование методов тестирования, определенных в данном стандарте, должна тщательно учитывать существующие ограничения на их применимость.
1 Область применения
Настоящий стандарт определяет общую схему, концепции, методологию тестирования и критерии, которые должны быть удовлетворены для того, чтобы можно было заявить о соответствии объекта стандартам на географическую информацию и устанавливает общую схему для определения комплекса проверок (КП) и процедур, которым нужно следовать во время тестирования на соответствие. Соответствие может требоваться для данных, программных продуктов, спецификаций, включая любой профиль или функциональный стандарт.
Стандартизация методов проверок и критериев для соответствия стандартам на географическую информацию позволяет регламентировать проверку соответствия указанным стандартам. Проверяемое соответствие важно для пользователей географической информации с точки зрения обеспечения обмена данными и совместного пользования ими.
К стадиям тестирования и определения соответствия относят:
- определение КП соответствия стандартам на географическую информацию;
- определение методов тестирования на соответствие стандартам на географическую информацию;
- процесс оценки соответствия, выполняемый испытательной лабораторией для заявителя, завершающийся составлением отчета о тестировании на соответствие.
Настоящий стандарт устанавливает требования для процедур тестирования на соответствие стандартам на географическую информацию, а также предоставляет руководство по этим процедурам.
Выполнение этих процедур обеспечивает:
- достоверность как меру соответствия при тестировании;
- сравнимость результатов соответствующих тестов, проведенных в разных местах в разное время;
- упрощение связи между сторонами, ответственными за действия, описанные выше.
Настоящий стандарт содержит требования к пункту о соответствии (приложение А).
В приложении В приведена общая схема сертификации (административной процедуры, которая может следовать за тестированием на соответствие).
В настоящем стандарте не рассматриваются:
- требования на поставку и контракты;
- тестирование с применением определенных методов, характерных для конкретных приложений или систем;
- тестирование на принятие, представление и прочность.
Общая схема, установленная настоящим стандартом, включает в себя концепцию комплексов исполняемых проверок (КИП), которые по своей природе не могут быть стандартизованы.
2 Соответствие
2.1 Требования соответствия
Настоящий стандарт определяет соответствия двух классов:
- А - соответствие спецификаций, включая любой профиль или функциональный стандарт серии стандартов на географическую информацию в целом;
- Б - соответствие разделам настоящего стандарта.
2.2 Комплекс проверок
2.2.1 Проверка на соответствие классу А
а) Цель тестирования - проверить соответствие стандартам на географическую информацию.
б) Метод тестирования - визуально проверить, что все спецификации, включая профили и функциональные стандарты, требующие соответствия стандартам на географическую информацию имеют пункты о соответствии. Пункт о соответствии не должен исключать соответствия ни одному стандарту на географическую информацию. Тестирование на соответствие выполняют, как указано в разделе 7. Использованный метод тестирования должен соответствовать разделу 8.
в) Ссылка - ГОСТ Р ИСО 19105.
г) Тип тестирования - проверка параметров.
2.2.2 Проверка на соответствие классу Б
а) Цель тестирования - проверить правильность написания пункта о соответствии.
б) Метод тестирования - визуально проверить соответствие написания пункта о соответствии приложению А.
в) Ссылка - ГОСТ Р ИСО 19105, приложение А.
г) Тип тестирования - проверка параметров.
3 Нормативные ссылки
В настоящем стандарте использованы ссылки на следующие стандарты:
ГОСТ Р ИСО/МЭК 9646-1-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения
ГОСТ Р ИСО/МЭК 9646-2-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 2. Спецификация комплекта абстрактных тестов
ГОСТ Р ИСО/МЭК 9646-5-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 5. Требования к испытательным лабораториям и клиентам в процессе оценки соответствия
ГОСТ Р ИСО 10303-31-2002 Системы автоматизации производства и их интеграция. Представление данных об изделии и обмен данными. Часть 31. Методология и основы аттестационного тестирования. Общие положения
ГОСТ Р ИСО/МЭК 17025-2000 Общие требования к компетентности испытательных и калибровочных лабораторий
ГОСТ Р ИСО 19113-2003 Географическая информация. Принципы оценки качества
ИСО/МЭК 10641-93* Информационные технологии. Машинная графика и обработка изображений. Тестирование соответствия протокольной регистрации графических стандартов
_______________
* Во ВНИИКИ Госстандарта России.
4 Определения и сокращения
В настоящем стандарте использованы следующие термины с соответствующими определениями:
4.1 географическая информация: Информация об объектах и явлениях, содержащая в явном или неявном виде указание на их местоположение относительно Земли.
4.2 проверка: Обобщенное описание операции, которая позволит определить соответствие-несоответствие тому или иному требованию.
Примечание - Проверка является формализованной основой для исполняемой проверки. Проверка не зависит ни от исследуемого объекта, ни от определенных величин.
4.3 метод проверки: Характер испытаний исследуемых объектов, не зависящий от конкретных процедур тестирования.
4.4 модуль проверок: Набор связанных между собой проверок.
Примечание - Модули проверки могут вкладываться друг в друга, образуя иерархию.
4.5 комплекс проверок: Модуль проверок, определяющий все требования, которые должны быть удовлетворены для заявления о соответствии.
4.6 предварительный тест: Тест, предназначенный для выявления очевидных случаев несоответствия.
4.7 тест параметров: Тест, разработанный для определения того, соответствуют ли характеристики объекта тестирования требованиям стандарта так, как это описано в пункте о цели тестирования.
4.8 соответствие: Выполнение заданных требований.
4.9 оценка соответствия: Степень соответствия тестируемого объекта требованиям стандарта.
4.10 пункт о соответствии: Пункт в тексте стандарта, определяющий, что необходимо для соответствия установленным требованиям.
4.11 проверка на соответствие: Тестирование исследуемого объекта с целью определения степени соответствия объекта установленным требованиям.
4.12 отчет о тестировании на соответствие: Резюме соответствия стандарту, а также результаты тестирования, которые подтверждают данное заключение.
4.13 объект: Объект, исследуемый с целью установления соответствия.
4.14 исполняемая проверка: Проверка объекта на соответствие конкретным требованиям.
Примечание - Операция проверки с конкретной оценкой соответствия.
4.15 комплекс исполняемых проверок: Набор проверок, исполняемых при исследовании на соответствие конкретного объекта.
4.16 заключение о несоответствии: Заключение по результатам тестирования, сообщающее о несоответствии.
Примечание - Может быть несоответствие цели тестирования, либо, по крайней мере, одному из требований соответствия определенному стандарту (или стандартам).
4.17 тест на наличие ошибок: Испытание, ориентированное на определение ошибок в исследуемом объекте.
Примечание - Если ошибка найдена, можно сделать вывод, что исследуемый объект не соответствует стандарту; однако отсутствие ошибок не обязательно предполагает обратное. Тест на наличие ошибок может только продемонстрировать несоответствие. В большинстве случаев из-за технических и экономических проблем в качестве метода тестирования на соответствие принимают тест на наличие ошибок.
4.18 заявление о соответствии: Заявление о соответствии исследуемого объекта определенным требованиям.
4.19 дополнительная информация: Вся информация, связанная с исследуемым объектом и позволяющая испытательной лаборатории выполнять соответствующий комплекс проверок для этого объекта.
Примечание - В типичном случае дополнительная информация обеспечивает детальные данные по организации и хранению понятий в тестируемой системе, а также по средствам доступа к этой системе и ее модификациям.
4.20 недоказательное заключение: Заключение о результатах тестирования, которое дается, когда не могут быть даны ни заключение о прохождении теста, ни заключение о несоответствии.
4.21 несоответствие: Невозможность удовлетворить одно или несколько установленных требований.
4.22 заключение о прохождении: Заключение о тестировании, подтверждающее соответствие.
4.23 испытательная лаборатория: Организация, которая выполняет процесс оценки соответствия.
4.24 полный тест: Комплекс проверок, разработанный для строгого доказательства соответствия исследуемого набора характеристик.
Примечание - Термины "реализация" и "тестируемая система", используемые в ИСО 19105, исключены из текста настоящего стандарта как избыточные. Все положения стандарта отнесены к термину "объект", в качестве которого могут иметь место данные, услуги, программные продукты и др.
В настоящем стандарте использованы следующие сокращения:
КП - комплекс проверок;
КИП - комплекс исполняемых проверок.
5 Общая схема соответствия
5.1 Введение
Исследуемый объект характеризуется соответствием стандартам на географическую информацию, если он удовлетворяет требованиям указанных стандартов. Требования соответствия приведены в пункте о соответствии в каждом стандарте.
5.2 Пункт о соответствии
Все стандарты на географическую информацию, для которых возможно тестирование, содержат пункт о соответствии. Этот пункт определяет все требования, которые должны быть удовлетворены для заявления о соответствии стандарту. Пункт о соответствии служит отправной точкой для проверки на соответствие.
Требования к пункту о соответствии приведены в приложении А.
5.3. Требования о соответствии
Требования о соответствии классифицируют следующим образом:
а) обязательные - должны быть исследованы во всех случаях;
б) обусловленные - должны быть исследованы при наборе условий, определенных комплексом параметров;
в) выборочные - проверяют при условии, что анализируют любые требования, применимые в отношении соответствующих параметров.
Кроме того, могут формулироваться следующие требования о соответствии:
а) утвердительные - формулируют то, что должно быть выполнено;
б) исключающие - формулируют то, что не должно быть выполнено.
Для определения набора параметров, характерных для подмножества стандартов (например профилей), могут быть применены классы соответствия (приложение А).
5.4 Заявление о соответствии
Для оценки соответствия исследуемого объекта необходимо иметь заявление о реализованных характеристиках объекта (далее - заявление о соответствии). По заявлению о соответствии исследуемый объект тестируют на соответствие установленным требованиям.
Заявление должно содержать только те характеристики, которые находятся в пределах общей схемы требований, определенных в стандартах на географическую информацию.
Заявление о соответствии обеспечивает испытательной лаборатории лучшее понимание тестируемого объекта для использования в процессе оценки соответствия и помогает установить границы области тестирования. Клиент может использовать типовую форму заявления о соответствии, предоставленную испытательной лабораторией. Типовая форма представляет собой вопросный лист, используемый в качестве общей схемы для документирования тех параметров тестируемого объекта, для которых требуется выполнение тестирования на соответствие.
5.5 Объект, соответствующий требованиям
Объект, соответствующий требованиям, должен удовлетворять требованиям о соответствии, которые содержатся в определенных стандартах на географическую информацию, а также соответствовать заявлению о соответствии. Такой объект должен пройти все тесты, входящие в определенную область тестирования, включая любые выборочные требования, указанные в качестве поддержки. Объект, соответствующий требованиям, может обладать дополнительными характеристиками, не описанными в стандарте, при условии, что эти характеристики не являются явно запрещенными конкретным стандартом.
6 Методология тестирования на соответствие
6.1 Введение
В данном разделе приведена методология тестирования на соответствие и различные типы тестов, которые при этом используют, а также дополнительная информация, которая должна быть предоставлена клиентом испытательной лаборатории.
6.2 Тесты на соответствие
6.2.1 Типы тестов
Цель тестирования на соответствие - определить, соответствует ли исследуемый объект требованиям соответствующего стандарта на географическую информацию, определяющего обязательные параметры объекта.
В зависимости от степени соответствия определены два типа проверок:
а) предварительные тесты, которые дают предварительные данные о том, что объект соответствует требованиям. Если КП определяет стандартизованные тесты, которые должны быть использованы в качестве предварительных, их используют в начале процесса оценки соответствия.
Примечание - Для предварительных тестов клиенты должны выполнить тестирование своего объекта (внутрифирменное тестирование) до того, как они предоставят его в испытательную лабораторию;
б) стандартизованные тесты параметров, по которым проверяют, соответствуют ли исследуемые параметры объекта заявлению о соответствии. Проверка должна обеспечить наиболее полное тестирование во всем диапазоне требований соответствия, определенных конкретным стандартом.
В КП, имеющемся в пункте о соответствии, должны быть указаны, какие проверки параметров объекта должны быть использованы в качестве предварительных тестов. КП не включают каких-либо предварительных проверок, которые являются дополнительными. В простых случаях предварительные тесты могут оказаться и ненужными.
6.2.2 Предварительные тесты
Предварительные тесты обеспечивают ограниченную проверку объекта, чтобы можно было установить его пригодность для более основательного тестирования. Предварительные тесты могут быть обобщенной или исполнимой формы. Их можно использовать для определения степени соответствия перед тем, как будет принято решение о продолжении более детального тестирования. Пункты о соответствии должны указать те случаи проверки, которые могут быть использованы как предварительные тесты.
Предварительные тесты используют:
а) для выявления очевидных случаев несоответствия;
б) как предварительный шаг для того, чтобы решить, выполнять или нет более полное тестирование.
Предварительные тесты не следует использовать самостоятельно:
а) для определения, соответствует ли объект определенным требованиям;
б) для гарантированного выявления случаев несоответствия.
6.2.3 Тесты параметров
Тесты параметров обобщенной или исполнимой формы должны исследовать объект настолько тщательно, насколько это практически возможно для всего диапазона требований соответствия, указанных в стандарте. Тесты параметров применяют для проверки обязательных параметров, а также тех выборочных параметров, которые указаны для объекта в заявлении о соответствии.
Тесты параметров используют в следующих случаях:
а) проверка того, что параметры объекта не противоречат требованиям соответствия;
б) исследование случаев несоответствия.
Тесты не используют:
а) для детального тестирования поведения, связанного с каждой характеристикой, которая реализована;
б) для гарантирования полноты.
Проверки параметров в составе КП стандартизованы.
6.3 Дополнительная информация, необходимая для тестирования
Для тестирования объекта в испытательную лабораторию необходимо предоставить информацию, относящуюся к объекту и области исследования, в которой проводят тестирование. Клиент должен представить эту информацию как дополнительную в форме перечня вопросов/ответов, реализованного с помощью специальной формы дополнительной информации.
Дополнительная информация включает в себя:
а) информацию, необходимую для испытательной лаборатории, чтобы иметь возможность выполнить определенный КИП для объекта и проанализировать полученные результаты;
б) ссылку на информацию, увязанную с заявлением о соответствии, и любую другую административную информацию.
Дополнительная информация не должна противоречить соответствующему заявлению о соответствии. При подготовке к тестированию необходимо выявить и устранить любые противоречия. Заявление о соответствии даст испытательной лаборатории информацию, необходимую для определения области тестирования. Дополнительная информация говорит о том, как выполнять тестирование, в частности, включает в себя подробности, касающиеся организации и хранения объекта, средств доступа к нему и его модификации. Кроме того, она содержит алгоритмы связи между объектом и стандартом. Для каждого процесса оценки соответствия должна быть одна дополнительная информация.
Более подробные данные приведены в ГОСТ Р ИСО/МЭК 9646-1, ГОСТ Р ИСО/МЭК 9646-2, ГОСТ Р ИСО/МЭК 9646-5, ГОСТ Р ИСО 10303-31.
6.4 Оценка соответствия
6.4.1 Общий обзор процесса
Процесс оценки соответствия включает в себя действия по тестированию, необходимые для определения соответствия исследуемого объекта соответствующим стандартам на географическую информацию.
Процесс оценки соответствия включает в себя четыре этапа (рисунок 1):
а) подготовку к тестированию;
б) операцию тестирования;
в) анализ результатов;
г) отчет о тестировании на соответствие.
1 - форма представления дополнительной информации; 2 - КП; 3 - форма заявления о соответствии;
4 - подготовка к тестированию; 5 - КИП; 6 - заявление о соответствии и дополнительная информация;
7 - тестируемый объект; 8 - операции тестирования; 9 - журнал; 10 - результаты; 11 - критерии заключения;
12 - анализ результатов; 13 - заключения; 14 - подготовка отчета о тестировании;
15 - отчеты о тестировании
Рисунок 1 - Общий обзор процесса оценки соответствия
6.4.2 Подготовка к тестированию
Подготовка к этапу тестирования должна включать в себя:
а) получение административной информации;
б) получение заявления о соответствии и дополнительной информации;
в) определение метода тестирования и КП;
г) анализ заявления о соответствии в отношении соответствующих требований на соответствие;
д) проверка дополнительной информации и сравнение ее с соответствующим заявлением о соответствии;
е) выбор начальных проверок и определение значений параметров на основе заявления о соответствии и дополнительной информации;
ж) подготовка тестируемого объекта.
Примечание - Это позволяет клиенту выполнить проверку объекта перед операциями тестирования;
з) определение и утверждение КИП.
На этом этапе тестируемый объект и рамки процесса оценки соответствия фиксируются соглашением между клиентом и испытательной лабораторией и не могут быть изменены в дальнейшем.
6.4.3 Операция тестирования
Операция тестирования - это процесс выполнения КИП и регистрации наблюдаемых результатов, а также любой другой соответствующей информации в журнале соответствия. Исходные данные об объекте и наблюдаемые результаты тестирования, полученные при выполнении теста, должны быть зарегистрированы в журнале соответствия. Регистрация и сохранение всей информации, полученной в результате исследования в ходе операции тестирования, необходимы для стадии анализа, а также при проведении ревизий.
6.4.4 Анализ результатов
Анализ результатов проводят сравнением наблюдаемых результатов тестирования с критериями заключения, которые определены проверкой. При наличии четкого разграничения между операцией тестирования и этапом анализа они могут перекрываться во времени.
Заключение о тестировании - заявление о том, что тест пройден успешно, неудачно или недоказателен. Первые два заключения - основные, но в некоторых случаях может выдаваться также и заключение о недоказательности. Для каждого заключения о неудачности или неубедительности должно быть предоставлено обоснование.
Применяют следующие формы заключений:
а) заключение о прохождении теста означает, что наблюдаемые результаты тестирования полностью соответствуют как требованиям стандартов, так и заявлению о соответствии;
б) заключение о несоответствии означает, что наблюдаемые результаты тестирования показывают несоответствие либо целям тестирования, либо, по крайней мере, одному из требований соответствия, содержащихся в определенном стандарте (или стандартах).
Пример - Ненормальное завершение - если по каким-либо причинам выполнение исполняемой проверки закончено преждевременно;
в) заключение о недоказательности означает, что наблюдаемые результаты тестирования не позволяют дать заключение ни о прохождении теста, ни о неудаче. Это должно происходить в чрезвычайно редких случаях.
Пример - Ошибка в тесте.
Заключение о тестировании должно быть отнесено к результатам конкретного тестирования с применением критериев заключения, относящихся к этой конкретной проверке.
Отдельные заключения о тестировании затем должны быть объединены в общих данных, относящихся к тестируемому объекту.
6.4.5 Отчет по тестированию на соответствие
Результаты тестирования на соответствие должны быть документированы в виде отчета по тестированию на соответствие. Отчет должен состоять из сводных данных и подробной информации.
В первой части должны быть приведены сводные данные о степени соответствия тестируемого объекта, включающие в себя общий обзор заключений, которые были получены в процессе каждой оценки соответствия.
Во второй части должны быть документированы все результаты исполняемых проверок на основании записей в журнале соответствия, который содержит наблюдаемые результаты тестирования со ссылками на все необходимые документы, относящиеся к проведению процесса оценки соответствия.
6.5 Характерные свойства процесса оценки соответствия
6.5.1 Повторяемость результатов
Чтобы обеспечить надежное тестирование на соответствие, результаты выполнения исполняемой проверки на определенном объекте должны быть одинаковыми, когда бы это тестирование ни проводилось. Должна быть возможность выполнить полный КИП и получить результаты тестирования, полностью идентичные результатам, полученным в другое время.
6.5.2 Сравнимость результатов
Для достижения целей тестирования на соответствие общие данные, касающиеся соответствия объекта исследования, должны быть независимыми от испытательной лаборатории, в которой проводится тестирование. При стандартизации всех процедур, связанных с тестированием на соответствие, должны быть получены сравнимые между собой общие данные для объекта исследования вне зависимости от того, проводится тестирование поставщиком (одна сторона), либо пользователем (другая сторона), либо любой испытательной лабораторией (третья сторона).
Для обеспечения этого условия должны быть учтены следующие факторы:
а) состав и содержание проверок для того, чтобы можно было показать, какие требования соответствия должны быть удовлетворены и какие заключения должны быть сделаны, обеспечив в то же время определенную гибкость там, где это необходимо;
б) требования к процедурам, которые должны выполнять испытательные лаборатории при повторном выполнении испытания;
в) определенная форма отчета по тестированию на соответствие;
г) требования к процедурам написания отчета по тестированию на соответствие.
6.5.3 Проверяемость результатов
При необходимости проверяют полученные результаты тестирования, чтобы убедиться, что все процедуры КИП выполнены правильно. Независимо от того, проводится ли анализ результатов неавтоматизированным методом или автоматически, все входные и выходные данные должны быть зарегистрированы для каждого испытания. Испытательная лаборатория несет ответственность за ведение журнала соответствия по каждой операции тестирования.
7 Методы тестирования
7.1 Введение
Географическая информация имеет много аспектов, большинство из которых относится к сфере действия стандартов на географическую информацию, которые должны отразить все эти аспекты. Способы тестирования различных объектов, отнесенных к сфере действия указанных стандартов, могут быть различными.
7.2 Подходы к тестированию на соответствие
7.2.1 Введение
Для проведения тестирования на соответствие используют два способа:
а) тестирование на правильность - использование методов, которые включают в себя доказательство правильности, и соответствие объекта может быть продемонстрировано убедительно и исчерпывающе;
б) использование методов, включающих в себя тестирование на наличие ошибок.
Тестирование на правильность рекомендуется для всех случаев, где это возможно. Однако размер и сложность большинства исследуемых объектов часто делают использование этого способа неприемлемым как с технической, так и с экономической точки зрения. Поэтому наиболее применяемым способом стало тестирование на наличие ошибок. Тестирование на наличие ошибок - способ обнаружения ошибки в исследуемом объекте путем разработки комплекса специальных тестов на соответствие стандарту конкретного объекта. Тестирование на наличие ошибок в критических зонах обеспечивает уверенность в том, что исследуемый объект имеет требуемые параметры. Объект, который не прошел определенный тест или набор тестов, считают не соответствующим стандарту. Однако даже при получении удовлетворительных результатов на всем наборе тестов применение тестирования на наличие ошибок не гарантирует полного соответствия объекта требованиям стандартов на географическую информацию.
При тестировании на соответствие можно использовать любой способ или комбинацию способов, при этом автоматически выполняют программы, которые реализуют тест. При выполнении тестирования на наличие ошибок может быть использовано и неавтоматизированное (ручное) тестирование.
7.2.2 Автоматизированный тест
Автоматизированное тестирование реализует необходимые тесты в виде программной системы с использованием тестирования на правильность либо на наличие ошибок. Помимо тестов, которые являются специфическими для информационной технологии (тестирование формата данных), некоторые тесты являются специфическими именно для географической информации, например, тесты геометрической структуры.
Пример - Программа может проверить, образуют ли данные в виде набора векторов замкнутый многоугольник.
Поскольку существует много методов тестирования, обязательно указывают используемый метод.
7.2.3 Неавтоматизированный тест
Неавтоматизированное тестирование проводят в том случае, если автоматизированное тестирование слишком сложно и/или в ходе тестирования требуется мнение человека. При неавтоматизированном тестировании клиент и персонал, выполняющий тестирование на соответствие, в ходе тестирования могут вместе проверять выходные данные и сравнивать их с входными.
Неавтоматизированное тестирование следует использовать в тех случаях, когда автоматизированное тестирование объектов практически не осуществимо. При неавтоматизированном тестировании требуются четкие критерии для заключений по результатам тестирования.
7.3 Области тестирования географической информации на соответствие
В рамках стандартов на географическую информацию наборы географических данных и услуги по ним подразделяют следующим образом:
а) модели и операторы географических данных, включающие пространственную схему, временную схему, правила формирования приложений, пространственные операторы;
б) администрирование географических данных, включая каталогизацию, пространственную привязку по координатам, пространственную привязку по географическим идентификаторам, принципы оценки качества, процедуры оценки качества, метаданные;
в) услуги по определению местоположения, по отображению, кодированию и прочие виды услуг;
г) профили и функциональные стандарты.
Прикладные схемы и услуги, основанные на областях, перечисленных выше, могут быть тестированы на соответствие с применением способов, которые изложены в 7.2.
8 Комплексы проверок и комплексы исполняемых проверок
8.1 Введение
Комплекс проверок в разделе соответствия имеет иерархическую структуру, состоящую из модулей проверок и проверок. Проверки образуют самый нижний уровень иерархии. Модули проверок используют для того, чтобы классифицировать проверки и другие модули проверок. Пример такой иерархической структуры приведен на рисунке 2.
Рисунок 2 - Пример иерархической структуры КП
Каждая проверка должна реализовывать не менее одной цели тестирования из какого-либо стандарта на географическую информацию. В пределах иерархической структуры КП могут быть использованы вложенные модули проверок для того, чтобы был обеспечен определенный логический порядок в системе проверок. Модули проверок могут быть вложенными на любую глубину. Они могут быть использованы для планирования, разработки или понимания КП. Каждый из модулей проверок включает в себя нуль, одну или несколько проверок. Комплекс исполняемых проверок - пример реализации КП, в котором все зависящие от нее параметры имеют определенные предписанные им значения.
Раздел о соответствии каждого стандарта на географическую информацию описывает КП, который имеет приведенную выше иерархическую структуру.
8.2 Цели тестирования
Каждый модуль проверок или проверка должны включать в себя точное описание цели, которую предполагается достигнуть.
Пример - Тестировать построение ломаной линии как последовательности прямых отрезков без их взаимного пересечения.
Цель тестирования, описанная в модуле КП, становится целью тестирования для комплекса исполняемых проверок.
8.3 Проверка
Проверка должна соответствовать требованию (или требованиям) одной или нескольких целей тестирования. Проверку используют как основу для формирования исполняемой проверки независимо от тестируемого объекта. Проверка должна включать в себя:
а) наименование;
б) цель (или цели) тестирования;
в) метод тестирования (включая критерии заключения по результатам тестирования);
г) ссылку на определенный стандарт (или стандарты);
д) типы тестов (предварительный тест или тест параметров).
8.4 Исполняемая проверка
Исполняемая проверка должна включать в себя:
а) наименование;
б) цель (или цели) тестирования;
в) метод тестирования (включая критерии заключения по результатам тестирования);
г) ссылку на определенные части КП;
д) значения параметров.
8.5 Связь между проверками и исполняемыми проверками
Исполняемая проверка создается с учетом проверки и должна иметь такую форму, которая может быть выполнена для тестируемого объекта. Исполняемые проверки получают установлением конкретных значений параметров для проверки. Исполняемые проверки могут быть особыми для каждого тестируемого объекта.
ПРИЛОЖЕНИЕ А
(обязательное)
Требования к пункту о соответствии
А.1 Введение
Для того, чтобы конкретный стандарт был эффективным и полезным, все стандарты на географическую информацию содержат пункт 2 "Соответствие".
Пункт 2 "Соответствие" - Часть текста стандарта, описывающая требования соответствия. Для проверки соответствия объекта требованиям конкретного стандарта пункт соответствия изучается первым. Пункты соответствия должны быть четко изложены, чтобы можно было заявить о соответствии стандарту.
Настоящее приложение содержит руководящие указания по написанию пунктов соответствия для реализации стандартов на географическую информацию.
А.2 Пункты простого соответствия
Условие соответствия начинается с определения требования, которое должно быть удовлетворено для того, чтобы можно было заявить о соответствии исследуемого объекта стандарту. Пункт соответствия должен быть написан в следующей последовательности.
"2 Соответствие
2.1 Требование (или требования) соответствия
Любой объект, в отношении которого заявлено, что он соответствует данному стандарту, должен соответствовать всем требованиям, описанным в комплексе проверок.
2.2 Комплекс проверок
[Здесь описывают КП]"
Если КП занимает слишком большой объем, он может быть размещен в обязательном приложении. В этом случае пункт соответствия (пункт 2) должен явно указывать, где оно находится. Пояснения к написанию КП приведены в А.4.
А.З Пункты соответствия классам и уровням
Классы соответствия могут быть использованы для определения различных видов требований о соответствии. Если некоторые разделы используемого стандарта важны именно для приложений определенного класса, предпочтительно не указывать обязательность всех разделов этого стандарта.
Если в стандарте используют классы соответствия, они должны быть определены в пункте соответствия. Например, три класса соответствия могут быть определены следующим образом:
"2 Соответствие
2.1 Требование (или требования) соответствия
Настоящий стандарт определяет три класса соответствия: А, Б и С. [Здесь может быть изложено предполагаемое использование классов соответствия]. Любой объект, о котором заявлено, что он соответствует одному из этих классов, должен удовлетворять всем требованиям, описанным в соответствующем комплексе проверок, приведенном ниже.
2.2 Комплекс проверок на соответствие классу А
[Здесь излагают КП на соответствие классу А].
2.3 Комплекс проверок на соответствие классу Б
[Здесь излагают КП на соответствие классу Б].
2.4 Комплекс проверок на соответствие классу С
[Здесь излагают КП на соответствие классу С]."
Требования для классов соответствия могут перекрываться, и в таких случаях некоторые подразделы КП могут совместно использоваться различными классами соответствия.
Уровень соответствия - особый вид класса соответствия, в котором требования более высокого уровня содержат все требования более низких уровней. Приведенный пример показывает три уровня соответствия, определенные в пункте соответствия:
"2 Соответствие
2.1 Требование (или требования) соответствия
Настоящий стандарт определяет три уровня соответствия. [Здесь может быть изложено предполагаемое использование уровней соответствия]. Любой объект, о котором заявлено, что он соответствует одному из этих уровней, должен удовлетворять всем требованиям, описанным в соответствующем комплексе проверок, приведенном ниже.
2.2 Комплекс проверив на соответствие уровню 1 (нижнему уровню)
[Здесь излагают КП на соответствие уровню 1].
2.3 Комплекс проверок на соответствие уровню 2 (среднему уровню)
[Здесь излагают КП на соответствие уровню 2].
2.4 Комплекс проверок на соответствие уровню 3 (высокому уровню)
[Здесь излагают КП на соответствие уровню 3]."
Поскольку более высокий уровень соответствия включает в себя требования более низких уровней, КП для более высокого уровня в типичном случае имеет указатель на КП более низкого уровня. Рекомендуется, чтобы данные связи были явно указаны в структуре КП.
Когда определены классы или уровни соответствия, тестирование на соответствие должно выполняться для каждого класса или уровня соответствия.
А.4 Структурирование комплекса проверок
А.4.1 Введение
КП представляют как иерархическую структуру модулей и проверок. Поскольку важными компонентами модулей или проверок являются цели тестирования, создание КП начинается с определения целей тестирования.
Разделы А.4.2-А.4.9 иллюстрируют структурирование КП, используя в качестве примера ГОСТ Р ИСО 19113. Пример не является фактическим пунктом соответствия для указанного документа.
А.4.2 Определение цели тестирования
На первом этапе определяют главную цель тестирования. Она станет целью для базового положения КП. Например, цель тестирования для базового положения КП - проверить соответствие указываемых принципов оценки качества.
А.4.3 Разложение цели тестирования на составляющие
После определения главной цели тестирования производят ее структуризацию с определением вторичных узлов КП. При этом необходим ответ на следующий вопрос: "Какие требования должны быть удовлетворены для исследуемого объекта, чтобы он соответствовал установленной цели тестирования?".
В примере для принципов оценки качества ответом будет: "Результат проверки должен содержать элементы качества данных и описательные элементы качества данных". Таким образом, имеют место два вторичных узла: проверить соответствие элементов качества данных и проверить соответствие описательных элементов качества данных.
А.4.4 Повторение определения и структурирования цели тестирования
Данный процесс продолжается до тех пор, пока все цели тестирования не будут разложены на достаточно малые части, т.е. проверки. В примере принципов оценки качества элементы качества данных будут далее разложены на подэлементы качества данных, а затем - на способы измерения качества данных, которые достаточно важны для того, чтобы служить в качестве проверок.
С другой стороны, описательные элементы качества данных могут быть разложены на три компонента: назначение, происхождение и использование, которые должны быть достаточно малы, чтобы служить в качестве проверок.
А.4.5 Создание иерархической структуры
Когда все цели тестирования разложены на отдельные проверки, их собирают вместе и формируют КП стандарта. Конечный КП, предназначенный для тестирования, например, принципов оценки качества, приведен ниже. Иерархическая структура целей тестирования автоматически входит в состав структуры КП. (Шаблоны модулей/проверок - см. в А.4.8).
Пример
"2.2 Комплекс проверок
2.2.1 Модуль проверок для принципов оценки качества
2.2.1.1 Принципы оценки качества:
а) цель тестирования - проверить соответствие устанавливаемых принципов оценки качества;
б) метод тестирования - проверить, имеются ли два компонента - элементы качества данных (2.2.1.2) и описательные элементы качества данных (2.2.1.3), и выяснить, выполняются ли для обоих заданные требования;
в) ссылка - ГОСТ Р ИСО 19113, пункт 5.1;
г) тип теста - предварительный.
2.2.1.2 Проверка элементов качества данных:
а) цель тестирования - проверить соответствие определению элементов качества данных;
б) метод тестирования - проверить, имеются ли подэлементы качества данных. Если это так, проверить их соответствие определениям элементов качества данных, т.е. для каждой меры качества данных проверить, имеются ли фактически действительные меры качества данных, которые описаны в разделе 5:
в) ссылка - ГОСТ Р ИСО 19113, пункт 5.2;
г) тип теста - предварительный.
2.2.1.3 Проверка качества данных:
а) цель тестирования - проверить соответствие определению описательных элементов качества данных;
б) метод тестирования - проверить, имеются ли три компонента: назначение, происхождение и использование, и установить, соответствуют ли они требованиям ГОСТ Р ИСО 19113, пункт 5.3;
в) ссылка - ГОСТ Р ИСО 19113, пункт 5.3;
г) тип теста - предварительный.
А.4.6 Замечания по методам тестирования
Описание метода тестирования для модуля проверок в типичном случае содержит ссылки на другие пункты. Оно может также включать утверждения о том, является ли он обязательным, выборочным или обусловленным. В проверках должны быть указаны конкретные методы тестирования.
А.4.7 Ссылки на основные классы и типы тестов
В дополнение к цели и методу тестирования в КП должны быть включены два других пункта информации: ссылка и тип теста. Ссылка определяет тот пункт в основной части стандарта, в котором указывают требования, которые должны тестироваться. Тест должен быть тестом предварительного типа или тестом параметров. В общем случае предварительный тест - это простой тест, выполняющийся перед полным тестированием всех параметров. Комплексные тесты параметров могут потребовать услуг испытательных лабораторий, в то время как предварительные тесты обычно этого не требуют. Более подробная информация приведена в 6.2.
А.4.8 Шаблон для модуля проверок
Для модуля проверок может быть использован следующий шаблон:
2.2.Х Модуль теста для XXX
2.2.Х.1 XXX [то же, что и выше]
а) цель тестирования - [цель тестирования];
б) метод тестирования - [метод тестирования];
в) ссылка - ГОСТ Р ИСО, пункт Х.Х;
г) тип теста - предварительный/параметров.
2.2.Х.2 [проверка/модуль проверок: компонента]
2.2.Х.З [другая проверка/модуль проверок: компонента]
А.4.9 Шаблон для проверки
Для проверки может быть использован следующий шаблон:
2.2.Х Проверка для XXX:
а) цель тестирования - [цель тестирования];
б) метод тестирования - [метод тестирования];
в) ссылка - ГОСТ Р ИСО, пункт Х.Х;
г) тип теста - предварительный/параметров.
ПРИЛОЖЕНИЕ Б
(справочное)
Поддерживающие организации
Б.1 Цель
Для содействия объединению национальных программ тестирования на соответствие стандартам на географическую информацию и обеспечения согласованности в международном масштабе необходимо предоставить описания поддерживающих организаций. В настоящем стандарте даны краткие сведения о структуре поддерживающих организаций; более подробные данные изложены в ГОСТ Р ИСО/МЭК 17025.
Б.2 Предпосылки
Для разработки общей стратегии сертификации должны быть выработаны процедуры по сотрудничеству национальных и международных органов сертификации и стандартизации. Эти организации должны добиваться взаимного признания результатов тестирования и сертификации для конкретных объектов на соответствие требованиям стандартов на географическую информацию от двустороннего признания испытательных лабораторий (например, меморандум о понимании), предоставляющих услуги по тестированию на соответствие, до одобрения стандартизованных тестовых процедур организациями по стандартизации.
Б.3 Ответственные уполномоченные организации
В процесс тестирования на соответствие могут быть включены различные организации (национальные, международные). На рисунке Б.1 приведена общая схема международной и национальной инфраструктуры для тестирования на соответствие.
1 - международные организации; 2 - национальные организации; 3 - представитель организации;
4 - контролирующий орган; 5 - обратная связь; 6 - направление; 7 - орган аккредитации;
8 - орган сертификации; 9 - приложение; 10 - признание соответствия нормам; 11 - сертификат;
12 - испытательная лаборатория; 13 - заказ; 14 - клиент; 15 - отчего тестировании
Рисунок Б.1 - Международная и национальная инфраструктура для установления соответствия
Б.4 Контролирующий орган
Контролирующий орган создают с целью устранения различий между интерпретациями, которые возникают при использовании КП для тестирования на соответствие. Этот орган действует независимо от международных и национальных органов стандартизации и оказывает помощь испытательным лабораториям в интерпретации необходимого технического содержания КИП.
Б.5 Орган аккредитации
Орган аккредитации осуществляет формальный процесс, который гарантирует, что испытательная лаборатория обладает определенной компетентностью, необходимой для проведения специфических типов тестирования. Он занимается вопросами признания как технической компетентности испытательных лабораторий, так и их беспристрастности. Официальное тестирование на соответствие выполняют те испытательные лаборатории, которые прошли аккредитацию.
Б.6 Испытательная лаборатория
Испытательная лаборатория проводит тестирование на соответствие и предоставляет клиенту отчеты по тестированию. Кроме того, по запросу клиента она предоставляет отчеты органу сертификации.
Б.7 Орган сертификации.
Орган сертификации устанавливает критерии для выдачи сертификата и выдает сертификаты, основанные на отчете по тестированию, составленном испытательной лабораторией. Орган сертификации должен быть в каждой стране, которая имеет организации, предоставляющие услуги по тестированию на соответствие. Взаимное признание результатов тестирования гарантируется принятием органами сертификации всего мира одних и тех же критериев. Функции органа сертификации может выполнять орган аккредитации, в этом случае необходимость в отдельном органе сертификации отпадает.
Текст документа сверен по:
официальное издание
М.: ИПК Издательство стандартов, 2004