Subjective pediatric assessment scar scale — SPASS. Development and validation of the scale

Cover Page


Cite item

Full Text

Abstract

Background. A skin scar is an important component of satisfaction with surgical treatment. Both the patient’s comfort level and the possible treatment tactics depend on the variant of scarring changes.

Aim. Development of a new instrument for assessing a skin scar in a child. It should take into account the requirements of clinometric.

Methods. A total of 170 children participated in the study at various stages of the development and validation of the scale. The study period is from 2021 to 2024. The procedures of exploratory factor analysis and multiple regression analysis were carried out, taking into account all the standard criteria necessary for this.

Results. The Subjective pediatric assessment scar scale (SPASS) perception consists of three sheets with questions. Each of them is intended for personal filling by the child, his parent and, finally, the doctor. The questionnaire sheets for children are divided depending on the age periodization. The average level of inter–expert reliability among doctors was 0.96 (95% CI 0.93–0.99). Intra–expert reliability had a variation from 0.85 (95% CI 0.88–0.82) to 0.97 (95% CI 0.95–0.99). The overal convergent validity value for the questionnaire was 0.95. The overall Cronbach’s alpha level among parents was 0.83. The overall subjective assessment of a skin scar significantly correlates positively with the following indicators: social aspects of the presence of a scar (R0 = 0.899, p < 0.001), physical inconveniences (R0 = 0.835, p < 0.001), problems of aesthetics and treatment (R0 = 0.733, p < 0.001).

Conclusion. The developed SPASS is the first tool of its kind to be used among children. The questionnaire is adapted for children of different ages, taking into account the periodization of mental development. The scale is ready for use in clinical practice.

Full Text

ОБОСНОВАНИЕ

Рубец — это неизбежный исход травматизации кожного покрова после оперативного вмешательства. С анатомических позиций — это макроскопическое нарушение нормальной архитектуры кожи вследствие заживления раны [1]. Успех оперативного вмешательства измеряется в том числе качеством жизни пациента. Доказано, что незаметный рубец — немаловажная составляющая удовлетворённости хирургическим лечением в любом возрасте [2]. Клинический исход рубцовых изменений на коже может принимать различные формы — от еле заметных белесоватых линий до формирования патологичных, келоидных образований. От этого зависит как уровень комфорта пациента, так и возможная тактика лечения для минимизации косметической, а иногда и функциональной деформации [3, 4]. Именно поэтому рубец должен быть подвержен систематизации и оценке на разных этапах своего формирования как с количественных позиций, так и с учётом субъективного восприятия. На сегодняшний день существует несколько разработанных инструментов оценки кожного рубца. Они используются клиницистами и исследователями во всём мире [5–8].

Мы провели систематический литературный обзор, в котором рассмотрели имеющиеся шкалы с позиций клиниметрии и клинической значимости и выяснили, что всё ещё не существует общепринятого стандарта измерения кожного послеоперационного рубца. Нет инструмента в педиатрической практике, адаптированного для разных возрастных категорий. Ограничения стандартизации инструментов обусловлены тем, что некоторые шкалы разрабатывались для обширных ожоговых рубцов, другие не прошли все этапы валидации либо показали низкие уровни статистической апробации на практике [9]. Ни одна из шкал не разрабатывалась специально для детей. В существующих педиатрических опросниках качества жизни проблема наличия кожного рубца либо не является приоритетной, либо не рассматривается совсем [10].

Цель: создание нового инструмента оценки кожного рубца у ребёнка. Он должен учитывать требования клиниметрии, возрастные и психологические особенности ребёнка, быть простым в понимании и заполнении, а также быстрым в интерпретации результатов.

МЕТОДЫ

Дизайн исследования

Данное многоцентровое интервенционное выборочное когортное ретроспективное исследование проводили на базе кафедры хирургии детского возраста им. Н.В. Захарова Саратовского государственного медицинского университета им. В.И. Разумовского, Детского хирургического отделения Университетской клинической больницы № 1 им. С.Р. Миротворцева, Центра поддержки одарённых детей Саратовского национального исследовательского государственного университета им. Н.Г. Чернышевского.

Критерии соответствия

На разных этапах разработки и валидации шкалы опросника в исследовании суммарно приняли участие 170 детей. Критерии включения в исследование: наличие кожного рубца, приобретённого в результате оперативного вмешательства, срок с момента операции — более года, возраст пациента 7–17 лет, согласие на участие в исследовании.

Срок, прошедший от момента перенесённого хирургического лечения, в один год выбран неслучайно. По данным различных авторов, именно к этому временному промежутку послеоперационный рубец становится зрелым. Завершаются процессы ремоделирования в дерме, архитектура кожи по своей структуре приближается к нормальной. Воспалительные клетки, которые участвовали в заживлении, полностью претерпевают апоптоз, а эпителий рубца и вовсе не отличается от неизменённой кожи. Коллагеновые волокна рубца не имеют строгого порядка и отграничены от нормальной дермы. Наиболее значимый визуальный маркёр зрелости — разрешение эритемы в области рубца, однако в зависимости от количества меланоцитов в базальном слое эпидермиса цвет рубца может быть от едва белесоватого до тёмного (гиперпигментация) [11].

Условия проведения

В разработке шкалы субъективной оценки послеоперационного рубца в педиатрической практике приняли участие сотрудники кафедры хирургии детского возраста им. Н.В. Захарова Саратовского государственного медицинского университета им. В.И. Разумовского, практикующие хирурги детского хирургического отделения Университетской клинической больницы № 1 им. С.Р. Миротворцева, г. Саратов. Научными консультантами выступили сотрудники кафедр педагогики и консультативной психологии Саратовского государственного университета им. Н.Г. Чернышевского. В валидации опросника принимали участие детские хирурги различных специализаций, врач-дерматолог, врач — травматолог-ортопед.

Продолжительность исследования

Период исследования: с 2021 по 2024 г.

Описание исследования

К выбору методов разработки шкалы мы подошли с учётом опыта валидации уже известных инструментов оценки кожного рубца, для того чтобы минимизировать ошибки и улучшить клиниметрические свойства опросника для измеряемых характеристик. Характеристики кожного рубца можно разделить на объективные и субъективные. Объективные параметры — те, которые поддаются количественной оценке с точки зрения его физических свойств (цвет, размер, толщина, объём) [12]. Субъективные параметры основаны на оценке человеком (пациент, врач, родственник). При разработке шкалы ключевыми характеристиками были валидность, надёжность, оперативность и осуществимость. Эти показатели необходимы для любого измерительного инструмента в медицине и психологии, который основан на оценке и интерпретации субъективного мнения пациента о своём здоровье.

Валидность — это та степень измерения свойства объекта, которая достаточна для объективной интерпретации критерия, в нашем случае влияния наличия кожного рубца у ребёнка на его субъективное восприятие [13]. Выделяют три основных вида валидности опросников. Валидность содержания определяет ясность и полноту оцениваемых критериев, она основана на профессиональном мнении врачей, психологов, педагогов, а также отношении родителей к опроснику. Валидность критерия определяет соотношение измеряемых параметров и их свойств к «золотому», общепринятому стандарту измерений основного параметра. В нашем случае не существует норм оценки кожного рубца как для взрослых, так и для детей, поэтому данный параметр в исследованиях и разработках часто заменяется на валидность конструкции. Валидность конструкции подразумевает определение и выделение логических связей между параметрами новой шкалы и другими важными параметрами измеряемого объекта, логичное распределение баллов при интерпретации.

Надёжность, или последовательность, связана с определением меры ошибки при многократно повторяющемся измерении одного и того же свойства. Принято выделять два основных типа надёжности инструмента [14]. Межэкспертная надёжность [Inter-rater reliability (IRR)] подразумевает определение степени оценки, при которой разные люди получают одинаковый результат при многократном измерении. Внуриэкспертная надёжность, или принцип «тест-ретест» [Intra-rater reliability or testeretest reliability (TRR)], подразумевает оценку степени получения одним и тем же респондентом одинакового результата при использовании инструмента повторно. Классический статистический критерий подтверждения этого параметра — коэффициент внутриклассовой корреляции Intraclass Correlation Coefficient (ICC). Кроме того, надёжность оценивается при помощи внутренней согласованности (конвергентной валидности). Внутренняя согласованность показывает, в какой мере каждый элемент шкалы (вопрос) оценивает один и тот же базовый параметр, то есть происходит определение корреляций между вопросами. Статистический критерий данного измерения — α Кронбаха.

Не менее важные критерии опросников — оперативность и осуществимость. Они характеризуют разрабатываемый опросник с позиции гибкости измерений и быстроты интерпретации результатов. Идеальная шкала не вызывает сложностей для пациента и проста в администрировании.

Все описанные принципы разработаны с учётом психометрической теории и использованы с применением необходимых статистических критериев.

При разработке новой шкалы мы применили поэтапный подход, предложенный P. Durani и соавт. (2009 г.) на основе научного обзора и критической оценки уже существующих инструментов оценки кожного рубца [7]. Одним из базовых этапов, помимо строгого соответствия клиниметрическим свойствам, было проведение опросов в фокус-группах и избегание избыточности вопросов.

Мы приняли решение, что опросник должен носить трёхсторонний характер и учитывать в своей оценке мнение самого ребёнка, его родителей и врача. Каждый из этих людей принимает непосредственное участие в лечении и реабилитации пациентов хирургического профиля — от момента принятия решения об операции, самого оперативного вмешательства до субъективного восприятия рубца как явления.

Предварительно сформировали матрицы предикторов. Для этого провели сбор мнений о наиболее актуальных аспектах наличия рубца у ребёнка среди педагогов, психологов и родителей. Опрос проводили на специально созданном сайте1. Подобный опрос среди детей — участников исследования организовали в очном формате. В ходе диалога дети делились своими впечатлениями о перенесённом оперативном вмешательстве, восприятием своего нахождения в стационаре, а также в свободной форме обозначали основные проблемы, которые причинял им рубец, если таковые имелись. Из участников исследования сформировано 5 фокус-групп по 5–9 человек в каждой. Итогом опроса педагогов-психологов, родителей, а также самих детей стали сформированные 25 утверждений, которые наиболее часто повторялись. На основе этих утверждений сформировали части опросника для детей, который сформирован по типу 5-балльной шкалы Ликерта с вариантом выбора ответа: «абсолютно не согласен», «частично не согласен», «да/нет», «частично согласен», «абсолютно согласен».

С целью формирования подшкал части основного опросника для детей мы провели анкетирование с последующим эксплораторным факторным анализом. В анкетировании целевой мини-группы детей приняли участие 30 пациентов в возрасте от 10 до 17 лет, на теле которых имелся послеоперационный рубец. При проверке внутренней согласованности α Кронбаха составила 0,91, что показало высокую конвергентную валидность элементов между собой. Коэффициент внутриклассовой корреляции между опрошенными в выборке составил 0,93 [95% доверительный интервал (ДИ) 0,90–0,96]. Далее выборка проверена на пригодность к факторному анализу при помощи критерия Кайзера–Майера–Олкина (КМО), уровень показателя составил 0,74. Таким образом, данные пригодны для факторного анализа.

Мы предположили, что утверждения возможно разделить на три группы: физические неудобства из-за наличия рубца, социальные/психологические трудности из-за наличия рубца, проблемы эстетичности и желание избавиться от рубца. Это подтвердилось при анализе данных после построения графика собственных значений «каменистой осыпи» (рис. 1).

 

Рис. 1. График собственных значений.

Fig. 1. Eigenvalue plot.

 

Так, с учётом критерия Кайзера, доля общей дисперсии данных в 63% объяснялась тремя выделенными компонентами: это хороший показатель для опросников подобного рода. После этого мы провели факторный анализ данных методом извлечения главных компонент с последующим ортогональным вращением по методике варимакс. Полученные результаты приведены в табл. 1.

 

Таблица 1. Результат факторного анализа (повёрнутая матрица компонент)

Table 1. Result of factor analysis (rotated matrix of components)

Формулировка вопроса/утверждения / Formulation of the question/statement

Фактор. Доля дисперсии / Factor. Dispersion share

1

2

3

Локализация рубца очень важна / The location of the scar is very important to me

0,841

Рубец, расположенный на лице, наиболее заметен для меня / The scar on my face is the most noticeable to me

0,724

Рубец, расположенный на животе, для меня не заметен / The scar located on the abdomen is not noticeable to me

0,723

Я думаю, что над моим рубцом смеются в обществе / I think my scar is laughed at in society

0,684

Мои друзья и одноклассники часто говорят со мной о рубце, и мне не нравится это / My friends and classmates often talk to me about tripe and I don’t like it

0,673

Когда я делаю фото, я пытаюсь скрыть свой рубец, например, отвернувшись от камеры / When I take a photo, I try to hide the scar, for example by turning away from the camera

0,660

Я рассматриваю рубец в зеркало при каждом удобном случае / I look at the scar in the mirror at every opportunity

0,614

Я использую косметику / фильтры в редакторе, чтобы рубец не было видно / I use makeup / filters in the editor so the scar is not visible

0,591

Я пытаюсь скрыть свой рубец за одеждой, даже если это не очень удобно / I try to hide my scar with clothes, even if it’s not very comfortable

0,589

Я не хожу на пляж летом, потому что все видят мой рубец на теле / I don’t go to the beach in the summer because everyone sees my scar on my body

0,529

До операции я не думал о рубце совсем / Before the surgery, I didn’t think about the scar

Я думаю, что рубец будет мешать мне в работе в будущем / I think the scar will interfere with my work in the future

Я готов терпеть долгое и болезненное лечение рубца / I am ready to endure long and painful treatment of the scar

Рубец часто болит, и мне это не нравится / The scar often hurts and I don’t like it

0,875

Рубец меняет цвет, и мне это не нравится / The scar is changing color and I don’t like it

0,814

Рубец шелушится, и мне это не нравится / The scar is flaking and I don’t like it

0,812

Рубец становится больше, и мне это не нравится / The scar is getting bigger and I don’t like it

0,808

До операции я думал, что рубец будет меньше / Before the operation I thought that the scar would be smaller

0,806

Мои родители говорят со мной о рубце, и мне не нравится это / My parents talk to me about the scar and I don’t like it

0,744

Я мечтаю о том, чтобы избавиться от рубца / I dream about getting rid of the scar

0,843

Я готов использовать длительно кремы и мази, чтобы рубец стал меньше / I am ready to use long-term creams and ointments to make the scar smaller

0,656

Я готов повторить операцию, чтобы избавиться от рубца, она меня не пугает / I’m ready to repeat the operation to get rid of the scar, it doesn’t scare me

0,650

Я готов колоть уколы в область рубца, чтобы избавиться от него / I’m ready to give injections to the scar area to get rid of it

0,553

Рубец — это моя самая главная проблема, которая связана с внешним видом / The scar is my main problem which is related to appearance

 

Таким образом, в первый фактор, который объясняет большую часть дисперсии, попали те утверждения, которые прямо или косвенно связаны с локализацией рубца на теле ребёнка и социальными аспектами его наличия. Ко второму фактору отнесены утверждения, связанные с физическими параметрами наличия рубца. Третий фактор объединил в себе смежные утверждения о проблемах, связанных с лечением, вопросы эстетики.

Интересно отметить, что доля дисперсии утверждения о рубце как о приоритетной для ребёнка проблеме ничтожно мала. Вероятно, это связано с тем, что в детской хирургической практике косметическому результату отводится важное место при планировании операций.

Факторный анализ проведён с целью освобождения опросника от избыточности и улучшения его осуществимости за счёт уменьшения количества вопросов. В результате мы подтвердили своё предположение, что наиболее значимые параметры влияния рубца на ребёнка — локализация, восприятие в обществе и желание улучшить эстетические параметры в будущем. Таким образом, в структуре основного инструмента оценки каждому из компонентов соответствовали по одному-два вопроса.

В качестве критериев возрастной градации опросника для детей мы опирались на периодизацию психического развития Д.Б. Эльконина, теорию деятельности А.Н. Леонтьева, концепцию развития личности Л.И. Божовича, а также основные положения Л.С. Выготского о психологическом возрасте человека [15]. Таким образом, в периодизацию опросника заложены системы «ребёнок — общественная деятельность», «ребёнок — общественный взрослый». Каждый возрастной период был описан через социальную и возрастную ситуацию развития, ведущую деятельность и психологические новообразования. Минимальный возраст опроса ребёнка составил 7 лет, поскольку с этого возраста учебная деятельность становится ведущей, происходит интеллектуализация психических функций.

Статистический анализ

Статистический анализ данных выполнили с помощью пакета программ Microsoft Office 2019, SPSS IBM 23, Jamovi 2.3. Проведены процедуры эксплораторного факторного анализа, а также множественного регрессионного анализа с учётом всех необходимых для этого стандартных критериев. В качестве статистического критерия для сравнений множеств между собой выбрали критерий Спирмена.

РЕЗУЛЬТАТЫ

Визуально ассоциативная педиатрическая шкала субъективного восприятия рубца представляет собой три листа с вопросами. Каждый из них предназначен для персонального заполнения ребёнком, его родителем и врачом. Внешний вид разработанного инструмента оценки представлен в приложениях к статье: приложение 1 — листы опросников для ребёнка согласно возрастной периодизации, приложение 2 — лист опросника для родителя, приложение 3 — лист опросника для врача. Листы опросника для детей разделены в зависимости от возрастной периодизации на 3 категории: младший школьный возраст (7–10 лет, детство), средний школьный возраст (11–14 лет, отрочество), старший школьный возраст (15–17 лет, юность). Лист-опросник для ребёнка и родителя включает в себя 6 вопросов, направленных на выяснение отношения пациента к физическим неудобствам из-за наличия рубца, социальным трудностям, а также к проблемам эстетичности. В каждой возрастной категории вопросы имеют различную синтаксическую структуру в зависимости от психологических особенностей, но объединены семантически. Для ребёнка в возрасте 7–10 лет предусмотрен вводный вопрос, который не входит в суммарный подсчёт баллов: «Часто ли ты убираешь за собой игрушки после игры дома?». Он предназначен для ознакомления пациента с системой заполнения и использования. Под каждым из вопросов расположена визуально-ассоциативная шкала с выбором ответа от 1 до 10, при этом у максимального и минимального ответа расположены подсказки в виде антонимичных слов «да/нет», «всегда/никогда». Порядок чисел отмечен цветовым градиентом, а также сопровождается графическим изображением смайла — от «грустного» до «улыбки», что облегчает ребёнку выбор ответа. Вопрос № 6 идентичен для всех элементов шкалы и предполагает высказать общее впечатление о рубце от 1 до 10, где цифра 1 соответствует «самому худшему рубцу из всех, которых только можно представить», цифра 10 соответствует «самому лучшему рубцу из возможных». В правой половине листа расположены антропоморфные силуэты, которые по своим пропорциям имитируют силуэты ребёнка в каждом из предложенных возрастных промежутков. Силуэты сопровождаются вербальным заданием нарисовать рубец пропорционально своему телу: это вносит элемент игры для детей раннего и среднего школьного возраста, а также помогает определить графически отношение ребёнка к размеру собственного послеоперационного рубца.

Лист-опросник для родителей аналогичным образом представляет собой структуру из 6 вопросов. Факторная структура идентична вопросам для детей и завершается вопросом, который определяет общее мнение родителя о кожном рубце на теле ребёнка с предложением выбрать числовое значение от 1 до 10.

Лист-опросник для врача подразумевает ответ на 2 вопроса, один из которых направлен на определение специалистом эстетичности рубца как изолированного явления, другой предлагает высказать общее отношение к рубцу с учётом знания об объёме хирургического вмешательства. Кроме того, врачу предлагается оценить объективные параметры рубца, такие как длина, ширина, высота/толщина, цвет. Если первые две характеристики легко поддаются измерению, то последующие требуют специализированных измерительных приборов — таких как кутометр, колориметр. Поэтому в целях упрощения администрирования и осуществимости введены подсказки и фиксированные ответы. Для параметра «высота/толщина» предлагается выбор ответа: нормотрофический рубец, атрофический рубец, гипертрофический рубец, келодный рубец, для параметра «цвет»: белый, красный, розовый, фиолетовый. Также на листе расположены агендерные антропоморфные силуэты для графической фиксации расположения рубца.

Для определения межэкспертной и внутриэкспертной надёжности части опросника для врача сформирована группа из 5 специалистов, в которую вошли детский хирург отделения экстренной помощи, детский хирург планового отделения, детский хирург — неонатолог, травматолог-ортопед, дерматолог. Им было предложено оценить набор фотографий кожных рубцов 28 пациентов, которые соответствовали критериям включения. Специалисты предварительно не были ознакомлены с концепцией создания визуально-педиатрической шкалы субъективного восприятия послеоперационного рубца, компонентами опросника для детей и родителей. На представленных фотографиях тип кожи по Фицпатрику находился в диапазоне I–IV. Чтобы свести вероятность предвзятости к минимуму и повысить объективность, врачам не сообщили, что предстоит оценить предложенные фото трижды. При каждой последующей оценке фотоснимки рубцов предоставляли для анализа в случайном порядке. Измерения были проведены трёхкратно с интервалом в 3 нед. в разное время рабочего дня в условиях отделения стационара и поликлиники. Межэкспертная и внутриэкспертная надёжность оценены при помощи коэффициента внутриклассовой корреляции (ICC). Средний уровень межэкспертной надёжности составил 0,96 (95% ДИ 0,93–0,99). Этот числовой показатель следовало расценивать как превосходный. Внутриэкспертная надёжность имела вариативность от 0,85 (95% ДИ 0,88–0,82) до 0,97 (95% ДИ 0,95–0,99). Сводная таблица показателей надёжности для каждого специалиста представлена ниже (табл. 2).

 

Таблица 2. Анализ надёжности вопросов листа опросника для врача

Table 2. Reliability analysis of questions on the physician questionnaire

Наименование специальности / Specialty name

Значение внутриэкспертной надёжности (p < 0,001) / Intra-rater reliability result (p < 0.001)

Врач — детский хирург отделения экстренной помощи / Pediatric surgeon, emergency department

0,85 (95% ДИ 0,82–0,88) / 0,85 (95% CI 0,82–0,88)

Врач — детский хирург — неонатолог / Pediatric surgeon neonatologist

0,97 (95% ДИ 0,95–0,99) / 0,97 (95% CI 0,95–0,99)

Врач — детский хирург планового отделения / Pediatric surgeon, general department

0,91 (95% ДИ 0,89–0,93) / 0,91 (95% CI 0,89–0,93)

Врач травматолог-ортопед / Traumatologist-orthopedic surgeon

0,90 (95% ДИ 0,88–0,92) / 0,90 (CI 95% 0,88–0,92)

Врач-дерматолог / Dermatologist

0,89 (95% ДИ 0,87–0,91) / 0,89 (CI 95% 0,87–0,91)

 

Высокие уровни коэффициента внутриклассовой корреляции показывают достаточную надёжность шкалы SPASS при повторном тестировании. Один и тот же эксперт с высокой долей вероятности присвоит одинаковую числовую характеристику рубцу в ответах на вопросы при повторном измерении.

В определении валидности содержания шкалы приняли участие 92 человека — пациенты клиники хирургии детского возраста Саратовского государственного медицинского университета им. В.И. Разумовского, которые полностью соответствовали описанным критериям включения (Mage = 12,4; SDage = 3,27).

Распределение значений ответов носило смешанный характер (Критерий Колмогорова–Смирнова ∈ [0, 052–0, 818], p ∈ [0, 000–0, 200]), поэтому для проверки гипотез применили непараметрические методы статистического анализа.

Дети, участвующие в исследовании, заполняли лист-опросник, соответствующий их возрастному периоду, как в присутствии врача, так и индивидуально, независимо друг от друга (N7–10 = 30 детей, N11–14 = 32 ребёнка, N15–17 = 30 пациентов). Уровень внутренней согласованности определили для каждой категории вопросов. Совокупное значение конвергентной валидности для опросника составило 0,95. Проверена внутренняя согласованность для каждой возрастной группы вопросов в отдельности, а затем определён общий уровень α Кронбаха. Сводные данные представлены в табл. 3.

 

Таблица 3. Анализ согласованности листа опросника для ребёнка с учётом возрастной периодизации

Table 3. Analysis of the consistency of the questionnaire sheet for the child, taking into account age periodization

Предикторы / Predictors

Возрастная периодизация, лет / Age periods, years

Совокупное значение для вопросов во всех возрастных категориях / Total value for questions in all age categories

7–10

11–14

15–17

Уровень значения α Кронбаха / Cronbach’s α

Вопросы группы «Социальные аспекты» / Questions from the «social aspects» group

0,76

0,82

0,85

0,87

Вопросы группы «Физические неудобства» / Questions from the «physical discomfort» group

0,86

0,90

0,94

0,92

Вопросы группы «Проблемы эстетики и лечения» / Questions from the «problems of aesthetics and treatment» group

0,92

0,94

0,91

0,95

 

Анализ данных таблицы свидетельствовал, что уровень конвергентной валидности групп вопросов высокий, то есть вопросы шкалы логичны и позволяют надёжно измерять одинаковый параметр в разных возрастных группах.

Помимо детей в нашем исследовании приняли участие родители пациентов. Их также было 92 (Nжен = 71, Nмуж = 21). Родителям предложено независимо от ребёнка заполнить специализированную часть опросника. Общий уровень α Кронбаха для полученных данных составил 0,83, что расценивается как хороший показатель. Были определены значения α Кронбаха для каждой категории вопросов в сравнении с ответами детей в каждой возрастной группе. Результаты представлены в табл. 4.

 

Таблица 4. Анализ согласованности вопросов листа-опросника для ребёнка и листа-опросника для родителя

Table 4. Analysis of the consistency of the questions on the questionnaire sheet for the child and the questionnaire sheet for the parent

Предикторы / Predictors

Уровень значения α Кронбаха / Cronbach’s α

Вопросы группы «Социальные аспекты» / Questions from the «social aspects» group

0,83

Вопросы группы «Физические неудобства» / Questions from the «physical discomfort» group

0,91

Вопросы группы «Проблемы эстетики и лечения» / Questions from the «problems of aesthetics and treatment» group

0,93

 

Анализ полученных данных позволил говорить о высокой согласованности всех элементов шкалы опросника для детей в каждой возрастной категории и родителей.

Итоговый вопрос шкалы, оценивающий общее мнение о рубце у ребёнка, не изменяется ни в одном из компонентов опросника и в наибольшей мере отражает восприятие рубца каждым из участников исследования. Мы выяснили, какая из 3 групп вопросов вносит наибольший вклад в вариативность общего восприятия рубца. Для этого мы использовали метод множественного регрессионного анализа. Размер выборки для проверки достоверности модели был достаточным для проведения регрессионного анализа. Расчёт вели по формуле A. Green (Tabachnick and Fidell) [16]. Данные проверены при помощи критерия Дарбина–Уотсона (DW = 1,74): они были пригодны для проведения регрессионного анализа. Результаты анализа представлены в табл. 5.

 

Таблица 5. Результат регрессионного анализа

Table 5. Regression analysis results

Предиктор / Predictors

Коэффициент регрессии / Regression coefficient

R

R2

F

p

Критерий Дарбина–Уотсона / Durbin–Watson criterion(DW)

Константа 1,218 / Constant 1,218

Социальные аспекты / Social aspects

0,183

0,921

0,849

163

< 0,001

1,74

Физические неудобства / Physical discomfort

0,176

Проблемы эстетики и лечения / Problems of aesthetics and treatment

0,179

 

Выявлено, что общая дисперсия изменения совокупной оценки субъективного восприятия объясняется практически на 85% тремя переменными, полученными после проведения процедуры факторного анализа. А вклад этих переменных в изменения практически одинаков. Полученная модель признана работоспособной.

Работоспособность модели косвенно подтверждает построенный график остатков, отражающий дисперсию предсказанных на основе множественного регрессионного анализа значений ответов в выборке (рис. 2). На нём по оси Х отложены предсказанные значения зависимой переменной, а по оси Y — ошибка предсказанного значения, то есть разница между уже измеренным значением переменной и его предсказанным параметром. Полученный график отражает законы гомоскедастичности как постоянства изменения условной дисперсии предсказанных значений (см. рис. 2).

 

Рис. 2. График остатков регрессии.

Fig. 2. Residual plot regression.

 

Выполнено построение корреляционный матрицы с применением критерия Спирмена (для смешанных данных). В результате выяснили, что общая субъективная оценка кожного рубца значимо-положительно коррелирует со всеми показателями, указанными выше: социальными аспектами (R0 = 0,899, p < 0,001), физическими неудобствами (R0 = 0,835, p < 0,001), проблемами эстетики и лечения (R0 = 0,733, p < 0,001). Таким образом, можно утверждать, что чем больше ребёнок испытывает физических неудобств и желает избавиться от рубца в будущем, тем хуже общая субъективная удовлетворённость кожным рубцом.

При заполнении общей части листов опросника дети не испытывали трудностей, среднее время для заполнения в каждой возрастной категории не превышало 1 мин. Помимо этого, дети с интересом относились к антропоморфным силуэтам, дополняя их изображениями лиц, волос, некоторые пациенты изображали одежду и присваивали собственные имена.

ОБСУЖДЕНИЕ

Врачи каждой хирургической специальности сталкиваются с рубцами на коже практически ежедневно, детские хирурги — не исключение. Однако на сегодняшний день всё ещё не существует единого мнения о стандартах оценки послеоперационного рубца. В детской практике вовсе отсутствует такой инструмент. Для детей адаптирована шкала субъективной оценки рубца пациентом и наблюдателем POSAS Kids, однако её использование предусматривается с возраста 15 лет. Нет данных об этапах её валидации как отдельного инструмента. Оценка послеоперационного рубца в трёхсторонней парадигме, включающей мнение родителя и врача, — абсолютно новая веха в подходе администрирования кожного рубца на теле ребёнка.

Анализируя опыт уже известных разработок, мы пришли к выводу, что субъективным факторам отводится минимальное внимание в вопросах оценки рубца. Те опросники, которые учитывают данные характеристики, останавливаются на вопросах физического неудобства, ограничиваясь интегральными характеристиками зуда, боли, шелушения [17], в то время как дети часто могут испытывать социальную дисгармонию, встречаться с буллингом в коллективах, а также воспринимать кожный рубец как инородный элемент на своём теле [18]. Именно поэтому уже на этапе планирования исследования мы постарались максимально всеобъемлюще подойти к вопросам сбора информации об этой проблеме. На специально разработанном сайте в сети интернет, который посвящён проблемам рубцов у детей и вопросам оценки, в процессе сбора мнений мы встречали различные варианты значимости наличия кожной деформации. Взрослые люди часто основывали свои ответы на собственном опыте. Дети при очных беседах были открыты и предлагали «делать всем одинаковые» кожные рубцы, высказывали мнение, что «никогда и никому» не покажут свой рубец, даже если он находился на открытых частях тела. Тем самым проявлялось многообразие клинико-психологических аспектов кожного рубца в разных возрастных группах. Проблему объединения множественных, на первый взгляд не связанных утверждений с целью редукции избыточности помог решить факторный анализ. На практике мы убедились, что наиболее важными характеристиками для ребёнка являются социальная дезадаптация и связанные с этим проблемы, физические неудобства, проблемы эстетичности и будущих изменений рубца.

Оценку физических характеристик, которым так много внимания уделено в опросниках для взрослых, мы проводили при помощи открытого поля в опросниках для детей среднего и старшего школьного возраста. Для ребёнка в возрасте от 7 до 10 лет предусмотрен краткий вопрос: «Тебе мешает рубец?». На наш взгляд, ребёнок готов поделиться только тем, что наиболее важно, так как не все клинически значимые физические аспекты встречаются у одного пациента. При оценке всего спектра подобных параметров, на наш взгляд, страдала бы оперативность заполнения, ребёнок мог потерять интерес к вопросам. Мы встречали такие ответы, как «чешется», «растёт», «болит». Таким образом, после общего балльного ответа о физическом дискомфорте фиксировали лишь приоритетные для пациента характеристики. Более того, в исследовании A. Robertson доказано на примере оценки двумя различными шкалами клинических исходов псориаза, что избыточность физических параметров, характерная для «длинных» опросников, может быть контрпродуктивной при интерпретации [19].

Стоит отметить, что переживаниям детей младшего школьного возраста, связанным с наличием послеоперационного рубца, не уделяется достаточного внимания в научных исследованиях. Отчасти это связно с тем, что все разработанные ранее инструменты оценки (шкалы) предназначены для применения среди взрослого населения. Мы встречали исследования среди детей этой возрастной категории, которые перенесли термическую травму и имеют на своём теле постожоговые рубцы. Однако объектами изучения в этих работах были посттравматическое расстройство и уровень стресса, проблема кожных изменений не стала приоритетной [20].

Благодаря опоре на возрастную периодизацию Л.С. Выготского, мы смогли сделать опросник понятным для детей всех возрастов — с учётом психологических новообразований и линий развития. Однако, несмотря на различие в формулировках, все вопросы взаимозаменяемы и вносят равный вклад в дисперсию предикторов к общей оценке, что подтверждается высоким уровнем внутренней согласованности.

При подсчёте баллов следует учитывать 5 вопросов в листе для ребёнка, 5 вопросов в листе для родителя, а также 1-й вопрос листа опросника для врача. Так, субъективное восприятие кожного послеоперационного рубца, набравшего 11 баллов, следует интерпретировать как худший из всех возможных вариантов, а 110 баллов — как самый благоприятный послеоперационный исход. Вопрос № 6 в листе опросника для ребёнка, вопрос под № 6 в листе опросника для родителя и вопрос № 2 в листе опросника для врача следует учитывать отдельно и не суммировать между собой. Эти вопросы отражают общее впечатление каждого из участников процесса и требуют отдельной интерпретации в абсолютном сравнении.

Шкалу субъективной оценки послеоперационного кожного рубца у детей следует рассматривать в призме уже существующих инструментов. Несмотря на то, что общий балл инструмента рассчитывается путём суммирования численных значений ответов во всех трёх частях, аналогично шкале POSAS, различием является возможность использования результатов каждой части опросника в отдельности [21]. Части опросника для детей и родителей измеряют одни и те же предикторы, хотя вопросы различаются семантически.

Уже известные нам шкалы оценки кожного рубца имеют существенные недостатки. Шкала оценки Стоуни–Брукс (SBSES) разработана для применения в контексте экстренной медицины, прежде всего для оценки качества заживления рваных ран [22]. Ванкуверская шкала оценки (VSS) изначально предназначена для применения среди послеожоговых рубцов. Помимо этого, некоторые ответы для важных характеристик, таких как распространённость и гипертрофия, носят бинарный характер в диапазоне «да/нет», что не может в полной мере отразить степень значимости параметра, а также реагировать на изменения в местном статусе [23]. Манчестерская шкала оценки рубцов (MSS), разработанная для линейных/послеоперационных рубцов, не учитывает значимости отдельных параметров и не была подвергнута регрессионному анализу, к тому же вовсе не учитывает распространение рубца и его длину, что может являться ключевым параметром для линейных рубцов [4].

К другим недостаткам шкал относится неясность используемой терминологии при измерении. Практикующие врачи и даже те люди, кто часто сталкивается в своей работе со сформированными кожными изменениями, не всегда могут понять разницу между податливостью, рельефом и толщиной, однако все эти пункты включены в методику POSAS. Подобные проблемы существуют и для других инструментов. Именно поэтому оценку всех физических параметров рубца в шкале SPASS производит врач-исследователь. Эти характеристики можно измерить при помощи сантиметровой ленты, а для более сложных параметров предусмотрен выбор ответа. Такие меры позволили максимально упростить процедуру администрирования, при этом не теряя в качестве измерения.

Вопрос об общем субъективном мнении, который одинаков во всех частях опросника, позволяет учитывать даже минимальные изменения, влияющие на качество послеоперационного рубца, без включения в опросник дополнительных пунктов для оценки. Это помогает шкале SPASS достоверно отражать косметический и функциональный результат для ребёнка, при этом не пренебрегая осуществимостью.

Ещё одно преимущество шкалы SPASS — вовлечение в её разработку многопрофильной команды экспертов. В валидации инструмента принимали участие специалисты – детские хирурги различных направлений, дерматолог, травматолог, детские психологи, а также профессиональные педагоги.

Мы разработали шкалу SPASS в целях оценки послеоперационного рубца. В первичной валидации инструмента принимали участие только дети с хирургическим рубцом на коже. Однако мы считаем целесообразным исследование возможности применения опросника и апробации для оценки эстетического восприятия кожных изменений иного генеза, в том числе постожогового и дерматологического.

Ограничения исследования

Оценке детьми и родителями подвергались только зрелые послеоперационные рубцы однократно. Возможно, необходимо проведение лонгитюдного исследования с целью определения изменения влияния измеряемых характеристик в послеоперационном периоде, а также на этапах формирования клинического исхода оперативного вмешательства. Требуется определение внутиэкспертной и межэкспертной надёжности шкалы опросника в частях для детей и родителей.

ЗАКЛЮЧЕНИЕ

Разработанная визуально-ассоциативная педиатрическая шкала оценки субъективного восприятия послеоперационного рубца — первый инструмент подобного рода для применения среди детей. Среди многообразия различных мнений о значимости наличия рубца сформированы группы наиболее важных предикторов при помощи факторного анализа. Шкала обладает высоким уровнем конвергентной валидности каждого их компонентов. Высокий уровень внутриэкспертной и межэкспертной надёжности опросника для врача проверен на практике. Опросник адаптирован для детей разных возрастов с учётом периодизации психического развития. Шкала может быть использована как при очной оценке рубцов, так и при оценке рубца по фотографии.

ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ

Приложение 1. Визуально-ассоциативная педиатрическая шкала субъективной оценки послеоперационного рубца (Subjective pediatric assessment scar scale — SPASS). Лист-опросник для ребёнка (7–10 лет, 11–14 лет, 15–17 лет).

DOI: https://doi.org/10.17816/ps822-1413

Приложение 2. Визуально-ассоциативная педиатрическая шкала субъективной оценки послеоперационного рубца (Subjective pediatric assessment scar scale — SPASS). Лист-опросник для родителя.

DOI: https://doi.org/10.17816/ps822-1414

Приложение 3. Визуально-ассоциативная педиатрическая шкала субъективной оценки послеоперационного рубца (Subjective pediatric assessment scar scale — SPASS). Лист-опросник для врача.

DOI: https://doi.org/10.17816/ps822-1412

Вклад авторов. Наибольший вклад распределён следующим образом: Д.С. Савельев — концепция и дизайн исследования, исследование, обзор литературы, написание статьи; С.Ю. Городков — концепция и дизайн исследования, редактирование статьи; И.В. Горемыкин — редактирование и утверждение окончательного варианта статьи, М.В. Браташова — написание статьи, редактирование. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).

Благодарности. Авторы выражают благодарность за помощь в формировании шкалы-опросника с позиций детской психологии и педагогики Карелину Андрею Александровичу — доценту кафедры общей и консультативной психологии Саратовского национального исследовательского государственного университета им. Н.Г. Чернышевского, Балакиревой Екатерине Игоревне — специалисту Центра поддержки одарённых детей, канд. пед. наук, зав. кафедрой педагогики Саратовского национального исследовательского государственного университета им. Н.Г. Чернышевского.

Этическая экспертиза. Проведение исследования одобрено локальным этическим комитетом Саратовского государственного университета им. В.И. Разумовского (протокол № 7 от 02.02.2022). Все участники исследования добровольно подписали форму информированного согласия до включения в исследование.

Источники финансирования. Авторы заявляют об отсутствии внешнего финансирования при проведении исследования.

Раскрытие интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.

Оригинальность. При создании настоящей работы авторы не использовали ранее опубликованные сведения (текст, иллюстрации, данные).

Доступ к данным. Редакционная политика в отношении совместного использования данных к настоящей работе неприменима, новые данные не собирали и не создавали.

Генеративный искусственный интеллект. При создании настоящей статьи технологии генеративного искусственного интеллекта не использовали.

Рассмотрение и рецензирование. Настоящая работа подана в журнал в инициативном порядке и рассмотрена по обычной процедуре.

ADDITIONAL INFORMATION

Supplement 1. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for a child (7–10 years old, 11–14 years old, 15–17 years old).

DOI: https://doi.org/10.17816/ps822-1413

Supplement 2. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for the parent.

DOI: https://doi.org/10.17816/ps822-1414

Supplement 3. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for the doctor.

DOI: https://doi.org/10.17816/ps822-1412

Author contributions. The largest contribution is distributed as follows: D.S. Savelev — concept and design of the study; collection and processing of material; text writing, literature rewiev. S.Y. Gorodkov — concept and design of the study; text editing, I.V. Goremykin — editing and approval of the final version of the article, M.V. Bratashova — text writing, text editing. All authors confirm that their authorship meets the international ICMJE criteria (all authors have made a significant contribution to the development of the concept, research and preparation of the article, read and approved the final version before publication).

Acknowledgments. The authors would like to thank standpoint of child psychology and pedagogy to Karelin AA, Associate Professor of the Department of General and Advisory Psychology of Saratov State University named after N.G. Chernyshevsky, specialist of the Center for Support of Gifted Children, Balakireva EI, PhD of Pedagogical, head of the Department of Pedagogy of Saratov State University named after N.G. Chernyshevsky.

Ethics approval. Patients’ consent. Written consent was obtained from all the study participants before the study screening in according to the study protocol approved by the local ethic committee. The present study protocol was approved by the local Ethics Committee of the Saratov State Medical University named aQ er V.I. Razumovsky (No. 7 by 02.02.2022).

Funding source. This study was not supported by any external sources of funding.

Disclosure of interests. The authors declare that they have no competing interests.

Statement of originality. When creating this work, the authors did not use previously published information (text, illustrations, data).

Data availability statement. The editorial policy regarding data sharing is not applicable to this work, and no new data has been collected or created.

Generative AI. Generative AI technologies were not used for this article creation.

Provenance and peer-review. This work was submitted to the journal on its own initiative and reviewed according to the usual procedure.

1 http//:www.spass.tilda.ws.

×

About the authors

Dmitry S. Savelyev

Razumovsky Saratov State Medical University

Author for correspondence.
Email: saveljevds@gmail.com
ORCID iD: 0009-0006-6832-3318
SPIN-code: 6057-3390
Russian Federation, Saratov

Sergey Yu. Gorodkov

Razumovsky Saratov State Medical University

Email: gorodcov@yandex.ru
ORCID iD: 0000-0001-9281-6872
SPIN-code: 2458-6382

MD, Cand. Sci. (Medicine), Associate Professor

Russian Federation, Saratov

Igor V. Goremykin

Razumovsky Saratov State Medical University

Email: goremykine@gmail.com
ORCID iD: 0000-0002-6074-9780
SPIN-code: 4172-3482

MD, Dr. Sci. (Medicine), Professor

Russian Federation, Saratov

Maria V. Bratashova

Chernyshevsky Saratov State University

Email: bratashovamv@gmail.com
ORCID iD: 0000-0002-4253-0259
SPIN-code: 5426-8101
Russian Federation, Saratov

References

  1. Ferguson MW, Whitby DJ, Shah M, et al. Scar formation: the spectral nature of fetal and adult wound repair. Plast Reconstr Surg. 1996;97(4):854–860. doi: 10.1097/00006534-199604000-00029
  2. Andrade WN, Semple JL. Patient self-assessment of the cosmetic results of breast reconstruction. Plast Reconstr Surg. 2006;117(1):44–47. doi: 10.1097/01.prs.0000186534.50094.ab
  3. Palmieri TL, Petuskey K, Bagley A, et al. Alterations in functional movement after axillary burn scar contracture: a motion analysis study. J Burn Care Rehabil. 2003;24(2):104–108. doi: 10.1097/01.BCR.0000054170.62555.09
  4. Robson MC, Barnett RA, Leitch IO, et al. Prevention and treatment of postburn scars and contracture. World J Surg. 1992;16(1):87–96. doi: 10.1007/BF02067119 EDN: GIVAKU
  5. Vercelli S, Ferriero G, Sartorio F, et al. Clinimetric properties and clinical utility in rehabilitation of postsurgical scar rating scales: a systematic review. Int J Rehabil Res. 2015;38(4):279–286. doi: 10.1097/MRR.0000000000000134
  6. Vercelli S, Ferriero G, Sartorio F, et al. How to assess postsurgical scars: a review of outcome measures. Disabil Rehabil. 2009;31(25):2055–2063. doi: 10.3109/09638280902874196
  7. Durani P, McGrouther DA, Ferguson MW. Current scales for assessing human scarring: a review. J Plast Reconstr Aesthet Surg. 2009;62(6):713–720. doi: 10.1016/j.bjps.2009.01.080
  8. Nguyen TA, Feldstein SI, Shumaker PR, Krakowski AC. A review of scar assessment scales. Semin Cutan Med Surg. 2015;34(1):28–36. doi: 10.12788/j.sder.2015.0125
  9. Maher IA, Fosko S, Alam M. Experience vs experiments with the purse-string closure: unexpected results. JAMA Dermatol. 2015;151(3):259–260. doi: 10.1001/jamadermatol.2014.2312
  10. Varni JW, Seid M, Kurtin PS. PedsQL 4.0: reliability and validity of the Pediatric Quality of Life Inventory version 4.0 generic core scales in healthy and patient populations. Med Care. 2001;39(8):800–812. doi: 10.1097/00005650-200108000-00006
  11. Mustoe TA. International Scar Classification in 2019. 2020. In: Téot L, Mustoe TA, Middelkoop E, et al., editors. Textbook on Scar Management: State of the Art Management and Emerging Technologies [Internet]. Cham (CH): Springer; 2020. Chapter 9. doi: 10.1007/978-3-030-44766-3_9
  12. Draaijers LJ, Tempelman FR, Botman YA, et al. Colour evaluationin scars: tristimulus colorimeter, narrow-band simple reflectance meter or subjective evaluation. Burns. 2004;30(2):103–107. doi: 10.1016/j.burns.2003.09.029
  13. Assessing health status and quality-of-life instruments: attributes and review criteria. Qual Life Res. 2002;11(3):193–205. doi: 10.1023/a:1015291021312
  14. Streiner DL, Norman GR. Health measurement scales: a practical guide to their development and use. 3rd ed. Oxford: Oxford University Press; 2003.
  15. Yasyukova LA. Zakonomernosti vozrastnogo razvitiya: kriticheskii analiz kontseptsii. Narodnoe obrazovanie. 2016;1457(6). (In Russ.) EDN: YGUUPT
  16. Tabachnick BG, Fidell LS. Using Multivariate Statistics. 7th ed. Pearson; 2018.
  17. DijkshoornJN, van Baar ME, Pijpe A, et al. Patient-reported scar quality in paediatric and adult burn patients: A long-term multicentre follow-up study. Burns. 2024;50(9):107203. doi: 10.1016/j.burns.2024.07.007
  18. Imren C., et al. Scar Perception in School-aged Children After Major Surgery in Infancy. Journal of pediatric surgery. 2024;59(11):161659. doi: 10.1016/j.jpedsurg.2024.07.044
  19. Robinson A, Kardos M, Kimball AB. Physician Global Assessment (PGA) and Psoriasis Area and Severity Index (PASI): why do both? a systematic analysis of randomized controlled trials of biologic agents for moderate to severe plaque psoriasis. J Am Acad Dermatol. 2012;66(3):369–375. doi: 10.1016/j.jaad.2011.01.022
  20. Willebrand M, Sveen J. Injury-related fear-avoidance and symptoms of posttraumatic stress in parents of children with burns. Burns. 2016;42(2):414–420. doi: 10.1016/j.burns.2015.08.004
  21. Van der Wal MB, van de Kar AL, Tuinebreijer WE, et al. The modified patient and observer scar assessment scale: a novel approach to defining pathologic and nonpathologic scarring? Plast Reconstr Surg. 2012;129(1):172–174. doi: 10.1097/PRS.0b013e3182362e9b
  22. Singer AJ, Arora B, Dagum A, et al. Development and validation of a novel scar evaluation scale. Plast Reconstr Surg. 2007;120(7):1892–1897. doi: 10.1097/01.prs.0000287275.15511.10
  23. Baryza MJ, Baryza GA. The Vancouver Scar Scale: an administration tool and its interrater reliability. J Burn Care Rehabil. 1995;16(5):535–538. doi: 10.1097/00004630-199509000-00013

Supplementary files

Supplementary Files
Action
1. JATS XML
2. Supplement 1. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for a child (7–10 years old, 11–14 years old, 15–17 years old).
Download (346KB)
3. Supplement 2. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for the parent.
Download (2MB)
4. Supplement 3. Subjective pediatric assessment scar scale — SPASS. Questionnaire sheet for the doctor.
Download (90KB)
5. Fig. 1. Eigenvalue plot.

Download (414KB)
6. Fig. 2. Residual plot regression.

Download (387KB)

Copyright (c) 2025 Savelyev D.S., Gorodkov S.Y., Goremykin I.V., Bratashova M.V.

License URL: https://eco-vector.com/for_authors.php#07