Принципы многокритериальной классификации экономических субъектов

Ключевые слова: нечеткие множества, нелинейная зависимость, неопределенность, неоднородность, интегральный показатель, слабоструктурированная проблема, вербальный анализ, порядковые шкалы, многокритериальная классификация, множество альтернатив, решающее правило, принятие решений.

С точки зрения банковского кредитного эксперта (кредитного инспектора, начальника кредитного отдела, руководителя банка)[29] необходима выработка пригодной для практического применения, адекватной внутренней логике процессов финансово-экономического анализа и экспертного оценивания комплексной системы показателей кредитоспособности заемщиков. Результатом анализа показателей кредитоспособности заемщика (как количественных, так и качественных) в конкретных условиях «внешней среды» с использованием подобной системы должны стать однозначные ответы на вопросы, постоянно возникающие перед экспертами кредитного комитета банка, рассматривающими кредитные заявки:

- можно ли предоставить конкретному заемщику испрашиваемый кредит? (задача выбора заемщика, или I-я задача);

- если ответ на первый вопрос положителен, то на каких условиях необходимо предоставить испрашиваемый кредит? (задача оценки параметров кредитного заключения, или II-я задача);

- какие меры необходимо принять банку с целью минимизации риска невозврата испрашиваемого кредита? (задача выбора методов защиты от риска, или III-я задача).

Методология решения первых двух задач должна представлять теоретико-прикладную систему оценки показателей кредитоспособности заемщика и условий кредитования. Третья задача требует применения методов оптимального управления кредитным портфелем банка.

Предлагаемые многими авторами и рассмотренные ранее модели и методики оценки кредитоспособности заемщиков, как правило, основываются на допущении о наиболее существенном вкладе в оценку кредитоспособности количественных факторов (финансовых показателей), то есть гипотезе количественной релевантности (Приложения 1 и 2). Международная и российская практика кредитования показывает, что количественные факторы кредитоспособности не могут удовлетворительно охарактеризовать кредитоспособность реального заемщика, т.к. способны показать лишь «моментный», ретроспективный срез финансового состояния хозяйствующего субъекта. Современные банковские специалисты признают, что понятие «кредитоспособность заемщика» логически несводимо лишь к финансовым параметрам заемщика, оно является комплексным. Следовательно, совокупность показателей, характеризующих кредитоспособность заемщика, должна включать в себя и финансовые и нефинансовые показатели, то есть как количественные, так и качественные. Причем, качественные показатели (например, уровень менеджмента или деловая репутация заемщика) должны играть не менее весомую роль, чем количественные в системе факторов, используемых для адекватной оценки кредитоспособности.

В связи с потребностями практики возникает необходимость методологии измерения и сопоставления показателей кредитоспособности, что обусловлено следующими основными причинами:

- постоянно изменяющейся внешней средой, цикличностью экономики;

- спецификой предметной области исследования (так как она находится не столько в сфере финансовых проблем, сколько на стыке экономики, финансов, современной прикладной математики, психологии);

- относительной новизной и недостаточной отработанностью математических методов исследования субъектов и их отношений, составляющих основу анализа кредитоспособности заемщика;

- недостаточной осведомленностью высших менеджеров банков и специалистов в области финансов о математических методах обработки нечисловой (вербальной, описательной) информации и о возможностях построения на основе этих методов специализированных экспертных систем.

Существующие модели оценки кредитоспособности заемщиков в отечественных коммерческих банках в качестве релевантных факторов в процедуре оценки кредитоспособности используют три основных: финансовое состояние, обеспечение и экспертную оценку потенциального заемщика. При этом предпочтение банковских практиков отдается эвристическим подходам, основанным на субъективной оценке экспертов, поскольку проблемой является нахождение способа сведения количественных и качественных показателей заемщика к одному интегральному показателю оценки для принятия решений о кредитовании и обоснования этого решения. Главным недостатком предлагаемых систем отбора кредитных заявок является то, что они предполагают экспертное оценивание заявки с помощью весовых коэффициентов значимости показателей, содержащихся в ней, и применение линей­ной функции зависимости привлекательности кре­дитной заявки от фактических значений этих показа­телей. В действительности, по мнению исследователей, имеет место нелинейная, эволюционная зависимость показателей, характеризующих заемщика, соответственно, экспертное оценивание должно осуществляться по нелинейному критерию. Это означает, что разные факторы имеют объективно неодинаковое влияние на мнения экспертов в отношении конкретной кредитной заявки, и линейное «взвешивание» вряд ли будет адекватно моделировать реальный процесс экспертного оценивания. Линейные модели эффективно работают лишь в области малых отклонений от стационарного состояния оцениваемых параметров (на практике – не более 10%)[30]. Поэтому методики экспертного оценивания на базе линейного алгоритма «взвешивания» применимы для очень ограниченных квазистационарных случаев прогнозирования малых отклонений базовых показателей. Более предпочтительной объективно может быть методика, основанная на нелинейных алгоритмах бинарного по качественным показателям экспертного оценивания, либо на комбинации нелинейных алгоритмов экспертного оценивания и теории нечетких множеств.

Важно подчеркнуть, что нелинейный алгоритм экспертного оценивания целесообразно использовать по двум фундаментальным причинам: во-первых, в силу принципиальной нелинейности самого процесса экспертного оценивания, а, во-вторых, в силу необходимости учета объективно существующей эволюционной нелинейности факторов оценки. Первый тип нелинейности может быть промоделирован с помощью специальных математических функций (типа функций Уолша, Хэвисайда или «фильтрующих» сверток), второй – с помощью производящих функций теории нечетких множеств. Однако, с точки зрения практики, необходимо стремиться к компромиссу между адекватностью и аналитичностью (простотой практической интерпретации) модели оценивания, не забывая при этом о ее ограничениях, очерченных областью практической применимости. Исходя из этого, модель линейного оценивания должна рассматриваться как некая асимптотика нелинейной при малом изменении внутренних параметров и слабых возмущениях параметров внешней макроэкономической среды. Наиболее достоверные результаты она будет давать, естественно, для добросовестных[31] заемщиков в относительно спокойные периоды развития макроэкономики, что снижает ее достоверность и практическую ценность для эксперта. Таким образом, для каждого банка существует необходимость создания целостной, научно обоснованной, логически непротиворечивой прикладной системы оценки показателей кредитоспособности, использование которой на заданном множестве экономических субъектов (потенциальных заемщиков) давало бы результаты, однозначно интерпретируемые пользователями такой системы.

Анализ финансово-экономической литературы по данной проблематике показывает, что существует некий разрыв между теоретическими подходами к решению задачи оценки кредитоспособности и практикой банковского кредитования. Теоретики делают упор на анализ количественной информации финансовых критериев кредитоспособности, рекомендуя применять при этом статистические модели анализа кредитоспособности, основанные на MDA, а также разнообразные рейтинговые модели. Практики же предпочитают опираться на свой опыт и неформализуемые в рамках традиционных математических методов способности интуитивно прогнозировать сценарии развития событий. В результате объективно возникает необходимость объединения как первого, так и второго подхода к решению задачи оценки кредитоспособности заемщика. Несмотря на понимание многими исследователями того, что в действительности анализ кредитоспособности нельзя свести только к анализу финансовых коэффициентов, и необходим тщательный анализ нефинансовых показателей, не предлагается конкретных моделей или методик комплексного анализа кредитоспособности в работах, посвященных данному вопросу. Это свидетельствует о недостаточности применения математических методов анализа количественно измеримых показателей для удовлетворительного решения задачи комплексной оценки кредитоспособности. Эмпирико-эвристический подход в отдельности также не может обеспечить удовлетворительного решения поставленной задачи.

Как убедительно показали исследования ряда специалистов в области психологии, ограниченность эмпирико-эвристического подхода связана с особенностями человеческой системы переработки сложной информации. В частности, специалисты приводят ряд аргументов, доказывающих ограниченность стихийного эвристического подхода к анализу многокритериальных проблем[32]. Данные авторы предлагают для исследования качественных характеристик субъекта использовать специально разработанные алгоритмы вербального анализа данных и принятия решений. Анализ специальной литературы, посвященной методам многокритериальной оценки и качественным методам принятия решений, показал, что задача комплексной оценки кредитоспособности относится к типу так называемых «слабоструктурированных проблем»[33]. Основными чертами слабоструктурированных проблем являются объективное наличие в их составе как качественных, так и количественных показателей, причем качественные, малоизвестные и неопределенные стороны имеют доминирующую тенденцию.

Возможны два конструктивных пути решения слабоструктурированных задач (в частности, задачи оценки кредитоспособности заемщика). Первый – это редукция качественных показателей к особым образом построенным количественным показателям (балльным оценкам критериев и альтернатив, нечеткозначным переменным). Наиболее известным примером такого подхода служит методанализа иерархий (МАИ) Т. Саати и К. Кернса[34]. Он относится к эвристическим методам, поскольку не имеет строгого научного обоснования и построен на базе обобщения эмпирического материала. Другой, менее известный, главным образом из-за своей новизны, пример подобного подхода – это метод фильтрации состояния нечетких процессов, основанный на теории нечеткого интегрирования[35]. Вторым путем решения слабоструктурированных задач является их редукция к неструктурированным задачам, то есть таким, которые содержат лишь качественные показатели, поскольку очевидно, что любые количественные показатели могут быть преобразованы в качественные[36]. Что касается корректного преобразования качественных показателей в количественные, то этот вопрос в настоящее время остается открытым. Ряд исследователей полагают, что использование принципиально новых математических технологий, таких, как теория нечеткой меры и нечетко-интегральное исчисление, позволяет эффективно формализовать и решать слабоструктурированные задачи[37]. Другие исследователи считают, что любая процедура сведения качественных показателей к количественным некорректна, а, следовательно, полагаться на получаемые таким образом «трансформированные» количественные результаты при принятии решений нет никаких оснований. Данные исследователи предлагают ряд разработанных методов исследования качественных данных, которые являются частью так называемой теории вербального анализа и решения неструктурированных задач[38].

Обширный опыт отечественных и зарубежных банковских специалистов убедительно свидетельствует о том, что статистические методы не могут быть признаны надежным и адекватным инструментом решения слабоструктурированных задач. Любая попытка использования статистических методов для решения такого рода задач есть не что иное, как редукция к хорошо структурированным (формализованным) задачам. В частности, доказано, что данный прием является логически ошибочным, поскольку такого рода редукция существенно искажает исходную постановку задачи[39]. Принципиальная невозможность применения формальных методов при решении слабоструктурированных задач подтверждается сформулированным основоположником теории нечетких множеств Л.Заде «принципом несовместимости»: «…чем ближе мы подходим к решению проблем реального мира, тем очевиднее, что при увеличении сложности системы наша способность делать точные и уверенные заключения о ее поведении уменьшается до определенного порога, за которым точность и уверенность становятся почти взаимоисключающими понятиями»[40]. Наконец, практика свидетельствует об объективно существующей несоизмеримости (структурной неоднородности) количественных и качественных показателей кредитоспособности. Поскольку в настоящее время нет рациональных оснований предпочесть тот или иной метод решения слабоструктурированных задач из-за того, что все они обладают специфическими достоинствами и недостатками, то задачу оценки кредитоспособности заемщика, которая формально может быть сведена к задаче многокритериальной классификации объектов в пространстве количественно-качественных показателей, допустимо решать с помощью разных методов. Результаты решения, полученные тем или иным способом, сверяются. Если различные методы позволяют решить задачу с близкой степенью адекватности, то результаты решения не должны противоречить друг другу и сильно отличаться. Например, ясно, что, при «+классификации»[41] объектов (заемщиков) основная масса «+заемщиков» при использовании упомянутых методов должна быть классифицирована одинаково.

В настоящее время наиболее плодотворным подходом к решению слабоструктурированных задач является их редукция к неструктурированным с применением методологии вербального (качественного) анализа. Это обусловлено следующими обстоятельствами.

Во-первых, методология вербального анализа и принятия решений достаточно хорошо исследована и подробно разработана специалистами; ими же разработан ряд алгоритмов для решения разнообразных задач многокритериальной классификации[42].

Во-вторых, методология вербального анализа успешно применяется в различных отраслях науки и практики (медицинская диагностика, принятие решений о ценности научных разработок, разнообразные экспертные системы в экономике).

Наконец, в-третьих, алгоритмы вербального анализа без особых проблем могут быть положены в основу построения гибкой автоматизированной системы принятия решений. Отчасти это обусловлено разнообразием инструментальных средств современной прикладной информатики, в первую очередь, достаточно мощных средств программирования.

Таблица 2.1

Сравнение основных достоинств и недостатков метода вербального анализа для решения задач многокритериальной классификации

 

Достоинства метода вербального анализа Недостатки метода вербального аналлиза
1. Хорошая теоретико-прикладная разработанность и научная обоснованность. 1. Чувствительность результата к зависимости критериев (необходимо строить независимые системы критериев).
2. Полная адекватность решения неструктурированных и слабоструктурированных задач, в частности задач многокритериальной классификации альтернатив. 2. Рекомендуемое специалистами для эффективного применения алгоритмов классификации число критериев не должно превышать 9, число оценок (градаций) на шкалах критериев 5, число классов решений 7 (см. [115]).
3. Позволяет интерактивно строить решение в терминах предметной области, с использованием словесных формулировок понятных эксперту. 3. Требует значительных трудозатрат высших менеджеров банка (ЛПР) на стадиях постановки задачи и внедрения ее реализации
4. Позволяет легко контролировать непротиворечивость классификации с помощью специально построенных процедур  
5. Позволяет получить высокую достоверность результатов[43].  

 

Важнейшими чертами неструктурированных задач, позволяющими утверждать, что решение рассматриваемой нами частной проблемы анализа кредитоспособности заемщика может быть достаточно корректно сведено к более общему случаю, являются следующие[44]:

- уникальность выбора в том смысле, что каждый раз проблема является новой для ЛПР, либо обладающей новыми особенностями по сравнению со встречавшимися ранее подобными проблемами;

- непосредственная связь с неопределенностью в оценках альтернативных вариантов решения проблемы, которая объективно обусловлена нехваткой информации на момент решения проблемы;

- оценки альтернативных вариантов решения проблемы имеют качественный характер и чаще всего сформулированы в словесном виде;

- общая оценка альтернатив может быть получена лишь на основе субъективных предпочтений ЛПР (либо группы ЛПР). Интуиция ЛПР, его уверенность в тех или иных вариантах развития событий являются основой решающего правила, позволяющего перейти от отдельных оценок к общей оценке альтернатив. Под решающим правилом понимаются определенные требования к альтернативам, то есть алгоритм выбора из множества альтернатив[45];

- оценки альтернатив по отдельным критериям могут быть получены только от экспертов. Обычно отсутствует объективная шкала измерения оценок по отдельным критериям. Более того, в ряде случаев оценки альтернатив по критериям могут быть относительными, показывая, чем один вариант лучше другого.

При принятии решений по неструктурированным задачам существует много факторов, влияющих на оценку и выбор альтернатив. Это приводит к единственно возможному виду измерений для большинства факторов – измерениям в качественных, вербальных понятиях, расположенных на порядковых шкалах. Для того чтобы использовать методы вербального анализа данных для решения задачи оценки кредитоспособности заемщиков коммерческого банка, введем ряд определений.

Альтернативой (обозначение: xi) в смысле задачи I будем называть любого заемщика, обратившегося в наш банк.

Множество альтернатив задачи I (обозначения: А, xi ÎА; i = 1...N; N – число заемщиков) определим как совокупность заемщиков, обратившихся в банк за кредитом в течение заданного периода времени.

Множество критериев задачи I (обозначение: К), а сами отдельно взятые показатели (быть может, зависимые друг от друга) – критерии (обозначения: К, kj ÎК; j = 1...M; M – число критериев) охарактеризуем как совокупность показателей, определяющих кредитоспособность заемщика.

Порядковой шкалой убывающей (возрастающей) оценки альтернатив по данному критерию(sj) назовем множество упорядоченных качественных оценок (градаций), построенных в соответствии с убыванием (возрастанием) свойства объектов (альтернатив xi ÎА), выраженного некоторым критерием kj.

Совокупность порядковых шкал, соответствующая множеству критериев К, образует множество шкал для оценки комплексного свойства, характеризуемого критериями из множества К (обозначения: S, sjÎS).

Непротиворечивой М-критериальной классификацией множества А будем считать разбиение этого множества на непересекающиеся подмножества (классы), построенные на основании выбора ЛПР в соответствии с заданным множеством критериев К и шкал оценок S.

«+Классом» будем называть подмножество множества А, полученное вследствие применения к последнему процедуры непротиворечивой М-критериальной классификации, элементы которого классифицированы как кредитоспособные заемщики.

Используя данные определения, задачу I можно сформулировать следующим образом: построить непротиворечивую классификацию данного множества альтернатив в соответствии с заданными множествами критериев и оценок альтернатив по критериям и выделить «+классы». Таким образом, в терминах приведенных выше определений задача оценки кредитоспособности заемщика (выбора кредитоспособного заемщика – задача I) может быть рассмотрена как частный случай задачи многокритериальной классификации.

Существующие правила качественного сравнения многокритериальных альтернатив основаны на свойстве независимости одного или группы критериев по предпочтению. Сформулируем определение, выражающее это свойство.

Пусть имеется множество критериев К, и это множество разбито на L непересекающихся групп К1, ..., КL. Критерии группы Кm (0< m < L+1) множества К не зависят по предпочтению от остальных критериев этого множества, если предпочтение между альтернативами, имеющими одинаковые оценки по всем критериям, кроме критериев группы Кm, не зависит от значений этих равных компонентов.

Необходимость данного свойства проистекает из желания использовать относительно небольшой объем простой информации о предпочтениях ЛПР для построения эффективного решающего правила (эффективного в смысле обеспечения высокой степени сравнимости реальных альтернатив с его помощью). С другой стороны, проведение всеобъемлющей проверки свойства независимости приводит к необходимости сравнивать очень большое (для некоторых задач – неимоверно большое) число оценок. Таким образом, существуют две проблемы: 1) как осуществить частичную, но достаточно представительную проверку? 2) что делать в случае зависимости критериев? Рассмотрим эти проблемы.

Можно различить следующие виды зависимости критериев по предпочтению:

1) зависимость одного критерия от одного или нескольких;

2) зависимость пары критериев от одного или нескольких;

3) зависимость группы критериев от одного или нескольких.

Наиболее изученной является зависимость пары критериев от остальных. Следует отметить, что данный вид зависимости (независимости) критериев является основополагающим в методах принятия решений. Авторами многокритериальной теории полезности К.Л. Кини и Х. Райфой доказано, что если все критерии из К попарно независимы, то существует независимость любых групп критериев от остальных[46]. Сошлемся также на мнение Д. фон Винтерфельда и Г. Фишера, считающих, что при попарной независимости критериев по предпочтению появление групповой зависимости критериев «неопределенно» по своей природе и трудно обнаружимо[47]. Таким образом, понятно стремление исследователей построить процедуру проверки выполнения аксиомы о независимости пар критериев по предпочтению.

Что же делать в случае зависимых критериев? К. Маккримон предложил выделять зависимые критерии в одну группу, считать эту группу одним критерием и рассматривать как независимый от других критериев. Это же предложил Г. Келли, автор теории персональных контрактов[48]. Итак, в случае зависимых критериев следует переформулировать задачу путем объединения зависимых критериев в один и сохранения критерия, несущего самостоятельный дополнительный смысл. Следует указать на еще один возможный способ устранения зависимых критериев: использование иерархии критериев (если они образуют единую группу показателей, характеризующих некое обобщенное качество объекта). В этом случае возможно образование независимых групп критериев, внутри которых проводится упорядочение сочетаний всех возможных оценок по этим критериям. Если число таких сочетаний достаточно велико (превышает 5-7), то они разбиваются на упорядоченные группы, которые представляют собой оценки на шкале нового обобщенного критерия. Таким образом, можно сделать вывод, что в методах принятия решений, использующих только вербальные оценки, необходимо:

- проводить проверку свойства попарной независимости критериев по предпочтению путем сравнения альтернатив, отличающихся оценками по двум критериям;

- проводить выделение зависимых групп критериев;

- выявлять взаимные отношения зависимых критериев, природу их зависимости;

- проводить переформулировку части критериев с тем, чтобы новое критериальное описание проблемы позволяло использовать эффективные методы сравнения многокритериальных альтернатив, не исключая из рассмотрения существенные для принятия решения показатели.

Многие исследователи считают, что у человека нет заранее сформированного решающего правила до начала процесса принятия решений. Как отмечают фон Винтерфельд и Эдвардс «...не предполагается, что полезности и числа, выражающие субъективные оценки объектов и ситуаций, просто лежат в наших головах в ожидании, что их извлекут оттуда»[49]. В самом деле, во многих методах принятия решений от человека сразу же требуют назначения всех параметров, определяющих решающие правила (например, назначения весов и числовых шкал критериев). Трудно ожидать, что ЛПР на первых же этапах принятия решений может устойчиво, осмысленно и непротиворечиво определить решающее правило. Мы можем предположить, что у опытного ЛПР (особенно, если ЛПР сталкивалось ранее с той же или подобной задачей) есть многие элементы решающих правил: перечень критериев (может быть, неполный), сравнительная важность некоторых критериев и оценок. Но обычно все это уточняется в процессе выработки решения. Именно в этом процессе формируются все необходимые компромиссы. Метод принятия решений должен включать в себя процедуры специального типа, в которых политика ЛПР вырабатывается поэтапно, а не одномоментно. Такие процедуры должны позволять людям ошибаться и исправлять свои ошибки, вырабатывать частичные компромиссы и переходить к следующим. Этот процесс должен позволять ЛПР усомниться в своих решениях и вернуться к началу. Совершая ошибки и исправляя их, человек вырабатывает непротиворечивую и хорошо продуманную стратегию.

С поведенческой точки зрения одним из требований к результатам применения любого метода является их объяснимость. ЛПР при принятии ответственного решения хочет знать, почему альтернатива А оказалась лучше, чем В, и обе они – лучше С. Это требование ЛПР является вполне обоснованным. Этап получения информации от ЛПР и этап представления конечных результатов разделены этапом преобразования информации. Поэтому ЛПР хочет убедиться, что именно его предпочтения без каких-либо искажений положены в основу оценки альтернатив. Чтобы удовлетворять этому требованию, метод принятия решений должен обладать прозрачностью – он должен позволять находить взаимно однозначное соответствие между информацией, полученной от ЛПР, и окончательными оценками альтернатив. Только тогда появляется возможность получения объяснений для ЛПР. Возможность получения объяснений является одной из характеристик экспертных систем. Эта характеристика позволяет сделать экспертные системы понятными по отношению к пользователю. В задачах принятия решений таким пользователем является ЛПР, на основе предпочтений которого и строится решающее правило. Предложенный подход должен быть ориентирован на реального человека, воспринимающего информацию в определенной форме, имеющего ограниченные возможности по переработке информации, склонного к ошибкам и противоречиям. Этот подход основан на следующих принципах.

Во-первых, входной информацией для любого метода является описание проблемы в терминах, понятных как ЛПР, так и потенциальным экспертам. Это описание должно быть структурировано. Наиболее мягким, не вносящим искажений способом структуризации является использование многих критериев со словесными оценками на порядковых шкалах. Это описание необходимо сохранять (без искажающих его преобразований) на всех этапах применения разработанного метода.

Во-вторых, метод должен разрабатываться для определенных задач. Наиболее существенными характеристиками задач являются вид решения (например, выделить наилучшую альтернативу, разделить на упорядоченные классы и т.д.) и характеристики рассматриваемых альтернатив (например, наличие реальных альтернатив на момент принятия решений, количество альтернатив, описывающих их критериев и т.п.).

В-третьих, необходимо предусмотреть анализ самого описания проблемы (его адекватность, полноту и т.п.). Важным моментом такого анализа может стать проверка выделенных критериев на независимость. Если выявляется частичная зависимость критериев, то целесообразно провести реструктуризацию описания проблемы так, чтобы новые критерии (или их группы) были независимыми.

В-четвертых, при любых способах получения информации в применяемом методе должны быть предусмотрены средства для ее проверки на непротиворечивость. Должен быть создан процесс получения и проверки информации, способствующей обучению и необходимым компромиссам.

Наконец, в-пятых, метод должен удовлетворять требованию интерактивности: в его компьютерной реализации должна быть предусмотрена возможность получения объяснений для ЛПР любых получаемых решений.

Таким образом, сформулированные выше пять требований задают основные условия как применения самого метода анализа качественных данных и построения многокритериальной, системной классификации, так и его реализации с помощью современных компьютерных технологий.








Дата добавления: 2016-01-26; просмотров: 1051;


Поиск по сайту:

При помощи поиска вы сможете найти нужную вам информацию.

Поделитесь с друзьями:

Если вам перенёс пользу информационный материал, или помог в учебе – поделитесь этим сайтом с друзьями и знакомыми.
helpiks.org - Хелпикс.Орг - 2014-2024 год. Материал сайта представляется для ознакомительного и учебного использования. | Поддержка
Генерация страницы за: 0.022 сек.