Технология обработки данных

Любая информационная технология слагается из взаимосвязанных информационных процессов, каждый из которых содержит определенный набор процедур, реализуемых с помощью информационных операций. Информационная технология выступает как система, функционирование каждого элемента которой подчиняется общей цели функционирования системы – получению качественного информационного продукта из исходного информационного ресурса в соответствии с поставленной задачей.

Базовая информационная технология– информационная технология, ориентированная на определенную область применения.

Как базовая информационная технология в целом, так и отдельные информационные процессы могут быть рассмотрены на трех уровнях: концептуальном, логическом и физическом. На концептуальном уровне определяется содержательный аспект информационной технологии или процесса, на логическом отображается формализованное (модельное) описание, а на физическом происходит программно-аппаратная реализация информационных процессов и технологии.

При производстве информационного продукта исходный информационный ресурс в соответствии с поставленной задачей подвергается в определенной последовательности различным преобразованиям. Динамика этих преобразований отображается в протекающих при этом информационных процессах. Таким образом, информационных процесс – это процесс преобразования информации. В результате выполнения этого процесса информация может изменить и содержание, и форму представления, причем как в пространстве, так и во времени.

Фазы преобразования информации в информационной технологии достаточно многочисленны, и простое их перечисление может привести к потере ощущения целостности технологической системы. Однако если провести структуризацию технологии, выделив такие крупные структуры, как процессы и процедуры, то концептуальная модель базовой информационной технологии может быть представлена схемой, показанной на рис. 3.

Рисунок 3. Концептуальная модель базовой информационной технологии

На этой схеме в левой части даны блоки информационных процессов, в правой – блоки процедур. Блок в виде прямоугольника изображает процесс или процедуру, в которых преобладают ручные или традиционные операции. Овальная форма блоков соответствует автоматическим операциям, производимых с помощью технических средств (ЭВМ и средств передачи данных). В верхней части схемы, информационные процессы и процедуры осуществляют преобразование информации, имеющей ярко выраженное смысловое содержание. Синтаксический аспект информации находится здесь на втором плане. В этом случае говорят о преобразовании собственно информации. В нижней части схемы производится преобразование данных, то есть информации, представленной в машинном виде. И на этом уровне представления преобладает синтаксический аспект информации.

Технология переработки информации начинается с формирования информационного ресурса, который после определенных целенаправленных преобразований должен превратиться в информационный продукт. Формирование информационного ресурса (получение исходной информации) начинается с процесса сбора информации, которая должна в информационном плане отразить предметную область, т.е. объект управления или исследования (его характеристики, параметры, состояние и т.п.).

Собранная информация для ее оценки (полнота, непротиворечивость, достоверность и т.д.) и последующих преобразований должна быть соответствующим образом подготовлена (осмыслена и структурирована, например, в виде таблиц). После подготовки информация может быть передана для дальнейшего преобразования традиционными способами (с помощью телефона, почты, курьера и т.п.), а может быть подвергнута сразу процессу преобразования в машинные данные, т.е. процессу ввода.

Процессы сбора, подготовки и ввода в информационной технологии организационно-экономических систем по всей реализации являются в основном ручным (кроме процесса подготовки, который частично может быть автоматизированным). В процессе ввода информация преобразуется в данные, имеющие форму цифровых кодов, реализуемых на физическом уровне с помощью различных физических представлений (электрических, магнитных, оптических, механических и т.д.).

Следующие за вводом информационные процессы уже производят преобразование данных в соответствии с поставленной задачей. Эти процессы протекают в ЭВМ (или организуются ЭВМ) под управлением различных программ, которые и позволяют так организовать данные, что после вывода из ЭВМ результат обработки представляет собой наполненную смыслом информацию о результате решения поставленной задачи. В ходе преобразования данных можно выделить четыре основных информационных процесса и соответствующие им процедуры. Это процессы обработки, обмена, накопления данных и представления знаний.

Процесс обработки данных связан с преобразованием значений и структур данных, а также с их преобразованием в форму, удобную для человеческого восприятия, то есть отображением. Отображенные данные – это уже информация. Процедуры преобразования данных осуществляются по определенным алгоритмам и реализуются в ЭВМ с помощью набора машинных операций. Процедуры отображения переводят данные из цифровых кодов в изображение (текстовое или графическое) или звук.

Информационный процесс обмена предполагает обмен данными между процессами информационной технологии. Из рис. 3 видно, что процесс обмена связан взаимными потоками данных со всеми информационными процессами на уровне переработки данных. При обмене данными можно выделить два основных типа процедур. Этопроцедуры передачи данныхпо каналам связи ипроцедуры организации сети. Процедуры передачи данных реализуются с помощью операции кодирования-декодирования, модуляции-демодуляции, согласования и усиления сигналов. Процедуры организации сети включают в себя в качестве основных операций по коммутации и маршрутизации потоков данных (трафика) в вычислительной сети. Процесс обмена позволяет, с одной стороны, передавать данные между источником и получателем информации, а с другой – объединять информацию из многих источников.

Процесс накопления позволяет так преобразовать информацию в форме данных, что ее удается длительное время хранить, постоянно обновляя, и при необходимости оперативно извлекать в заданном объеме и по заданным признакам. Процедуры процесса накопления, таким образом, состоят в организации хранения и актуализации данных. Хранение предполагает создание такой структуры расположения данных в памяти ЭВМ, которая позволила бы быстро и не избыточно накапливать данные по заданным признакам и не менее быстро осуществлять их поиск. В процессе накопления данных важной процедурой является их актуализация. Под актуализацией понимается поддержание хранимых данных на уровне, соответствующем информационным потребностям решаемых задач в системе, где организована информационная технология. Актуализация данных осуществляется с помощью операций добавления новых данных к уже хранимым, корректировки (изменения значений или элементов структур) данных и их уничтожения, если данные устарели и уже не могут быть использованы при решении функциональных задач системы.

Процесс представления знаний включен в базовую информационную технологию как один из основных, поскольку высшим продуктом информационной технологии является знание. Формирование знания как высшего информационного продукта до недавнего времени являлось (в основе своей является и сейчас) прерогативой человека. Однако оказать помощь человеку при решении неформализуемых или трудно формализуемых задач может автоматизированный процесс представления знаний. В этом процессе объединяются процедуры формализации знаний, их накопления в формализованном виде и формальной генерации (вывода) новых знаний на основе накопленных в соответствии с поставленной задачей.

Вывод нового знания – это эквивалент решения задачи, которую не удается представить в формальном виде. Таким образом, процесс представления знаний состоит из процедур получения формализованных знаний и процедур генерации (вывода) новых знаний из полученных.

Логический уровень информационной технологии представляется комплексом взаимосвязанных моделей, формализующих информационные процессы при технологических преобразованиях информации и данные. Формализованное в виде моделей представление информационной технологии позволяет связать параметры информационных процессов, а это означает возможность реализации управления информационными процессами и процедурами.

На рис. 4 приведена схема взаимосвязи моделей базовой информационной технологии. В зависимости от области применения и назначения информационной технологии модели информационных процессов конкретизируются, а некоторые могут и отсутствовать. Однако наибольший эффект информационная технология дает тогда, когда в ее составе используется весь набор информационных процессов.

Рисунок 4. Схема взаимосвязи моделей базовой информационной технологии

На основе модели предметной области (МПО), характеризующей объект управления, создается общая модель управления (ОМУ), а из нее вытекают модели решаемых задач (МРЗ). Так как решаемые задачи в информационной технологии предполагают в своей основе различные информационные процессы, то на передний план выходит модель организации информационных процессов, призванная на логическом уровне увязать эти процессы при решении задач управления.

При обработке данных формируются четыре основных информационных процесса: обработка, обмен и накопление данных и представление знаний.

Модель обработки данных включает в себя (рис. 4) формализованное описание процедур организации вычислительного процесса, преобразования данных и отображения данных. Под организацией вычислительного процесса (ОВП) понимается управление ресурсами компьютера (память, процессор, внешние устройства) при решении задач обработки данных. Эта процедура формализуется в виде алгоритмов и программ системного управления компьютером. Комплекс таких алгоритмов и программ получили название операционных систем. Операционные системы выступают в виде посредников между ресурсами компьютера и прикладными программами, организуя их работу.

Процедуры преобразования данных (ПрД) на логическом уровне представляют собой алгоритмы и программы обработки данных и их структур. Сюда включаются стандартные процедуры, такие, как сортировка, поиск, создание и преобразование статических и динамических структур данных, а также нестандартные процедуры, обусловленные алгоритмами и программами преобразования данных при решении конкретных информационных задач.

Моделями процедур отображения данных (ОД) являются компьютерные программы преобразования данных, представленных машинными кодами, в воспринимаемую человеком информацию, несущую в себе смысловое содержание. Данные могут быть отображены в виде текстовой информации, в виде графиков, изображений, звука, с использованием средств мультимедиа, которые интегрируют в компьютере все основные способы отображения.

Модель обмена данными включает в себя формальное описание процедур, выполняемых в вычислительной сети: передачи (П), коммутации (К), маршрутизации (М). Именно эти процедуры и составляют информационный процесс обмена. Для качественной работы сети необходимы формальные соглашения между ее пользователями, что реализуется в виде протоколов сетевого обмена. В свою очередь, передача данных основывается на моделях кодирования, модуляции каналов связи. На основе моделей обмена производится синтез системы обмена данными, при котором оптимизируются топология и структура вычислительной сети, метод коммутации, протоколы и процедуры доступа, адресации и маршрутизации.

Модель накопления данных формализует описание информационной базы, которая в компьютерном виде представляется базой данных. Процесс перехода от информационного (смыслового) уровня к физическому отличается трехуровневой системой моделей представления информационной базы: концептуальной, логической и физической схемами.

Концептуальная схема информационной базы (КСБ) описывает информационное содержание предлагаемой области, т.е. какая и в каком объеме информация должна накапливаться при реализации информационной технологии. Логическая схема информационной базы (ЛСБ) должна формализовано описать ее структуру и взаимосвязь элементов информации. При этом могут быть использованы различные подходы: реляционный, иерархический, сетевой. Выбор подхода определяет и систему управления базой данных, которая, в свою очередь, определяет физическую модель данных – физическую схему информационной базы (ФСБ), описывающую методы размещения данных и доступа к ним на машинных (физических) носителях информации.

Модель представления знаний. В современных информационных технологиях формирование моделей предметной области и решаемых задач производится в основном человеком, что связано с трудностями формализации этих процессов. Но по мере развития теории и практики интеллектуальных систем становится возможным формализовать человеческие знания, на основе которых и формируются вышеуказанные модели. Модель представления знаний, включенная в систему моделей информационной технологии, позволит проектировщику информационных технологий в автоматизированном режиме формировать из фрагментов модель предметной области, а также модели решаемых задач. Наличие этих моделей поможет пользователю в заданной предметной области выбрать необходимую ему модель задачи и решить ее с помощью информационной технологии. Модель представления знаний может быть выбрана в зависимости от предметной области и вида решаемых задач. В настоящее время используются такие модели, как логические (Л), алгоритмические (А), семантические (С), фреймовые (Ф) и интегральные (И).

Модель управления данными. Взаимная увязка базовых информационных процессов, их синхронизация на логическом уровне осуществляются через модель управления данными. Так как базовые информационные процессы оперируют данными, то управление данными — это управление процессами обработки, обмена и накопления.

Управление процессом обработки данныхозначает управление организацией вычислительного процесса, преобразованиями и отображениями данных в соответствии с моделью организации информационных процессов, основанной на модели решаемой задачи.

При управлении процессом обменауправлению подлежат процедуры маршрутизации и коммутации в вычислительной сети, а также передачи сообщений по каналам связи.

Управление данными в процессе накопления означает организацию физического хранения данных в базе и ее актуализацию, т.е. добавление данных, их корректировку и уничтожение.

Кроме того, должны быть подчинены управлению процедуры поиска, группировок, выборок и т.п.

На логическом уровне управление процессом накопления данных осуществляется с помощью комплексов программ управления базами данных, получивших название систем управления базами данных. С увеличением объемов информации, хранимой в базах данных, при переходе к распределенным базам и банкам данных управление процессом накопления усложняется и не всегда поддается формализации. Поэтому в ИТ при реализации процесса накопления часто возникает необходимость в человеке — администраторе базы данных, который формирует и ведет модель накопления данных, определяя ее содержание и поддерживая ее в актуальном состоянии.

Физический уровень информационной технологии представляет ее программно-аппаратную реализацию. При этом стремятся максимально использовать типовые технические средства и программное обеспечение, что существенно уменьшает затраты на создание и эксплуатацию ИТ. С помощью программно-аппаратных средств осуществляются базовые информационные процессы и процедуры в их взаимосвязи и подчинении единой цели функционирования. Таким образом, и на физическом уровне ИТ рассматривается как система, причем большая система, в которой выделяется несколько крупных подсистем (рис. 5). Это подсистемы, реализующие на физическом уровне информационные процессы обработки данных, обмена данными, накопления данных, управления данными и представления знаний. С системой информационной технологии взаимодействуют пользователь и проектировщиксистемы.

Рисунок 5. Взаимосвязь подсистем базовой информационной технологии (при отсутствии в ИТ подсистемы представления знаний состав и взаимосвязь подсистем ограничиваются пунктирным контуром)

Подсистема обработки данных. Для выполнения функций этой подсистемы используются электронные вычислительные машины различных классов. В настоящее время при создании автоматизированных информационных технологий применяются три основных класса ЭВМ: на верхнем уровне — большие универсальные ЭВМ (по зарубежной классификации — мейнфреймы), способные накапливать и обрабатывать громадные объемы информации и используемые как главные ЭВМ; на среднем — абонентские вычислительные машины (серверы); на нижнем уровне — персональные компьютеры. Обработка данных, т.е. их преобразование и отображение, производится с помощью программ решения задач в той предметной области, для которой создана информационная технология.

Подсистема обмена данными. В эту подсистему входят комплекс программ и устройств, позволяющих создать вычислительную сеть и осуществить по ней передачу и прием сообщений с необходимыми скоростью и качеством. Физическими компонентами подсистемы обмена служат устройства приема-передачи данных: модемы, усилители, коммутаторы, кабели, специальные вычислительные комплексы, осуществляющие коммутацию, маршрутизацию и доступ к сетям. Программными компонентами подсистемы являются программы сетевого обмена, реализующие сетевые протоколы, кодирование-декодирование сообщений и др.

Подсистема накопления данных.Подсистема реализуется с помощью банков и баз данных, организованных на внешних устройствах компьютеров и ими управляемых. В вычислительных сетях, помимо создания локальных баз и банков данных, используется организация распределенных банков данных и распределенной обработки данных. Аппаратно-программными средствами этой подсистемы являются компьютеры различных классов с соответствующим программным обеспечением.

Подсистема представления знаний. Для автоматизированного формирования модели предметной области из ее фрагментов и модели решаемой информационной технологией задачи создается подсистема представления знаний. На стадии проектирования информационной технологии проектировщик формирует в памяти компьютера модель заданной предметной области, а также комплекс моделей решаемых технологией задач. На стадии эксплуатации пользователь обращается к подсистеме знаний и, исходя из постановки задачи, выбирает в автоматизированном режиме соответствующую модель решения, после чего через подсистему управления данными включаются другие подсистемы информационной технологии.

Подсистемы представления знаний реализуются, как правило, на персональных компьютерах, программное обеспечение которых пишется на специальных формальных языков программирования.

Подсистема управления данными. Это подсистема на компьютерах с помощью подпрограммных систем управления обработкой данных и организации вычислительного процесса, систем управления вычислительной сетью и систем управления базами данных. При больших объемах накапливаемой на компьютере и циркулирующей в сети информации на предприятиях, где внедрена информационная технология, могут создаваться специальные службы, такие, как администратор баз данных, администратор вычислительной сети и т.п.