,

где j=1,…,n, i=1,…,m(1), k=m(1)+1,…,m c неизвестными y 1 ,…,y n (искомыми значениями коэффициентов a j) и λ. Для проверки существования решения систем линейных неравенств используются вычислительные методы линейной алгебры; эта проверка является «не слишком сложной», а программное обеспечение содержится в общераспространённых пакетах. Если решение существует, то оно либо единственно, либо их бесконечно много.

Существуют многочисленные методы нахождения линейных решающих правил, реализующие различные дополнительные требования (типа максимизации ε, сокращения размерности описания и пр.).

Геометрическая интерпретация линейного решающего правила заключается в следующем. Пусть все признаки замерены в количественных шкалах и E n – n-мерное евклидово пространство. Гиперплоскость a 1 x 1 +a 2 x 2 +…+a n x n = λ делит E n на две части таким образом, что в каждой из них находятся точки только одного из классов. Такие гиперплоскости называются разделяющими .

Ситуация заметно усложняется, если разделяющей гиперплоскости не существует и нужно отыскать гиперплоскость, минимизирующую функционал качества распознавания. С вычислительной точки зрения эта задача является намного более сложной.

Линейные методы распознавания использовались в течение ряда лет для прогноза продуктивности локальных поднятий и уточнения границ природных резервуаров УВ в нижне -среднеюрских отложениях Западной Сибири (Каштанов, Соколов, 1976, Красавчиков, 2007).

Упорядочение

На практике вместо отыскания решающей функции, удовлетворяющей цепочке неравенств (1), зачастую достаточно получить «хорошую» корреляцию упорядочения по убыванию значений функции F с упорядочением на материале обучения. Это имеет принципиальное значение, поскольку решающей функции, для которой выполняются неравенства (1), в классах «простых» функций (типа линейных и т.п.) может и не существовать. Для приближённого решения этой задачи можно применять математический аппарат множественной линейной регрессии, реализованный в программном продукте Statistica for Windows.

Пусть приближённое решение F ищется в классе линейных функций,

F(u 1 ,u 2 ,…,u n)=a 1 u 1 +a 2 u 2 +…+a n u n +b ,

где a 1 ,…,a n , b – коэффициенты при переменных и свободный член соответственно, Ψ – некоторая монотонная функция, определённая на множестве значений целевого признака (например, логарифм, см. пояснение в разделе 10). Тогда, решая задачу множественной линейной регрессии вида:

найти a 1 ,…, a n , b , при которых функционал

достигает минимума ,

мы получаем приближённое решение задачи упорядочения через аппроксимацию некоторой монотонной функции от целевого признака. Поскольку функция Ψ монотонна, можно, используя коэффициент Спирмена, оценить достоверность связи между решением регрессионной задачи и значениями целевого признака X n +1 . Значение r s является естественным показателем качества приближённого решения задачи упорядочения.

Можно показать, что для отыскания точного решения F в классе линейных решающих функций достаточно решить систему m-1 нестрогих линейных неравенств c n неизвестными p 1 ,…,p n:

, i=1,…,m-1, (3)

где n – число признаков, e>0 – малая положительная константа. При этом, как легко видеть, разности X j (S i) - X j (S i +1)=H ij являются известными величинами. Обратно, из существования решения системы линейных неравенств (3) вытекает существование решения системы неравенств (2). Однако, как уже отмечалось, в классе линейных решающих функций решения может и не существовать.

Программное обеспечение для решения систем нестрогих линейных неравенств отсутствует в пакете Statistica. Однако оно, в принципе, является достаточно распространённым и содержится в программных продуктах, предназначенных для решения задач вычислительной алгебры.

Кластер-анализ

Существует большое количество методов и алгоритмов кластер анализа. Среди них выделяются две крупные группы, к которым относится большинство опубликованных алгоритмов. Это иерархические алгоритмы, порождающие древовидные классификации объектов, и алгоритмы, порождающие разбиения (группировки).

Иерархические алгоритмы

Среди иерархических алгоритмов можно выделить два основных класса – агломеративные и дивизимные. Это – пошаговые алгоритмы. Агломеративные алгоритмы начинают с того, что каждый объект является отдельным кластером, а заканчивают тем, что все кластеры объединяются в один объект. На каждом шаге производится объединение двух наиболее «близких» в некотором смысле кластеров. Близость между кластерами задаётся «расстоянием» либо мерой близости. Под «расстоянием» в данном случае понимается неотрицательная симметричная функция. Примеры таких функций будут рассмотрены ниже. В дивизимных же методах, наоборот, на первом шаге все объекты образуют один кластер, на последнем – каждый объект представляет отдельный кластер.

6.1.1. Агломеративные алгоритмы

Рассмотрим агломеративные методы, представленные в пакете Statistica for Windows. Для этого сначала определим функции, с помощью которых оцениваются расстояния между конечными подмножествами метрического пространства M .

Пусть множество описаний объектов S= {S 1 ,…,S m } признаками X 1 (S),…,X n (S) содержится в евклидовом пространстве E n , так что для любой пары объектов S i , S j из S определена метрика (расстояние) ρ ij = ρ(S i ,S j) и можно составить симметричную матрицу расстояний R=(ρ ij) m ´ m . Приведём примеры функций двух переменных, значения которых играют в кластер-анализе роль расстояний между непересекающимися подмножествами, хотя, формально, эти функции не являются метриками. Пусть A l , A q Ì S неимеют общих элементов, A l ÇA q = Æ. Тогда:

а) ρ lq равно расстоянию между двумя ближайшими объектами множеств A l , A q ;.

б) ρ lq равно расстоянию между самыми далекими объектами множеств A l , A q ;

в) ρ lq равно расстоянию между центрами тяжести множеств A l , A q (точек со средними

значениями всех показателей);

г) ρ lq равно среднему арифметическому расстояний между объектами множеств A l , A q ;

д) ρ lq равно расстоянию между точками с медианными значениями признаков для мно-

жеств A l , A q ;

е) ρ lq равно сумме расстояний между элементами множеств A l , A q .

ж) ρ lq равно так называемому «статистическому расстоянию» (Дюран, Оделл, 1977) между

множествами A l , A q:

.

Здесь – векторы средних значений признаков для подмножеств A l , A q , T – знак транспонирования. Таким образом, «статистическое расстояние» между подмножествами A l , A q представляет собой квадрат расстояния между векторами средних значений признаков (центрами тяжести) с коэффициентом m l m q /(m l +m q) .

В иерархических агломеративных алгоритмах, основанных на вычислении «расстояний» между подмножествами A l , A q вида (а-ж) и им подобных, на первом шаге каждый объект считается отдельным кластером. На следующем шаге объединяются два ближайших объекта, которые образуют новый класс, определяются «расстояния» от этого класса до всех остальных объектов. Матрица расстояний, соответственно, изменяется с учётом результатов кластеризации, включая уменьшение её размерности. На р-м шаге для кластеров и матрицы расстояний предыдущего шага R p -1 повторяется та же процедура, пока все объекты не объединятся в один кластер. В отличие от R 1 =R, при p>1 элементами R p являются не расстояния между объектами, а «расстояния» между кластерами.

Если сразу несколько объектов (либо кластеров) имеют минимальное «расстояние», то возможны две стратегии: выбрать одну случайную пару или объединить сразу все пары. Первый способ является классическим; иногда в литературе его называют восходящей иерархической классификацией. Второй способ используется гораздо реже.

Метод, основанный на вычислении «статистического расстояния» (см. п. (ж) выше) называется методом Уорда (Мандель, 1988) по имени предложившего его специалиста. Названия остальных методов определяются используемым в них расстоянием.

Результаты работы всех иерархических агломеративных процедур обычно оформляются в виде так называемой дендрограммы (см. рис. 1), в которой по горизонтали показаны номера объектов, а по вертикали – значения межкластерных расстояний ρ lq , при которых произошло объединение двух кластеров.

6.1.2. Дивизимные алгоритмы

Этот класс алгоритмов кластер-анализа опишем на примере «Быстрого дивизимного комбинационного алгоритма», предложенного Chaudhuri (Мандель, 1988). Проведённые в ИНГГ эксперименты показали его высокую эффективность при решении задачи кластеризации разрезов по толщинам составляющих их горизонтов на основе информации, содержащейся в сетках толщин. Обработка информации по средней юре юго-востока ЗСП показала, что он быстро и «разумно» кластеризует огромные массивы данных, представленных сеточными моделями. Другими алгоритмами кластеризовать эти массивы, состоящие, порой, из миллиона с лишним объектов, охарактеризованных более чем 10 признаками, часто невозможно либо крайне затруднительно. Алгоритм Chaudhuri (Чаудури) в программном продукте “Statistica for Windows” не представлен.

Этот алгоритм для краткости будем называть также алгоритмом гиперкубов. Приведём его краткое описание.

Гиперкуб, в котором содержатся все точки (определяемый размахами вариации признаков), разбивается на первом шаге по каждой оси перпендикулярной ей плоскостью на 2 n «кубика», где n –число признаков. На j -м шаге каждый из этих кубиков также разбивается, т. е. получается 2 n j гиперкуба. Если в полученном кубе есть хоть один объект, он считается заполненным, если нет – пустым. Кластером здесь называется максимально большая связная область, в которой любые два объекта соединены непустыми клетками (т.е. компонента связности графа, вершинами которого являются объекты, и две вершины в котором соединены ребром если и только если они либо находятся в одной клетке либо вмещающие их клетки имеют общую границу, пусть даже состоящую из одной точки).

По мере увеличения j число кластеров растет, т.е. алгоритм носит дивизимный характер. Он принадлежит к числу наиболее быстрых иерархических алгоритмов, не требует предварительной нормировки показателей, хранения и пересчёта матрицы расстояний, может работать в исходном пространстве. Эти и некоторые другие особенности относят его к числу наиболее предпочтительных алгоритмов для построения иерархических классификаций в случае больших баз данных.

Раздел 2

1. Решающая функция в распознавании образов – это отображение, переводящее набор значений разнотипных признаков X 1 (S),…,X n (S) в число. Это число – значение решающей функции F на объекте S. Решающее правило в распознавании образов – это высказывание, которое содержит значения решающей функции и управляющих параметров и, с учётом этих значений, либо относит пробу к одному из классов, либо отказывается от распознавания.

2. Сформулируйте понятие решающей функции применительно к задаче упорядочения.

3. Может ли целевой признак применительно к сформулированной в разделе 2 версии задачи упорядочения быть а) логическим; б) номинальным?

4. Почему на начальных этапах развития кластер - анализа его (в противовес распознаванию образов) называли «обучением без учителя»?

5. Зависимость между признаками может быть представлена как в виде, разрешённом относительно того или иного признака, например, X j ≈ f(X i ,X k ,…,X l), так и без такого разрешения. Например, (ln(X j)) 2 + ln(X j +X k) -1≈0.

6. Сформулируйте задачу распознавания как задачу заполнения единичного пропуска.

7. Сформулируйте задачу заполнения единичного пропуска в бинарном или номинальном признаке как задачу распознавания.

Раздел 3

1. В каких случаях и почему для оценки связи между количественными признаками рационально использовать ранговый коэффициент Спирмена?

2. Всегда ли множественная линейная регрессия будет точно решать задачу упорядочения?

3. Можно ли применять линейную регрессионную модель из раздела 3, если Y- ранговый признак?

4. Можно ли применять линейную регрессионную модель из раздела 3, если Y- номинальный признак?

5. Можно ли применять линейную регрессионную модель из раздела 3, если хотя бы один признак из списка X 1 ,…,X n – ранговый или номинальный?

6. Можно ли без предварительной нормировки признаков сопоставлять веса, с которыми они входят в уравнение регрессии, с целью их упорядочения по влиянию на значение прогнозируемого показателя?

7. Что такое b в разделе «Множественная линейная регрессия» пакета “Statistica for Windows? Как величины b j могут быть использованы при сравнении характеристических признаков по их влиянию на значение зависимого (целевого) признака?

Раздел 4

1. В чём заключается экспликация на этапе формирования списка исходных признаков?

2. Каким образом штрафы за ошибки и отказы позволяют регулировать оценку качества распознавания?

3. Какое из двух линейных решающих правил, имеющих одинаковую оценку качества распознавания, предпочтительнее: использующее 5 признаков или 7?

4. Если метод распознавания используется для уточнения границ (по латерали) геологического объекта в осадочной толще, то некоторый процент отказов или даже ошибок в узлах сетки может и не повлиять на прогнозируемое расположение его границы. В результате решения задачи распознавания образов для узлов сетки на принадлежность локального участка (центром которого является узел) к моделируемому объекту появляется предварительная версия границы. Обычно, в результате анализа полученной версии, геологическая ситуация, в целом, становится ясной, так что исследователь уже в состоянии «самостоятельно» провести границу объекта.

5. В результате решения задач распознавания с использованием признаков, рассчитанных по сеткам реперных геофизических поверхностей и данным глубокого бурения (разбивки по стратиграфическим уровням, толщины горизонтов и пр.), в ИНГГ СО РАН были уточнены границы (по латерали) основных стратиграфических горизонтов в нижне-среднеюрских отложениях Западной Сибири, что, в свою очередь, позволило уточнить оценки ресурсов УВ юры ряда крупных регионов.

6. Читая работы по применению методов распознавания в геологии нефти и газа, следует иметь в виду, что, обычно, исследователь опирается на свой опыт решения аналогичных задач и литературные данные; при этом использует не «самое лучшее» программное обеспечение, а то, которым располагает и умеет пользоваться.

7. Опыт решения многочисленных практических задач в области моделирования геологических объектов в слоистой толще позволяет сформулировать нижеследующие требования к алгоритмам и программному обеспечению распознавания образов применительно к моделированию региональных, зональных и локальных объектов в осадочном бассейне:

- «уметь» работать с признаками, заданными на сетках;

- отыскивать простые и легко интерпретируемые решающие правила;

- обеспечивать эффективное снижение размерности описания n ;

- работать с зависимыми и разнотипными признаками;

- учитывать сложный характер разделения классов (по латерали).

Раздел 5

Множественный линейный регрессионный анализ предназначен для отыскания линейной зависимости признака Y от признаков X 1 ,…,X n

Y≈a 1 X 1 +…+ a n X n + b =L(X 1 ,..., X n). (4)

В задаче упорядочения требуется решить более общую задачу: отыскать зависимость F, которая расставляет объекты обучения в порядке по убыванию значений целевого признака X n +1 . При этом может оказаться так, что значения функции F у объектов обучения и проб не будут совпадать со значениями целевого признака.

Решение линейной регрессионной задачи по нахождению минимума функционала (4) может не привести к нахождению приемлемой аппроксимации решения задачи упорядочения. Однако, можно попытаться провести преобразование целевого признака X n +1 монотонной функцией Ψ таким образом, чтобы для Ψ(X n +1) методом наименьших квадратов можно было получить искомую аппроксимацию. Поскольку Ψ монотонна, это даёт решение задачи упорядочения.

«Универсального» способа выбора Ψ, скорее всего, не существует. Однако можно привести некоторые практические рекомендации по его подбору.

Монотонная функция Ψ, как правило, используется в том случае, когда «обычный» коэффициент парной корреляции r (Дёмин, 2005, с. 42-44) между значениями целевого признака X n +1 и соответствующими значениями, рассчитанными по уравнению множественной линейной регрессии, «мал». При этом содержательные соображения позволяют предполагать, что упорядочить объекты по убыванию целевого признака X n +1 по значениям X 1 ,..., X n всё-таки можно. Чаще всего множественная линейная регрессия с «удачно подобранным» Ψ успешно применяется, когда распределение значений в последовательности X n +1 (S m), X n +1 (S m -1),…, X n +1 (S 1) имеет ярко выраженный нелинейный характер, сопоставимый, например, с экспонентой. Функция Ψ, обычно, выбирается таким образом, чтобы, по возможности, устранить резкую нелинейность. Логарифм – типичный пример подобной функции, неоднократно использованный в подобных ситуациях при решении практических задач

Раздел 6

1.Пусть A l ={(0,1), (2,0), (2,3)}, A q ={(5,1), (6,2), (8,3), (9,5), (10,7)}. Рассчитайте расстояния (а –ж).

2. Полагая S= A l ÈA q решите задачу кластеризации совокупности объектов S методом Чоудари

3. На локальном уровне для отдельной площади или скопления площадей («малой» зоны) кластер-анализ успешно применяется при корреляции дизъюнктивных нарушений по данным 3D-сейсморазведки (Кашик и др, 2004).

Опыт применения кластер-анализа на региональном и зональном уровне показал, что эти методы могут давать полезную информацию об истории развития изучаемых толщ и тектонических процессах, типах геологических разрезов, их раcпространении по латерали, зонах развития коллекторов в них, нефтегазоносности. Однако для этого, как выяснилось, нужны достаточно «густые» регулярные сетки толщин отложений, поэтому главный фактор, сдерживающий его применение при региональных и зональных построениях (в случае «больших» территорий), – необходимость хранения и пересчётов матрицы расстояний для всей совокупности объектов.

Если исходить из оценки трудоёмкости вычислений, то на локальном уровне, за исключением обработки данных 3D-cейсморазведки , вполне можно использовать практически любые алгоритмы кластер-анализа. При региональных и зональных построениях с использованием сеточных моделей (в случае «больших» территорий), а также при обработке данных 3D-сейсморазведки (даже на уровне отдельной площади или «малой зоны»), целесообразно выбирать алгоритм, не требующий пересчёта матрицы расстояний, например, метод Чоудари.

4. Наметим, в общих чертах, подход, позволяющий эффективно использовать кластер-анализ данных бурения при прогнозных построениях. Пусть, например, анализируются данные по какому-либо региональному или зональному резервуару УВ. На основании некоторого исходного списка признаков (не включающего результаты испытаний скважин и их координаты) производится кластеризация объектов.

Анализ данных - область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений. Анализ данных имеет множество аспектов и подходов, охватывает разные методы в различных областях науки и деятельности.

Интеллектуальный анализ данных - это особый метод анализа данных, который фокусируется на моделировании и открытии данных, а не на их описании.

Не следует путать с Извлечением информации. Извлечение информации (англ. information extraction ) - это задача автоматического извлечения (построения) структурированных данных из неструктурированных или слабоструктурированных машиночитаемых документов.

Извлечение информации является разновидностью информационного поиска, связанного с обработкой текста на естественном языке. Примером извлечения информации может быть поиск деловых визитов - формально это записывается так: НанеслиВизит(Компания-Кто, Компания-Кому, ДатаВизита), - из новостных лент, таких как: «Вчера, 1 апреля 2007 года, представители корпорации Пепелац Интернэшнл посетили офис компании Гравицап Продакшнз». Главная цель такого преобразования - возможность анализа изначально «хаотичной» информации с помощью стандартных методов обработки данных. Более узкой целью может служить, например, задача выявить логические закономерности в описанных в тексте событиях.

В современных информационных технологиях роль такой процедуры, как извлечение информации, всё больше возрастает - из-за стремительного увеличения количества неструктурированной (без метаданных) информации, в частности, в Интернете. Эта информация может быть сделана более структурированной посредством преобразования в реляционную форму или добавлением XML разметки. При мониторинге новостных лент с помощью интеллектуальных агентов как раз и потребуются методы извлечения информации и преобразования её в такую форму, с которой будет удобнее работать позже.

Типичная задача извлечения информации: просканировать набор документов, написанных на естественном языке, и наполнить базу данных выделенной полезной информацией. Современные подходы извлечения информации используют методы обработки естественного языка , направленные лишь на очень ограниченный набор тем (вопросов, проблем) - часто только на одну тему.

Data Mining (рус. добыча данных, интеллектуальный анализ данных, глубинный анализ данных ) - собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году.

Английское словосочетание «Data Mining » пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания: просев информации , добыча данных , извлечение данных , а, также, интеллектуальный анализ данных . Более полным и точным является словосочетание «обнаружение знаний в базах данных » (англ. knowledge discovering in databases , KDD).

Основу методов Data Mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам Data Mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями Data Mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний).

Одно из важнейших назначений методов Data Mining состоит в наглядном представлении результатов вычислений, что позволяет использовать инструментарий Data Mining людьми, не имеющими специальной математической подготовки. В то же время, применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой.

Бизнес-аналитика охватывает анализ данных, который полагается на агрегацию.

Business intelligence или сокращенно BI - бизнес-анализ, бизнес-аналитика. Под этим понятием чаще всего подразумевают программное обеспечение, созданное для помощи менеджеру в анализе информации о своей компании и её окружении. Существует несколько вариантов понимания этого термина.

• Бизнес-аналитика - это методы и инструменты для построения информативных отчётов о текущей ситуации. В таком случае цель бизнес-аналитики - предоставить нужную информацию тому человеку, которому она необходима в нужное время. Эта информация может оказаться жизненно необходимой для принятия управленческих решений.
• Бизнес-аналитика - это инструменты, используемые для преобразования, хранения, анализа, моделирования, доставки и трассировки информации в ходе работы над задачами, связанными с принятием решений на основе фактических данных. При этом с помощью этих средств лица, принимающие решения, должны при использовании подходящих технологий получать нужные сведения и в нужное время.

Таким образом, BI в первом понимании является лишь одним из секторов бизнес-аналитики в более широком втором понимании. Помимо отчётности туда входят инструменты интеграции и очистки данных (ETL), аналитические хранилища данных и средства Data Mining.

BI-технологии позволяют анализировать большие объёмы информации, заостряя внимание пользователей лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия тех или иных решений.

Термин впервые появился в 1958 году в статье исследователя из IBM Ханса Питера Луна (англ. Hans Peter Luhn ). Он определил этот термин как: «Возможность понимания связей между представленными фактами.»

BI в сегодняшнем понимании эволюционировал из систем для принятия решений, которые появились в начале 1960-х и разрабатывались в середине 1980-х.

В 1989 году Говард Дреснер (позже аналитик Gartner) определил Business intelligence как общий термин, описывающий «концепции и методы для улучшения принятия бизнес-решений с использованием систем на основе бизнес-данных».

В статистическом смысле некоторые разделяют анализ данных на описательную статистику, исследовательский анализ данных и проверку статистических гипотез.

Цель описательной (дескриптивной) статистики - обработка эмпирических данных, их систематизация, наглядное представление в форме графиков и таблиц, а также их количественное описание посредством основных статистических показателей.

В отличие от индуктивной статистики дескриптивная статистика не делает выводов о генеральной совокупности на основании результатов исследования частных случаев. Индуктивная же статистика напротив предполагает, что свойства и закономерности, выявленные при исследовании объектов выборки, также присущи генеральной совокупности.

Исследовательский анализ данных это подход к анализу данных с целью формулировки гипотез стоящих тестирования, дополняющий инструментами стандартной статистики для тестирования гипотез. Названо Джоном Тьюки для отличия от проверки статистических гипотез, термином используемым для набора идей о тестировании гипотез, достигаемом уровне значимости, доверительном интервале и прочих, которые формируют ключевые инструменты в арсенале практикующих статистиков.

Исследовательский анализ данных занимается открытием новых характеристик данных, а проверка статистических гипотез на подтверждении или опровержении существующих гипотез.

Проверки статистических гипотез - один из классов задач в математической статистике.

Пусть в (статистическом) эксперименте доступна наблюдению случайная величина, распределение которой известно полностью или частично. Тогда любое утверждение, касающееся называется статистической гипотезой . Гипотезы различают по виду предположений, содержащихся в них:

• Статистическая гипотеза, однозначно определяющая распределение, то есть, где какой-то конкретный закон, называется простой .

• Статистическая гипотеза, утверждающая принадлежность распределения к некоторому семейству распределений, то есть вида, где - семейство распределений, называется сложной .

На практике обычно требуется проверить какую-то конкретную и как правило простую гипотезу. Такую гипотезу принято называть нулевой . При этом параллельно рассматривается противоречащая ей гипотеза, называемая конкурирующей или альтернативной .

Выдвинутая гипотеза нуждается в проверке, которая осуществляется статистическими методами, поэтому гипотезу называют статистической. Для проверки гипотезы используют критерии, позволяющие принять или опровергнуть гипотезу.

В большинстве случаев статистические критерии основаны на случайной выборке фиксированного объема из распределения. В последовательном анализе выборка формируется в ходе самого эксперимента и потому её объем является случайной величиной (см. Последовательный статистический критерий).

Два подхода к анализу данных

Любая организация в процессе своей деятельности стремится повысить прибыль и уменьшить расходы. В этом ей помогают новые компьютерные технологии, использование разнообразных программ автоматизации бизнес-процессов. Это учетные, бухгалтерские и складские системы, системы управленческого учета и многие другие. Чем аккуратнее и полнее ведется сбор и систематизация информации, тем полнее будет представление о процессах в организации. Современные носители информации позволяют хранить десятки и сотни гигабайт информации, но без использования специальных средств анализа накопленной информации такие носители превращаются просто в свалку бесполезных сведений. Очень часто принятие правильного решения затруднено тем, что хотя данные и имеются, они являются неполными, или, наоборот, избыточными, замусорены информацией, которая вообще не имеет отношения к делу, несистематизированными или систематизированными неверно. Тогда прибегают к помощи программных средств, которые позволяют привести информацию к виду, который дает возможность с достаточной степенью достоверности оценить содержащиеся в ней факты и повысить вероятность принятия оптимального решения.

Есть два подхода к анализу данных с помощью информационных систем.

В первом варианте программа используется для визуализации информации - извлечения данных из источников и предоставления их человеку для самостоятельного анализа и принятия решений. Обычно данные, предоставляемые программой, являются простой таблицей, и в таком виде их очень сложно анализировать, особенно если данных много, но имеются и более удобные способы отображения: кубы, диаграммы, гистограммы, карты, деревья…

Второй вариант использования программного обеспечения для анализа – это построение моделей . Модель имитирует некоторый процесс, например, изменение объемов продаж некоторого товара, поведение клиентов и другое. Для построения модели необходимо сделать предобработку данных и далее к ним применять математические методы анализа: кластеризацию, классификацию, регрессию и т. д. Построенную модель можно использовать для принятия решений, объяснения причин, оценки значимости факторов, моделирования различных вариантов развития…

Рассмотрим пример. Предоставление скидки покупателям является стимулом для увеличения объемов закупок. Чем больше продается некоторого товара, тем больше прибыль. С другой стороны, чем больше предоставляется скидка, тем меньше наценка на товар и тем меньше прибыли приносят продажи этого товара. Пусть есть история продаж, представленная таблицей со столбцами: дата, объем продаж, скидка в процентах, наценка и прибыль. При проведении анализа «вручную» можно рассмотреть диаграмму.

Учебное пособие

ББК 22.172я73

Рецензенты:

Мартышенко С.Н.

Компьютерный анализ данных:

Учебное пособие. – Владивосток: Изд-во ВГУЭС, 2010. – 80 с.

Составлено в соответствии с учебной программой по дисциплине «Компьютерный анализ данных» и требованиями государственного стандарта России. Предназначена для студентов специальностей 0618000 Математические методы в экономике и 351400 «Прикладная информатика в экономике». Содержит теоретический материал по дисциплине, задания к практическим занятиям и указания к их выполнению.

Утверждена на заседании кафедры Математики и моделирования 19.10.08***,протокол№ 18 ***

© Издательство Владивостокского государственного университета

экономики и сервиса, 2010

Введение

Для современной науки и большинства направлений практической деятельности сейчас характерен статистический подход. Закономерности экономики только в среднем смогут считаться детерминистическими, при более детальном исследовании оказывается, что они носят типично случайный характер.

В пособии рассматриваются теоретические и практические вопросы анализа статистических данных. Компьютерный анализ данных следует рассматривать как изучение методик практического применения теоретических методов математической статистики. Прикладной характер, изучаемой дисциплины подчеркивается ориентацией ее на применение конкретного программного продукта EXCEL.

Социально-экономические процессы и явления зависят от большого количества характеризующих их параметров, что обуславливает трудности, связанные с выявлением структуры взаимосвязей этих параметров. В подобных ситуациях, когда решение принимается на основе анализа стохастической, неполной информации необходимо применение методов статистического анализа данных.

Методы анализа данных позволяют обоснованно выбрать среди множества возможных вероятностно-статистических моделей такую, которая наилучшим образом соответствует исходным статистическим данным, характеризующим реальное поведение исследуемой совокупности объектов, оценить надежность и точность выводов, сделанных на основании большого статистического материала.

В пособии рассматривается совокупность глубоко формализованных статистических методов, базирующихся на представлении исходной информации в многомерном геометрическом пространстве и позволяющих определять неявные (латентные), но объективно существующие закономерности в организационной структуре и тенденциях развития изучаемых социально-экономических процессов и явлений.

Основной задачей пособия является обучение студентов теоретическим основам наиболее распространенных методов статистического анализа данных и развития навыков применения стандартных программных средств, в которых реализованы процедуры статистического анализа данных.

Для успешного изучения материала, изложенного в пособии студенту необходимы знания по основным разделам «Высшей математики» и «Математическая статистика». Необходимы знания таких основополагающих понятий как: виды случайных величин, характеристики случайных величин, основные законы распределения случайных величин, способы оценки выборочных характеристик, основы статистического вывода с использованием статистических критериев и проверки гипотез, линейная и нелинейная регрессии.

В ходе изучения материала, изложенного в пособии, у студента должно формироваться представление о конкретных практических ситуациях, в которых необходимо использование методов статистического анализа.

В результате работы с пособием и выполнения практических заданий студенту необходимо достигнуть определенного уровня знаний в области компьютерного анализа данных. Необходимый уровень знаний состоит из трех пунктов.

1. освоить:

Концепцию и технологии современного анализа данных на компьютере;

Принципы работы программных средств, предназначенных для статистического анализа данных;

Принципы работы современных визуальных методов анализа данных и использования их для статистического вывода и формулировки гипотез о структуре данных.

2. Выработать умения самостоятельного решения задач по выбору методов анализа в практических ситуациях;

3. полученть навыкиприменения программных систем; предназначенных для статистического анализа данных, а также тестирования программных модулей на модельных данных.