Что такое grid кластер

Обновлено: 17.05.2024

Обработка данных in-memory является довольно широко обсуждаемой темой в последнее время. Многие компании, которые в прошлом не стали бы рассматривать использование in-memory технологий из-за высокой стоимости, сейчас перестраивают архитектуру своих информационных систем, чтобы использовать преимущества быстрой транзакционной обработки данных, предлагаемых данными решениями. Это является следствием стремительного падения стоимости оперативной памяти (RAM), в результате чего становится возможным хранение всего набора операционных данных в памяти, увеличивая скорость их обработки более чем в 1000 раз. In-Memory Compute Grid и In-Memory Data Grid продукты предоставляют необходимые инструменты для построения таких решений.

Задача In-Memory Data Grid (IMDG) — обеспечить сверхвысокую доступность данных посредством хранения их в оперативной памяти в распределённом состоянии. Современные IMDG способны удовлетворить большинство требований к обработке больших массивов данных.

Упрощенно, IMDG — это распределённое хранилище объектов, схожее по интерфейсу с обычной многопоточной хэш-таблицей. Вы храните объекты по ключам. Но, в отличие от традиционных систем, в которых ключи и значения ограничены типами данных «массив байт» и «строка», в IMDG Вы можете использовать любой объект из Вашей бизнес-модели в качестве ключа или значения. Это значительно повышет гибкость, позволяя Вам хранить в Data Grid в точности тот объект, с которым работает Ваша бизнес-логика, без дополнительной сериализации/де-сериализации, которую требуют альтернативные технологии. Это также упрощает использование Вашего Data Grid-а, поскольку в большинстве случаев Вы можете работать с распределённым хранилищем данных как с обычной хэш-таблицей. Возможность работать с объектами из бизнес-модели напрямую — одно из основных отличий IMDG от In-Memory баз данных (IMDB). В последнем случае пользователи всё ещё вынуждены осуществлять объектно-реляционное отображение (Object-To-Relational Mapping), которое, как правило, приводит к значительному снижению производительности.

Есть и другие функциональные особенности, которые отличают IMDG от других продуктов, таких как IMDB, NoSql или NewSql базы данных. Одна из основных — по-настоящему масштабируемое секционирование данных (Data Partitioning) в кластере. IMDG по сути представляет собой распределённую хэш-таблицу, где каждый ключ хранится на строго определённом сервере в кластере. Чем больше кластер, тем больше данных можно в нем хранить. Принципиально важным в этой архитектуре является то, что обработку данных следует производить на том же сервере, где они расположены (локально), исключая (или сводя к минимуму) их перемещение по кластеру. Фактически, при использовании хорошо спроектированного IMDG, перемещение данных будет полностью отсутствовать за исключением случаев, когда в кластер добавляются новые сервера или удаляются существующие, меняя тем самым топологию кластера и распределение данных в нем.

Нижеприведённая схема показывает классический IMDG с набором ключей , в котором каждый ключ принадлежит отдельному серверу. Внешняя база данных не является обязательной. Если она присутствует, IMDG, как правило, будет автоматически читать данные из базы или записывать их в нее.

Ещё одной отличительной особенностью IMDG является поддержка транзакционности, удовлетворяющей требованиям ACID (atomicity, consistency, isolation, durability — атомарность, целостность, изоляция, сохранность). Как правило, чтобы гарантировать целостность данных в кластере, используют двухфазную фиксацию (2-phase-commit или 2PC). Разные IMDG могут иметь разные механизмы блокировок, но наиболее продвинутые реализации обычно используют параллельные блокировки (например, GridGain использует MVCC — multi-version concurrency control, управление конкурентным доступом с помощью многоверсионности), сводя тем самым сетевой обмен к минимуму, и гарантируя транзакционную целостность ACID с сохранением высокой производительности.

Целостность данных является одним из главных отличий IMDG от NoSQL баз данных. NoSQL базы данных, в большинстве случаев, спроектированы с использованием подхода, называемого “целостность в конечном итоге” (Eventual Consistency, EC), при котором данные могут некоторое время находиться в несогласованном состоянии, но обязательно станут согласованными *со временем*. В целом, операции записи в EC системах происходят достаточно быстро по сравнению с более медленными операциями чтения (точнее, не превосходящими по скорости операции записи). Последние IMDG с *оптимизированным* 2PC как минимум соответствуют EC системам по скорости записи (если не опережают их), и значительно превосходят их по скорости чтения. Интересно, что индустрия сделала полный круг, двигаясь от тогда ещё медленных 2PC к EC, а теперь от EC к гораздо более быстрым *оптимизированным* 2PC.

Разные продукты могут предлагать разные 2PC оптимизации, но в целом задачами всех оптимизаций являются увеличение параллелизма (concurrency), минимизация сетевого обмена и снижение числа блокировок, требуемых для совершения транзакции. Например, распределённая глобальная база данных Spanner компании Google основана на транзакционном 2PC подходе просто потому, что 2PC предоставил более быстрый и простой способ гарантировать целостность данных и высокую пропускную способность в сравнении с MapReduce или EC.

Даже несмотря на то, что у разных IMDG обычно много общих базовых функциональных возможностей, существует множество дополнительных возможностей и деталей реализации, которые отличаются в зависимости от производителя. Оценивая IMDG продукт, обращайте внимание на механизмы выгрузки данных при переполнении (eviction policies), техники загрузки данных, в том числе, при старте сервера ((pre)loading techniques), параллельное секционирование (concurrent repartitioning), объём дополнительной памяти, требуемый для хранения записей (data overhead), и тому подобное. Также, обращайте внимание на возможность делать запросы (query) в кэш во время выполнения. Некоторые IMDG, например, GridGain, позволяют пользователям осуществлять запросы к данным, хранящимся в памяти, используя обычный SQL с поддержкой распределённых join-ов (distributed joins), что является довольно большой редкостью.

Хранение данных в IMDG — это лишь половина функциональности, требуемой для in-memory архитектуры. Данные, хранимые в IMDG, также должны обрабатываться параллельно и с высокой скоростью. Типичная in-memory архитектура секционирует данные в кластере с помощью IMDG, и затем исполняемый код отправляется именно на те сервера, где находятся требуемые ему данные. Поскольку исполняемый код (вычислительная задача) обычно является частью вычислительных кластеров (Compute Grids), и должен быть правильно развернут (deployment), сбалансирован по нагрузке (load-balancing), обладать отказоустойчивостью (fail-over), а также иметь возможность запуска по расписанию (scheduling), интеграция между Compute Grid и IMDG очень важна. Наибольший эффект можно получить, если IMDG и Compute Grid являются частями одного и того же продукта и используют одни и те же API. Это снимает с разработчика бремя интеграции и обычно позволяет достигнуть наибольшей производительности и надёжности in-memory решения.

IMDG (вместе с Compute Grid) находят свое применение во многих областях, таких как анализ рисков (Risk Analytics), торговые системы (Trading Systems), системы реального времени для борьбы с мошенничеством (Fraud Detection), биометрика (Biometrics), электронная коммерция (eCommerce), онлайн-игры (Online Gaming). По сути, любой продукт, перед которым стоят проблемы масштабируемости и производительности, может выиграть от использования In-Memory Processing и IMDG архитектуры.

Требования к безопасности в грид

Таким образом можно выставить следующие требования к системе безопасности в грид-системах:

Аутентификация - предоставление интерфейсов для вставки разных механизмов аутентификации и возможности обнаружения механизма аутентификации.
Авторизация - предоставление возможности контролировать доступ, основываясь на правилах авторизации.
Делегирование - предоставление возможности передачи прав от пользователя сервису.
Приватность - предоставление и пользователю, и обладателю сервиса возможности контролировать правила использования ресурсов.
Целостность данных - гарантия того, что неавторизированные изменения данных будут обнаружены на стороне сервиса.
Управляемость - предоставление удобного инструмента управления политиками на разных ресурсах, разрешения конфликтов.
Встраивание в существующие системы и технологии - добавление инфраструктурного взаимодействия в существующие разноплановые технологии.

Далее можно выделить основные свойства решений по безопасности в трех продуктах. Эти продукты: Globus, Legion, CRISIS для WebOS.

Globus Toolkit
Его решение подразумевает, что грид-система огромная и динамическая, включает в себя множество меняющихся во времени "областей доверия". Решение динамического выставления областей доверия и динамического создания сущностей основана на идее выдачи сертификатов. То есть безопасность в Globus Toolkit включает в себя криптосистему на открытых ключах. Выдача прав связана с проверкой сертификатов. И для того, чтобы доверять предъявителю сертификата, нужно доверять лишь центру выдачи сертификатов(certificate authority CA). [Источник 2]

Legion
Legion - это распределенная вычислительная платформа для комбинирования множества независимых машин в одну систему. Все ресурсы, включая вычислительные мощности, базы данных, Legion объединяет, используя один объектно-ориентированный мета-компьютер. Модули обеспечения безопасности в данной платформе входят в Legion Runtime Library(библиотека времени исполнения), которая определяет необходимые базовые объекты, такие как объекты ядер, хостов и хранилищ. [Источник 3]

Crisis
CRISIS это одна из компонент WebOS [8] . WebOS - это приложение, основной целью которого является поддержка сетевых приложений на разных операционных системах. И CRISIS приходится решать вопросы безопасности такие как Аутентификация, Авторизация. CRISIS это event-based система, включающая два основных компонента для авторизации и аутентификации. Первый это менеджер процессов, который принимает запросы (логин или доступ к ресурсу) и security менеджер, который хранит личные данные субъектов и принимает решения по поступающим запросам. [Источник 4]

История

Термин «облачные вычисления» [5] появился в начале 1990-х гг. как метафора о такой же лёгкости доступа к вычислительным ресурсам, как и к электрической сети (англ. power grid) в сборнике под редакцией Яна Фостера и Карла Кессельмана «The Grid: Blueprint for a new computing infrastructure».
Идеи Grid-системы (включая идеи из областей распределённых вычислений, объектно-ориентированного программирования [6] , использования компьютерных кластеров, веб-сервисов и др.) были собраны и объединены Иэном Фостером, Карлом Кессельманом и Стивом Тики, которых часто называют отцами технологии ГРИД. Они начали создание набора инструментов для Grid Globus Toolkit [7] , который включает не только инструменты менеджмента вычислений, но и инструменты управления ресурсами хранения данных, обеспечения безопасности доступа к данным и к самому гриду, мониторинга использования и передвижения данных, а также инструментарий для разработки дополнительных сервисов Грид. В настоящее время этот набор инструментария является де факто стандартом для построения инфраструктуры на базе технологии грид, хотя на рынке существует множество других инструментариев для Grid-системы как в масштабе предприятия, так и в глобальном.

Содержание

Типы GRID-систем

В настоящий время выделяют три основных типа GRID-систем:

GRID на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров (добровольная GRID);
Научная GRID — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
GRID на основе выделения вычислительных ресурсов по требованию (Enterprise GRID или коммерческая GRID) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью GRID-технологий.

Задача "Грид"

Основная задача «грид» - согласованное распределение ресурсов: [1] и решение задач в условиях динамических, многопрофильных виртуальных организаций [2]
Исследования и разработки в сообществе грид привели к разработке протоколов, сервисов и инструментария, направленного именно на те проблемы, которые возникают при попытке создания масштабируемых ВО. Эти технологии включают в себя: решения по безопасности, поддерживающие управление сертификацией и политиками безопасности, когда вычисления производятся несколькими организациями;

Протоколы управления ресурсами и сервисами, поддерживающие безопасный удаленный доступ к вычислительным ресурсам и ресурсам данных, а также перераспределение различных ресурсов;
Протоколы запроса информации и сервисы, обеспечивающие настройку и мониторинг состояния ресурсов, организаций и сервисов; <
Сервисы обработки данных, обеспечивающие поиск и передачу наборов данных между системами хранения данных и приложениями.

Грид-система

Пример использования грид-систем

Пусть есть ученый, которого попросили проверить чью-то новые полученные данные. Он начинает необходимые вычисления на удаленном сервере С. Начав исполняться, процесс на сервере С понимает, что ему необходима симуляция. Для этого он обращается к посреднику (на сервере D). Тот инициирует вычисления на серверах E и G, которые для получения необходимых параметров обращаются к серверу F. Данный пример иллюстрирует следующие важные характеристики грид-систем. Множество пользователей, как и набор ресурсов может быть большим и динамически меняться. Участники научного сообщества могут быть из разных организаций и меняться довольно часто, ресурсы могут изменять свои свойства. Вычисления могут охватывать разное число ресурсов в течение своего исполнения. Процессы исполнения могут общаться друг с другом, используя множество различных механизмов. Ресурсы могут потребовать разные механизмы аутентификации и авторизации и разных политик. Так в примере показаны следующие политики контроля доступа: Kerberos(сервер С), SSL(сервер D), обычные пароли. Также один и тот же пользователь может быть представлен на разных серверах разными именами, правами и учетными данным.

Типы GRID-систем

В настоящий время выделяют три основных типа GRID-систем:

GRID на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров (добровольная GRID);
Научная GRID — хорошо распараллеливаемые приложения программируются специальным образом (например, с использованием Globus Toolkit);
GRID на основе выделения вычислительных ресурсов по требованию (Enterprise GRID или коммерческая GRID) — обычные коммерческие приложения работают на виртуальном компьютере, который, в свою очередь, состоит из нескольких физических компьютеров, объединённых с помощью GRID-технологий.

Грид-система

Пример использования грид-систем

Требования к безопасности в грид

Таким образом можно выставить следующие требования к системе безопасности в грид-системах:

Аутентификация - предоставление интерфейсов для вставки разных механизмов аутентификации и возможности обнаружения механизма аутентификации.
Авторизация - предоставление возможности контролировать доступ, основываясь на правилах авторизации.
Делегирование - предоставление возможности передачи прав от пользователя сервису.
Приватность - предоставление и пользователю, и обладателю сервиса возможности контролировать правила использования ресурсов.
Целостность данных - гарантия того, что неавторизированные изменения данных будут обнаружены на стороне сервиса.
Управляемость - предоставление удобного инструмента управления политиками на разных ресурсах, разрешения конфликтов.
Встраивание в существующие системы и технологии - добавление инфраструктурного взаимодействия в существующие разноплановые технологии.

История

Задача "Грид"

Протоколы управления ресурсами и сервисами, поддерживающие безопасный удаленный доступ к вычислительным ресурсам и ресурсам данных, а также перераспределение различных ресурсов;
Протоколы запроса информации и сервисы, обеспечивающие настройку и мониторинг состояния ресурсов, организаций и сервисов; <
Сервисы обработки данных, обеспечивающие поиск и передачу наборов данных между системами хранения данных и приложениями.

Что такое grid кластер

Основной проблемой широко распространённых технологий глобальных компьютерных сетей является невозможность универсально и эффективно использовать удалённые вычислительные ресурсы. Изначально так называемые "Internet-технологии" ориентировались на доступ к данным (файлам, базам данных), а не к вычислительным мощностям. Для преодоления ограничений и недоработок существующих решений была предложена новая технология, получившая название Grid.

Раньше для сложных и ресурсоёмких вычислительных задач использовали суперкомпьютеры, но теперь стало понятно, что эффективным и значительно более дешёвым решением является объединение в вычислительный комплекс большого числа персональных компьютеров. Мощности современных процессоров вполне достаточно для решения элементарных шагов большинства задач, а объединение нескольких десятков таких процессоров позволяет быстро и эффективно решать многие поставленные задачи, не прибегая к помощи мэйнфреймов и супер компьютеров.

Особый интерес такая технология представляет для организаций и учреждений, уже имеющим в своём распоряжении большой парк персональных компьютеров. Объединение их в вычислительный комплекс позволяет эффективно использовать простаивающие мощности и повысить производительность труда конечных пользователей. Также объединение географически удалённых компьютеров позволяет создавать виртуальные организации (Virtual Organization - VO), примерами которых могут служить группы разработчиков, экспертные системы, online базы данных и т.д., предоставляющих сервис по всему миру. Идея виртуальной организации - географическая распределённость при информационной интеграции.

Основной идеей Grid-технологии является централизованное и скоординированное распределение ресурсов, решение проблем создания виртуальных организаций. В данном случае под распределением ресурсов понимается не только обмен файлами, а прямой доступ к вычислительным мощностям, программному обеспечению, данным, периферийному оборудованию.

Гибкие отношения доступа (client-server, peer-to-peer).
Чёткий высокоуровневый контроль над использованием ресурсов.
Многоуровневый контроль прав доступа, локальные и глобальные политики доступа.
Поддержка распределения различных ресурсов - программ, данных, устройств, вычислительных мощностей.
Поддержка различных моделей пользования - многопользовательской, однопользовательской, режимов performance-sensitive и cost-sensitive.
Контроль над качеством предоставляемых услуг, планирование, резервное предоставление услуг.

Современные технологии распределённых вычислений не отвечают всему спектру предъявляемых требований. В течение нескольких последних лет исследования и разработки в рамках Grid-концепции привели к появлению протоколов, стандартов и инструментов, необходимых для построения масштабируемых и гибких виртуальных организаций.

На настоящий момент Grid-технологии включают в себя решения для распределения вычислений и данных между многими вычислительными системами, протоколы и сервисы для обмена данными, программами и доступа к компьютерным ресурсам. Все эти решения основаны на многоуровневых политиках доступа и поддерживают мониторинг и контроль над использованием предоставляемых услуг. Grid не следует рассматривать как абсолютно новую и не совместимую с существующими технологию, напротив, Grid может успешно использоваться как дополнение к уже существующим протоколам и сервисам для предоставления и получения более качественных услуг в рамках чёткой стандартной модели.

Концепции и технологии грид сначала разрабатывались для обеспечения возможности разделения ресурсов внутри распределенных по всему миру объединений научно-технических коллективов. При этом приложения включали совместную визуализацию больших наборов научных данных (объединение опыта), распределённый компьютинг для проведения вычислений, связанных с анализом данных (объединение компьютерных мощностей и систем хранения), и комплексацию научных измерительных устройств с удалёнными компьютерами и архивами (расширение функциональных возможностей, а также доступности).

Предполагается, что аналогичные приложения окажутся важны и в сфере коммерческой деятельности , сначала для научных и инженерных расчётов (где уже можно говорить об успешных результатах), а затем и для коммерческих распределённых прикладных систем, включая интегрированные корпоративные приложения и системы, поддерживающие бизнес партнёрство (В2В) через интернет. Ожидается, что Grid-технологии пройдут точно такой же путь, как Web, которая сначала использовалась в интересах научного сотрудничества, а затем стала применяться в электронных коммерческих системах.

Несомненно, что Grid-концепции чрезвычайно важны для бизнес-компьютинга главным образом не как средства усовершенствования возможностей, а скорее как инструмент для разрешения новых проблем, связанных с конструированием надёжных, масштабируемых и защищённых распределённых систем.

Концепция грид

Грид-технологии (Grid) позволяют создать географически распределенные вычислительные инфраструктуры, которые объединяют разнородные ресурсы и реализуют возможность коллективного доступа к этим ресурсам [3] . Принципиальной новизной этих технологий является объединение ресурсов путем создания компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе сетевых технологий и специального программного обеспечения промежуточного уровня (middleware), а также набора стандартизованных сервисов (служб) для обеспечения надежного совместного доступа к географически распределенным информационным и вычислительным ресурсам: отдельным компьютерам, кластерам, хранилищам информации и сетям. Основными направлениями развития грид-технологий являются: вычислительный грид, грид для интенсивной обработки данных и семантический грид для оперирования данными из различных баз данных.
Для построения полностью функциональной грид-системы необходимо программное обеспечение промежуточного уровня (middleware) [4] , построенное на базе существующих инструментальных средств и предоставляющее высокоуровневые сервисы задачам и пользователям. Создание и реализация грид-технологий является сложной научной и практической проблемой, находящейся на стыке большого количества научно-технических направлений.

Концепция грид

Читайте также: