Среща с БСК
Публикувано на 29.6.2023 г. от vandonov@unwe.bg
На срещата бе представена изградената научна инфраструктура от 4 броя Hadoop клъстери – основният съдържащ около 4,5 Petabytes дисково пространство и другите разпределени в университетите УНСС-София, в Пловдивски университет „Паисий Хилендарски“, Габровски Технически университет и Русенски университет „Ангел Кънчев“. Представената архитектура от 4 разпределени Hadoop клъстера може да работи в следните режими:
- Всичките 4 клъстера изглеждат като един интегриран централизиран клъстер
- Достъпът до всичките клъстери е един, но програмистът може да избере с кой отделен клъстер да работи, като постави данните в него и насочи обработките за него
- Всеки отделен клъстер работи самостоятелно, обработва свои данни, които в един момент може да се разглеждат като общи данни за всички потребители на интегрирания клъстер.
Особен аспект на представените възможности на
Системата за големи данни е работата с продукта Pentaho, която използва данни както от отделните Hadoop клъстери, така и от
интегрирания Hadoop клъстер състоящ се от 4 клъстера.
Предоставена бе възможност на предприятия на
БСК да използват създадената съвкупност от 4 броя Hadoop клъстери, които да
се използват централизирано, както и да се използват разпределените Hadoop клъстери в
градовете София, Пловдив, Габрово и Русе.