Apache Kafka - краткое описание


Apache Kafka - краткое описание

Apache Kafka - это распределённая, легко маштабируемая система обмена сообщениями c высокой пропускной способностью(Kafka быстрее RabbitMQ раз в 5-20). Пишет сразу на диск сообщения и хранит там их указанный период времени.

 Kafka является единственным проектом, который на уровне архитектуры решает вопрос импорта большого объёма данных.

Проблемы:
  • Теоретически может выдерживать любые объёмы данных, но на практике показатели сильно преувеличены.
  • От версии к версии интерфейс может полностью изменится, что очень мешает.
  • Не работает ряд функций: группы потребителей, сдвиги для пользователей. Простой рецепт, это запускать по одному потребителю на партицию очереди (topic, в терминологии Kafka) и вручную контролировать сдвиги. 

Приемущества:
  • Легко маштабируется
  • Высокая производительность как для паблишеров так и для подписчиков
  • Отказоустойчивая и автоматическо балансируется в случае отказа

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Репликация MongoDB

MongoDB поддерживает асинхронную репликацию данных между серверами , в целях отказоустойчивости и избыточности данных . Без этого  функционала  немыслим ни один высоко нагруженный сервис. Репликация — механизм синхронизации содержимого базы данных с несколькими серверами ( репликами ). То есть , один инстанс mongod на сервере 127.0.0.1 передает ( синхронизирует ) содержимое своей БД test другому инстансу mongod на сервере 127.0.0.2 ( теперь это реплика ). Таким образом в нашей системе создается избыточность данных : одна и та же база test обслуживается двумя серверами . И это в некотором смысле хорошо . Так как если один сервер упадет , другой перехватит его знамя и продолжит раздавать и принимать данные . В  MongoDB репликация асинхронная . Это значит , что данные синхронизируются между репликами не в момент непосредственного изменения данных , а отложенно , через какое - то время . В этом есть плюс : не тратится время на репликацию в момент изменения данных (in...
Далее...

Руководство по MongoDB

Руководство по MongoDB https://metanit.com/nosql/mongodb/ 　 Глава 1. Введение в MongoDB Что такое MongoDB Начало работы с MongoDB Графический клиент Compass Глава 2. Работа с базой данных MongoDB Устройство базы данных. Документы Установка и администрирование базы данных Добавление данных Выборка из БД Команды группировки Операторы выборки Обновление данных Удаление данных Установка ссылок в БД Работа с индексами Управление коллекцией Глава 3. PHP и MongoDB Установка драйвера для PHP Подключение к MongoDB Добавление данных Выборка документов Управление выборкой Условные операторы Обновление документов Удаление данных Работа с DBRef Работа с GridFS Глава 4. C# и MongoDB Установка драйвера и подключение к базе данных Взаимодействие с коллекцией. Документы Работа с моделями данных Настройка ...
Далее...

Запросы в MongoDB

Запросы в MongoDB Используя объектно-ориентированный подход в разработке ПО, мы разделяем проектируемую систему на логические составляющие для того, чтобы составить умозрительную концепцию в своей голове. Получая эту концепцию нам становится проще определить границы логических операций над данными, а также структуру и состояния самих данных в тот или иной момент времени. Представьте себе, что у вас есть возможность программно оперировать логическими моделями почти в неизменном виде вместо того, чтобы превращать их в набор таблиц, поле и строк реляционной базы данных? Рассмотрим такие операции, как создание, изменение и удаление баз данных и записей, а также более сложными вещами　— сложными выборками данных и анализом при помощи MapReduce. 　 Установка MongoDB Загрузить MongoDB для своей платформы можно в соответствующем разделе их сайта или же порыться в репозиториях своего дистрибутива. Будем использовать Arch Linux, где всё необходимое было установлено одной ком...
Далее...