#1 Реальный пример по развертыванию сервиса Exchange Listener с использованием KUBERNETES

Всем привет! 

    В данной статье описан один из возможных сценариев как можно развернуть сервис в On-Site, с которым поделился наш партнер "Baso-IT" в лице Александра Горчакова. Данная инструкция процитирована и зафиксирована в таком виде, в каком партнер нам передал.

     

    Характеристики (из расчета ~70 почтовых ящиков):

    • одна виртуальная машина  (Ubuntu без предустановленных настроек с root-доступ)
    • 2 ядра по 2 Гц
    • с оперативной памятью 4gb

    Шаги, которые были предприняты для разворачивания сервиса (текущую машину будем считать master-машиной):

     

    (!) за основу брать инструкцию по разворачиванию сервиса на Академии - https://academy.terrasoft.ru/documents?product=administration&ver=7&id=2075

     

    1. На "чистой" Ubuntu (версия 20.04) создаем нового пользователя

    adduser username

    и добавляем его в группу sudo:

    usermod -a -G sudo username

    ssh-доступ он получит по умолчанию.

    (!) Далее если система где-то будет ругаться на root-доступ или отсутствие прав - просто добавляем в начале команды sudo

     

    2. Логинимся под созданным пользователем и устанавливаем Midnight Commander, для более удобного пользования каталогами:

    apt install mc

    При установке система может задать вопрос - выбираем Y

     

    3. Обновляемся и ставим Docker:

    apt-get update
    apt-get install -y docker.io

     

    Стоит его так же сразу перезапустить:

    service docker restart

     

    4. Устанавливаем kubeadm, kubelet и kubectl:

    apt-get update && apt-get install -y apt-transport-https
    curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
    cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
    deb http://apt.kubernetes.io/ kubernetes-xenial main
    EOF

    ИЛИ (нужно знать как работать в редакторе VIM (https://help.ubuntu.ru/wiki/vim)

    apt-get update && apt-get install -y apt-transport-http
    curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
    sudo vim /etc/apt/sources.list.d/kubernetes.list
    deb http://apt.kubernetes.io/ kubernetes-xenial main

    Здесь может оказаться так, что система не даст создать файл kubernetes.list ввиду отсутствующего каталога sources.list.d

    Если так случится - сначала используем mkdir и создаем каталог:

    mkdir /etc/apt/sources.list.d

    Далее повторяем последние 3 команды из пункта 4:

    cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
    deb http://apt.kubernetes.io/ kubernetes-xenial main
    EOF

    Устанавливаем Kubernetes:

    apt-get update
    apt-get install -y kubelet kubeadm kubectl kubernetes-cni

     

    5. Далее выполняем команду:

    kubeadm init --pod-network-cidr=10.244.0.0/16

    Именно 10.244.0.0/16! Вводим ровно то что написано.

     

    Процесс может занять минуту или более в зависимости от вашего интернет-соединения.

     

    Результат выполнения команды

     

    В процессе установки могут быть Warning и Error. Последние сначала придется устранить.

     

    Самый популярный Error - жалоба на swap. Замечу что банальной команды отключения swap (swapoff -a) недостаточно, т.к. даже в случае успешной установки - после перезагрузки системы придется повторно ее вводить каждый раз, что не очень удобно (иначе просто ничего не будет работать).

     

    Рекомендую запустить тот же MobyXTerm или Midnight Commander (mc), найти файл fstab ("/etc/fstab"), расположенный в каталоге etc и просто закомментировать (поставить в начале строки #) строку, в которой содержится слово swap и перезагрузить машину.

    Так же можно просто не создавать swap-раздел при установке ubuntu.

     

    В случае успешного выполнения система предоставит команду для подключения других машин к текущей для создания кластера (выдуманный пример):

    kubeadm join 192.168.101.199:6443 --token selist.zho8rggai807dtsr \
    
        --discovery-token-ca-cert-hash sha256:8250d1a19e1c9bc7ab32ef43811f143f1c658ccc476383e9260d133a2988666c

    Сохраните полученную команду и используйте при необходимости собрать кластер.

     

    Так же в процессе выполнения могут быть Warning'и вида:

    docker service is not enabled, please run 'systemctl enable docker.service'

    Собственно вводим то что написано:

    #Как вылечить сообщение [WARNING Service-Docker]: docker service is not enabled, please run 'systemctl enable docker.service'
    
    systemctl enable docker.service

    Или же такие:

    detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd"

     

    В таком случае создаем\редактируем файл daemon.json, расположенный по пути etc/docker (можно вручную отредактировать через cat или vim):

    {
    
      "exec-opts": ["native.cgroupdriver=systemd"]
    
    }

    Но можно и командой, которая все делает:

    #Как вылечить [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
    
    cat > /etc/docker/daemon.json <<EOF
    {
      "exec-opts": ["native.cgroupdriver=systemd"],
      "log-driver": "json-file",
      "log-opts": {
        "max-size": "100m"
      },
      "storage-driver": "overlay2"
    }
    EOF

    И перезапускаем Docker:

    service docker restart

    Но в целом это скорее просто рекомендация. Работать будет и так.

     

    6. Вводим команды:

    sudo mkdir -p $HOME/.kube
    sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
    sudo chown $(id -u):$(id -g) $HOME/.kube/config

     

    7. Вводим команду для возможности запуска контейнеров на текущей машине:

    kubectl taint nodes --all node-role.kubernetes.io/master-

     

    8. Устанавливаем Flannel:

    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
    
    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/k8s-manifests/kube-flannel-rbac.yml

     

    9. Проверяем состояние подов:

    kubectl -n kube-system get pods

    Должны быть статусы Running
     

    10. Устанавливаем Helm:

    wget https://get.helm.sh/helm-v3.3.0-rc.1-linux-amd64.tar.gz
    tar xzvf helm-v3.3.0-rc.1-linux-amd64.tar.gz
    mv linux-amd64/helm /usr/local/bin/helm

    Название дистрибутива может меняться. В данный момент это текущая актуальная версия.

    И подключаем репозиторий (возьмем самый популярный):

    helm repo add stable https://kubernetes-charts.storage.googleapis.com/

     

    11. Устанавливаем Redis:

    helm repo update
    
    helm install --namespace default --set usePassword=false --set=slave.persistence.enabled=false --set master.persistence.enabled=false --set cluster.enabled=false redis bitnami/redis

    Я использовал namespace k8s по умолчанию (default). Как и название Redis'а (redis).

     

    12. Устанавливаем Exchange Listener.

    Качаем последний актуальный дистрибутив (на данный момент 0.6.9):

    wget http://ftp.bpmonline.com/support/downloads/Exchangelistener/exchangelistener-0.6.9.tgz

     

    Находим ip-адрес redis-master:

    kubectl get service

    В выводе в столбце ClusterIP будут ip-адреса. Нас интересует redis-master

    Допустим это 10.104.17.189

    В таком случае следующая команда будет выглядеть:

    helm install --set env.host=10.104.17.189 --set service.type=NodePort --set service.nodePort=30001 --set apiVersion=apps/v1 --namespace default elistener exchangelistener-0.6.9.tgz

     

    Где:

    --set env.host - указать IP мастер Redis

    default - namespace, который использовался в пункте 11.

    elistener - произвольное название нашего сервиса.

    exchangelistener-0.6.9.tgz - путь к скачанному дистрибутиву.

     

     

    Порт не обязательно должен быть 30001. Допустимый диапазон 30000-32767.

     

    На этом минимальная настройка сервиса на стороне сервера завершена.

    Пункты 1 и 2 тоже не могу назвать обязательными. Это скорее рекомендация для личного удобства.

     

    Проверяем состояние сервисов:

    kubectl get pods

    Должны быть состоянии Running.

     

    Проверяем доступность сервиса Exchange Listener.

    Сначала можно через telnet:

    telnet 192.168.101.199 30001

    Где 192.168.101.199 - ip-адрес нашей linux-машины, а 30001 - порт сервиса Exchange Listener, выбранный при установке на 12 шаге.

    Если соединение проходит - открываем веб-браузер (желательно сразу на машине с Creatio) и вводим в адресную строку http://192.168.101.199:30001/api/listeners/status

    Вывод должен быть вида "ServiceStatus": "Started", и т.д.

     

    Дополнительно:

    При желании собрать кластер, на всех дополнительных машинах проделываем:

    Вводим команды, описанные в Error'ах и Warning'ах шага 5 (саму команду kubeadm init --pod-network-cidr=10.244.0.0/16 не вводим)

    Вводим ключ-команду полученную на на шаге 5. Замечу что нужно стереть символ если он присутствует.

    Проверяем поды на master-машине (их должно стать больше):

    kubectl -n kube-system get pods

     

    Какие команды могут помочь при решении проблем

    Почему-то не было доступа из внешнего IP к порту 30001, где развернут сервис. и были выполнены следующие команды:

     

    ufw allow 30001 - команда конкретно firewall ubuntu. К другим дистрибутивам вероятнее всего не подойдет (возможно только если к Mint, т.к. ядро тоже самое). 

     

    iptables -I INPUT -p tcp --dport 30001 -j ACCEPT - уже более распространенный вариант. 

     

    Команды для просмотра логов. Примеры:

    kubectl logs POD_NAME

    kubectl logs REDIS_NAME-api-0

     

    Спасибо!

    Нравится

    Поделиться

    8 комментариев

    Подскажите команду 

    7. Вводим команду для возможности запуска контейнеров на текущей машине:

    kubectl taint nodes --all node-role.kubernetes.io/master-

    необходимо вводить только на мастер ноде или на всех нодах

    Еремеев Игорь Юрьевич,

     

    Здравствуйте, Игорь! 

     

    Данная команда нужна если у вас развернут К8S не в кластере - https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/

    Добрый день.
    При выполнении п. 7, 8 и т.д. получаю ошибку: 
    The connection to the server localhost:8080 was refused - did you specify the right host or port?
    Проверил права для пользователя на папку $HOME/.kube/config
    Команда: ls -l $HOME/.kube/config
    Вывод:
    -rw------- 1 username username 5454 Aug  6 05:55 /home/username/.kube/config
    Чего не хватает?

     

    UPD: Получил config куба:
    Команда: sudo kubectl config view
    Ответ:
    apiVersion: v1
    clusters: null
    contexts: null
    current-context: ""
    kind: Config
    preferences: {}
    users: null
    Смущает, что здесь пусто.

    Коллеги, опубликовали второй пример по развертыванию сервиса - https://community.terrasoft.ru/articles/2-realnyy-primer-po-razvertyvaniyu-servisa-exchange-listener-s-ispolzovaniem-kubernetes

    Коновалов Игорь,

    Предположу что дело во включенном свопе.

    Добрый день! Подскажите пожалуйста можно ли развернуть сервис без неограниченного доступа в Инернет?

    Сергей, в статье ничего не указано о неограниченности интернет-доступа, только о скорости. Если оплата будет помегабайтной, то при установке и использовании трафик, естественно будет потребляться.

     

    Или речь о работе в локалке без Интернета вообще? Тогда нужно, как минимум, позаботится о локальных репозиториях для установки по apt-get упомянутого софта. А по поводу работы Kubernetes в таких условиях лучше будет уточнить у них.

    Спасибо за развернутое описание. Пришлось немного поиграться с правами доступа к папкам, но в целом все сработало

    Показать все комментарии