Деплой Python программ на Linux

⠀Для беспрерывной работы Python программы необходимо задеплоить её на сервер. На Linux это можно сделать двумя способами, описанными в данной статье.

Содержание

Windows или Linux?

К содержанию

⠀У обоих систем есть как плюсы, так и минусы.

Windows

⠀Плюсы:

• Для большинства привычная система;
• Программы могут работать с графическим интерфейсом (приложения с GUI, кликер, работа с браузером и т. п.);
• Возможность запуска программ без установки Python (при помощи EXE файла, созданного библиотекой на подобии PyInstaller).

⠀Минусы

• Высокая стоимость аренды сервера;
• Низкое соотношение цена-производительность;
• Скудный выбор хостингов с адекватными ценами;
• Нестабильность (зависит от хостинга);
• Через профиль одного пользователя можно заходить одновременно только с одного устройства.

Linux

⠀Плюсы:

• Возможность запуска программ без установки Python (в Docker контейнере).
• Низкая стоимость аренды сервера;
• Высокое соотношение цена-производительность;
• Большой выбор хостингов с адекватными ценами;
• Более стабильная работа (зависит от хостинга);
• Через профиль одного пользователя можно заходить одновременно с нескольких устройств.

⠀Минусы

• Для многих непривычная система.

Способы деплоя

К содержанию

⠀В обоих системах существует по 2 основных способа.

⠀В Windows:

• Скомпилировать исполняющий EXE файл, перенести его на сервер и запускать программу (лёгкий, быстрый и предпочтительный);
• Установить Python, перенести проект на сервер, установить все зависимости и запустить исполняющий файл (более сложный, медленный и не наполненный смыслом).

⠀В Linux:

• Создать Docker образ с программой и запустить в качестве контейнера (более сложный, быстрый и предпочтительный);
• Установить Python и запустить при помощи сервисного файла (лёгкий, долгий, но не предпочтительный).

⠀Способы деплоя на Linux подробно расписаны в следующем разделе.

Деплой

К содержанию

Подготовка

⠀У себя на ПК в виртуальном окружении проекта Python создать файл с используемыми библиотеками

pip freeze > requirements.txt

⠀Подключиться к серверу.

⠀При необходимости создать папку, в которую будут помещёны все программы, например

mkdir python_programs; cd python_programs

⠀Создать папку для запускаемой программы и перейти в неё

mkdir program_name; cd program_name

⠀Загрузить необходимые файлы из проекта на сервер в созданную ранее папку с виртуальным окружением.

Docker

⠀Прочитать статью про создание Docker образа.

⠀Установить Docker

. <(wget -qO- https://raw.githubusercontent.com/SecorD0/utils/main/installers/docker.sh)

⠀Создать у себя на ПК Dockerfile и прописать в нём инструкции создания образа, например

FROM python:3.9.7-slim

WORKDIR /program

COPY . .
RUN pip install --upgrade pip; \
    pip install -r requirements.txt

ENTRYPOINT ["python3"]

CMD ["main.py"]

⠀Загрузить созданный Dockerfile в папку с программой на сервере.

⠀Перейти в папку с программой

cd $HOME/python_programs/program_name

⠀Собрать образ

docker build -t program_name .

⠀Запустить программу

docker run -dit --restart always \
  -v $HOME/python_programs/program_name/:/program \
  --name program_name program_name

⠀Удостовериться в корректном запуске программы, просмотрев лог

docker logs program_name -fn 100

⠀⠀Добавить команду для просмотра лога программы в систему в виде переменной

. <(wget -qO - https://raw.githubusercontent.com/SecorD0/utils/main/miscellaneous/insert_variable.sh) \
-n "program_name_log" -v "docker logs program_name -fn 100" -a

docker restart program_name

Сервисный файл

⠀Прочитать статью про параметры сервисного файла.

⠀Обновить пакеты и систему

sudo apt update && sudo apt upgrade -y 

⠀Установить необходимые пакеты

sudo apt install wget -y

⠀Запустить скрипт установки Python 3.9.7

. <(wget -qO - https://raw.githubusercontent.com/SecorD0/utils/main/installers/python.sh)

. <(wget -qO - https://raw.githubusercontent.com/SecorD0/utils/main/installers/python.sh) \
-v "3.9.1"

⠀Дождаться окончания установки (10-20 минут)

/usr/local/python

⠀Обновить pip

python3 -m pip install --upgrade pip

⠀Установить виртуальное окружение

pip install virtualenv

⠀Добавить команду активации виртуального окружения в систему в виде переменной

. <(wget -qO - https://raw.githubusercontent.com/SecorD0/utils/main/miscellaneous/insert_variable.sh) -n "venv_py" -v ". venv/bin/activate" -a

⠀Перейти в папку с программой

cd $HOME/python_programs/program_name

⠀Создать виртуальное окружение

virtualenv venv

⠀Активировать виртуальное окружение

venv_py

⠀Установить необходимые зависимости

pip install -r requirements.txt

⠀Запустить программу и удостовериться, что она работает корректно

python3 main.py

⠀Остановить программу сочетанием клавиш Ctrl+C, если она циклична, и деактивировать окружение командой

deactivate

⠀В блокноте подставить в команду свои значения и запустить её из директории с программой, тем самым создать сервисный файл

printf "[Unit]
Description=Program Name
After=network-online.target

[Service]
User=$USER
EnvironmentFile=/etc/environment
Environment=PYTHONUNBUFFERED=1
WorkingDirectory=`pwd`
ExecStart=`pwd`/venv/bin/python3 main.py
Restart=on-failure
RestartSec=3

[Install]
WantedBy=multi-user.target" > /etc/systemd/system/program_name.service

⠀Запустить сервисный файл

sudo systemctl daemon-reload
sudo systemctl enable program_name
sudo systemctl restart program_name

⠀Удостовериться в корректном запуске программы, просмотрев лог

journalctl -n 100 -f -u program_name

⠀Добавить команду для просмотра лога программы в систему в виде переменной

. <(wget -qO - https://raw.githubusercontent.com/SecorD0/utils/main/miscellaneous/insert_variable.sh) \
-n "program_name_log" -v "journalctl -n 100 -f -u program_name" -a

sudo systemctl restart program_name

MySQL (бонус)

К содержанию

Установка

⠀Установить MySQL скриптом

. <(wget -qO- https://raw.githubusercontent.com/SecorD0/utils/main/installers/mysql.sh)

⠀Войти в оболочку MySQL

sudo mysql

⠀Задать пароль root пользователя

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password by 'PASSWORD';

⠀Выйти из оболочки

exit

⠀Выполнить предварительную настройку, запустив команду

sudo mysql_secure_installation

⠀Ввести заданный ранее пароль и ответить на дальнейшие вопросы y или n:

• Использовать ли плагин для валидации пароля? (n);

• Сменить ль пароль root пользователя? (n);

• Удалить ли анонимных пользователей? (желательно y)

• Запретить ли удалённое подключение через root пользователя? (по желанию)

• Удалить ли тестовую базу данных? (желательно y)

• Обновить ли таблицы привилегий? (желательно y)

Настройка

⠀Для подключения к MySQL можно использовать два вида пользователей:

⠀Для создания такого пользователя необходимо подключиться к MySQL

sudo mysql -u root

⠀Создать БД

CREATE DATABASE DATABASE_NAME;

⠀Создать пользователя

CREATE USER 'YOUR_USERNAME'@'localhost' IDENTIFIED BY 'YOUR_PASSWORD';

⠀Дать пользователю все права в созданной БД

GRANT ALL PRIVILEGES ON DATABASE_NAME.* TO 'YOUR_USERNAME'@'localhost';
FLUSH PRIVILEGES;

⠀При попытке подключения к MySQL через root пользователя появится ошибка

1698 (28000): Access denied for user 'root'@'localhost'

⠀Чтобы её исправить, необходимо подключиться к MySQL

sudo mysql -u root

⠀Изменить тип подключения root пользователя

USE mysql;
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 
'YOUR_PASSWORD';
FLUSH PRIVILEGES;

Удаление

sudo mysqldump -u root -p DATABASE_NAME > DATABASE_FILE_NAME.sql

⠀MySQL полностью удаляется скриптом

. <(wget -qO- https://raw.githubusercontent.com/SecorD0/utils/main/installers/mysql.sh) -u

Полезные команды

К содержанию

Docker

⠀Лог программы

program_name_log
docker logs program_name -fn 100

⠀Список образов

docker images

⠀Список всех контейнеров

docker ps -a

⠀Удаление контейнера с программой

docker stop program_name
docker rm program_name

⠀Перезапуск программы (например при обновлении кода)

docker restart program_name

Сервисный файл

⠀Лог программы

program_name_log
journalctl -n 100 -f -u program_name

⠀Остановка программы

sudo systemctl stop program_name

⠀Перезапуск программы (например при обновлении кода)

sudo systemctl restart program_name

MySQL

⠀Подключение к MySQL

sudo mysql -u root
sudo mysql -u root DATABASE_NAME

⠀Отключение от MySQL

Ctrl + D
exit

⠀Экспорт БД

sudo mysqldump -u root -p DATABASE_NAME > DATABASE_FILE_NAME.sql

⠀Импорт в существующую БД

sudo mysql -u root -p DATABASE_NAME < DATABASE_FILE_NAME.sql

⠀SQL команды (выполнять после подключения к MySQL)

/* список пользователей */
SELECT user, host FROM mysql.user;
/* показать список БД */
SHOW DATABASES;
/* создать БД */
CREATE DATABASE DATABASE_NAME;
/* перейти в БД */
USE DATABASE_NAME;
/* показать список таблиц */
SHOW TABLES;
/* показать формат столбцов таблицы */
DESCRIBE TABLE_NAME;
/* показать содержимое таблицы */
SELECT * FROM TABLE_NAME;

Полезные ссылки

К содержанию

Контейнеризация Python приложения (EN) | Python и MySQL (EN)

Подключение Python приложения к MySQL в Docker (EN)

Благодарности

К содержанию

Команда 1package — написание статьи

Выразить благодарность