[Django App] celery

[순서]

 - message queue 설치
- python celery 설치
- django-celery-result 설치
- django-celery-beat 설치
[message queue 설치 - linux-ubuntu]

 서버 설치 (설치 후 자동 서버 시작됨)
$ sudo apt-get install rabbitmq-server

서버 시작
$ sudo rabbitmq-server

서버 시작 (백그라운드)
$ sudo rabbitmq-server -detached

서버 종료 (kill 사용금지)
$ sudo rabbitmqctl stop
서버 상태
$ sudo rabbitmqctl status


[message queue 설치 - linux-amazon linux2]

서버설치 전 rabbitmq-server yum 레포지토리 설치
curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash
서버 설치
$ sudo yum install rabbitmq-server

서버 enable
$ sudo systemctl enable rabbitmq-server

서버 시작
$ sudo systemctl start rabbitmq-server

서버 종료
$ sudo systemctl stop rabbitmq-server

서버 상태
$ sudo systemctl status rabbitmq-server


[message queue 설치 - Mac]

설치준비
$ brew update

설치
$ brew install rabiitmq

서버 시작 (포그라운드)
$ rabbitmq-server

서버 시작 (서비스)
$ brew services start rabbitmq

서버 종료 (서비스)
$ brew services stop rabbitmq

서버 상태
$ brew services status rabbitmq

웹 어드민
http://localhost:15672
id : guest, password : guest


 [python celery 설치]

pip install celery
[Django celery 설정]

장고 설정
project/project/celery.py (장고 프로젝트명 변경 - 빨간색)

from __future__ import absolute_import, unicode_literals
import os, datetime
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'prefity.settings')

app = Celery('prefity')

# app.now = datetime.datetime.now

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()

@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

장고 설정
project/project/__init__.py

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ('celery_app',)


 [django-celery-result 설치]

 설치
$ pip install django-celery-results

설정 (settings.py)
INSTALLED_APPS = (
    ...,
    'django_celery_results',
)

 # django-celery-results Setttings

CELERY_RESULT_BACKEND = 'django-db'
CELERY_CACHE_BACKEND = 'django-cache'

데이터 마이그레이션
$ python manage.py migrate


 [django-celery-beat 설치]

 설치
$ pip install django-celery-beat

설정 (settings.py)
INSTALLED_APPS = (
    ...,
    'django_celery_beat',
)

데이터 마이그레이션
$ python manage.py migrate


 [celery, celerybeat  데몬화 - systemd 사용시]

데몬설정파일 : /etc/conf.d/celery
sudo mkdir /etc/conf.d (conf.d 디렉토리가 없으면 수행)
cd /etc/conf.d
sudo vi celery (아래 내용 복사하고 저장)

 --- 아래 시작 ---

CELERYD_NODES="w1"
CELERY_BIN="/home/ubuntu/.virtualenvs/prefity/bin/celery" # 가상환경이름
CELERY_APP="prefity" # Django Project name
CELERYD_MULTI="multi"
CELERYD_OPTS="--time-limit=300 --concurrency=1"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
#   and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"
CELERYD_HIJACK_ROOT_LOGGER=False

# you may wish to add these options for Celery Beat
CELERYBEAT_PID_FILE="/var/run/celery/beat.pid"
CELERYBEAT_LOG_FILE="/var/log/celery/beat.log"

 --- 아래 끝 ---

 /var/log/run 디렉토리 생성 및 권한부여

sudo mkdir /var/run/celery
sudo chown ubuntu /var/run/celery
sudo chgrp ubuntu /var/run/celery

 /var/log/celery 디렉토리 생성 및 권한부여

 sudo mkdir /var/log/celery
sudo chown ubuntu /var/log/celery
sudo chgrp ubuntu /var/log/celery

celery.service 파일 : /etc/systemd/system/celery.service
sudo vi /etc/systemd/system/celery.service (아래 내용 복사하고 저장)

 --- 아래 시작 ---

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=ubuntu
Group=ubuntu
EnvironmentFile=/etc/conf.d/celery
WorkingDirectory=/home/ubuntu/prefity
ExecStart=/bin/bash -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/bash -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
  --pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/bash -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

 --- 아래 끝 ---

 명령어 : sudo systemctl {start|stop|restart|status|enable|disable} celery.service

sudo systemctl enable celery.service
sudo systemctl start celery.service
celerybeat.service 파일 : /etc/systemd/system/celerybeat.service
sudo vi /etc/systemd/system/celerybeat.service (아래 내용 복사하고 저장)

 --- 아래 시작 --- celery 5.0 이하 설정 시

[Unit]
Description=Celery Beat Service
After=network.target

[Service]
Type=simple
User=ubuntu
Group=ubuntu
EnvironmentFile=/etc/conf.d/celery
WorkingDirectory=/home/ubuntu/prefity
ExecStart=/bin/bash -c '${CELERY_BIN} beat -l info \
  -A ${CELERY_APP} --scheduler django_celery_beat.schedulers:DatabaseScheduler \
  --pidfile=${CELERYBEAT_PID_FILE} \
  --logfile=${CELERYBEAT_LOG_FILE} \
  --loglevel=${CELERYD_LOG_LEVEL}'

[Install]
WantedBy=multi-user.target

 --- 아래 끝 ---


--- 아래 시작 --- celery 5.0 이상 설정 시 -A ${CELERY_APP} 위치변경

[Unit]
Description=Celery Beat Service
After=network.target

[Service]
Type=simple
User=ubuntu
Group=ubuntu
EnvironmentFile=/etc/conf.d/celery
WorkingDirectory=/home/ubuntu/prefity
ExecStart=/bin/bash -c '${CELERY_BIN} -A ${CELERY_APP} beat -l info \
  --scheduler django_celery_beat.schedulers:DatabaseScheduler \
  --pidfile=${CELERYBEAT_PID_FILE} \
  --logfile=${CELERYBEAT_LOG_FILE} \
  --loglevel=${CELERYD_LOG_LEVEL}'

[Install]
WantedBy=multi-user.target

--- 아래 끝 ---

명령어 : sudo systemctl {start|stop|restart|status|enable|disable} celerybeat.service

sudo systemctl enable celerybeat.service
sudo systemctl start celerybeat.service


[celery, celerybeat  데몬화 - Mac 적용 시]

celery results

실행 시 항상 /project 밑에서 실행해야 함

start : sudo celery -A ds multi start w1--concurrency=1
stop : sudo celery -A ds multi stop w1
restart : sudo celery -A ds multi restart w1
check : ps -ef | grep 'celery -A ds multi' | wc -l

celery beat

실행 시 항상 /project 밑에서 실행해야 함

start : sudo celery -A ds beat -l INFO --detach --scheduler django_celery_beat.schedulers:DatabaseScheduler
stop : sudo kill -9 `ps -ef | grep 'celery -A ds beat' | awk '{print $2}'`
check : ps -ef | grep 'celery -A ds beat' | wc -l


[systemctl 서비스 여러개 동시 확인]

sudo systemctl | grep -e celery -e rabbitmq -e nginx -e uwsgi
or
sudo systemctl | grep -E "celery|rabbitmq|nginx|uwsgi"


[app 개발]

project
    project
        __init__.py
        celery.py
    app1
        models.py
        tasks.py
    app2
        models.py
        tasks.py

tasks.py

from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def send_email(subject, message, from_email, to):
msg = EmailMessage(subject, message, from_email, to)
msg.content_subtype = 'html'
ret = msg.send()
return ret

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Django Install] 9.1 sc제일은행 nginx-django 연결

[Django 설치] Django는 이미 설치된 것으로 가정하고 진행. 프로젝트명 : sc 프로젝트 디렉토리 : /datanode/datashare/sc [Django static 파일 마이그레이션] nginx에서 사용할 static 파일을 만들어 준다. python manage.py collectstatic  (static_root만 영향을 준다.) STATIC_ROOT   =   os . path . join ( BASE_DIR ,   "staticfiles/" ) 에 설정된  staticfiles  디렉토리 하위에 app별 폴더가 만들어진다. (app의 static 폴더의 images, js, css 파일에 변경이 있으면 실행이 필요하다) MEDIA_ROOT = os.path.join(BASE_DIR, 'mediafiles') 에 설정된 디렉토리에는 첨부파일이나 업로드 이미지 파일이 만들어진다. (위 명령어와 관련이 없으며, 관리자나 사용자가 업로드한 파일들이 저장된다.) [uwsgi 설치] 파이썬 가상화 환경에 로그인한 후 실행 pip install uwsgi [Nginx 설치] sudo apt-get install nginx 설치 후 자동적으로 Nginx가 Start 된다. 프로세스 시작 : sudo service nginx start 프로세스 종료 : sudo service nginx stop 프로세스 재시작 : sudo service nginx restart 프로세스 상태 : sudo service nginx status [ Nginx - Django 연동 ] /datanode/datashare/web/nginx/nginx.conf 파일수정 (아래 내용으로 수정) # the upstream component nginx needs to connect to      upstream django {         server unix:///datanode/datashare/web/sc/sc.sock;     }     
자세한 내용 보기

[Django APP] django-widget-tweaks

[설치] pip install django-widget-tweaks [설정] INSTALLED_APPS = [      ...      'widget_tweaks',      ... ] [사용법] In template {% load widget_tweaks %} <!-- change input type (e.g. to HTML5) --> {% render_field form.search_query type="search" %} <!-- add/change several attributes --> {% render_field form.text rows="20" cols="20" title="Hello, world!" %} <!-- append to an attribute --> {% render_field form.title class+="css_class_1 css_class_2" %} <!-- template variables can be used as attribute values --> {% render_field form.text placeholder=form.text.label %} {% render_field %} 태그로 렌더링 된 필드의 경우 WIDGET_ERROR_CLASS 및 WIDGET_REQUIRED_CLASS 템플릿 변수를 사용하여 오류 클래스 및 필수 필드 클래스를 설정할 수 있습니다. {% with WIDGET_ERROR_CLASS = 'my_error'WIDGET_REQUIRED_CLASS = 'my_required'%}     {% render_field form.field1 %}     {% render_field form.field2 %}
자세한 내용 보기

[Django App] django-user-agents

[설치] pip install pyyaml ua-parser user-agents pip install django-user-agents [설정] settings.py 수정 INSTALLED_APPS = (     # Other apps...     'django_user_agents', ) MIDDLEWARE = (     # other middlewares...     'django_user_agents.middleware.UserAgentMiddleware', ) #  django-user-agents Settings # Cache backend is optional, but recommended to speed up user agent parsing # CACHES = { #    'default': { #        'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', #        'LOCATION': '127.0.0.1:11211', #    } # } # Name of cache backend to cache user agents. If it not specified default # cache alias will be used. Set to `None` to disable caching. USER_AGENTS_CACHE = 'default' [소스 활용] def my_view(request):     # Let's assume that the visitor uses an iPhone...     request.user_agent.is_mobile # returns True     request.user_agent.
자세한 내용 보기