성장에 목마른 코린이

[DB] Docker 로 MySQL/MariaDB 세팅

성장하는 코린이 — Wed, 30 Nov 2022 08:36:12 +0900

Docker Compose로 MySQL/MariaDB 세팅

Docker 설치 및 설정 파일 세팅

Docker와 Docker Compose 설치

맥의 경우, Docker만 설치하면 Docker Compose가 포함되어 있기에 추가로 설치해줄 필요가 없습니다.

프로젝트 내에 docker-compose.yml 생성 및 내용 추가

version: "3.7"
services:
  test:
    image: mariadb:10.4
    container_name: test
    env_file: .env
    environment:
      TZ: Asia/Seoul
    networks:
      - database
    ports:
      - 3306:3306
    restart: always
    volumes:
      - ./db/conf.d:/etc/mysql/conf.d
      - ./db/data:/var/lib/mysql
networks:
  database:

image: mariadb:10는 MariaDB 10 이미지를 사용한다는 의미입니다.
ports: DB의 3306 포트를 열어준다는 의미입니다.
volumes: Docker 컨테이너의 파일을 사용자 시스템의 파일에 연결한다는 의미입니다.
TZ: DB의 시간대를 설정하는 용도입니다.
volumes: 컨테이너가 삭제될 시 데이터도 날아갈 수 있기때문에, 저장소는 반드시 외부로 마운트를 해줘야 합니다.
- /etc/mysql/conf.d는 MySQL/MariaDB의 설정 파일이 위치하는 경로입니다.
- /var/lib/mysql은 DB의 데이터가 파일 형태로 저장되는 공간입니다

.env 파일 생성 및 내용 추가

MYSQL_HOST=localhost
MYSQL_PORT=3306
MYSQL_ROOT_PASSWORD=password
MYSQL_DATABASE=test
MYSQL_USER=tester
MYSQL_PASSWORD=password

db라는 빈 디렉터리 생성

docker-compose.yml가 위치한 디렉터리에 말그대로 db라는 빈 디렉터리를 생성하면 됩니다.

Docker MySQL/MariaDB 컨테이너 생성 및 실행

Docker에 MySQL/MariaDB 컨테이너 생성

$ docker-compose up

백그라운드에서 실행 시 up 뒤에 옵션 -d를 추가해주면됩니다.

MySQL/MariaDB 컨테이너 bash 쉘 접속

$ docker exec -it test bash

test를 한 이유는 아까 docker-compose.yml 파일에서 컨테이너 이름을 test로 지정해줬기 때문입니다.

MySQL/MariaDB 서버 접속

$ mysql -u root -p
mysql > [.env파일에 있는 패스워드]

[Linux] scp, sftp 사용법

성장하는 코린이 — Tue, 29 Nov 2022 20:00:55 +0900

사용법

> scp [options] [source] [target]

# source : 파일을 보낼 주소
# target : 파일을 받을 주소

보낼 파일의 주소로 파일명만 명시했더니 permission denied가 떴다. 이후 절대경로로 변경해주니 파일이 잘 전송된 것을 확인 할 수 있었다.

1. 로컬에서 원격으로 (Local→Remote)

> scp [전송할 파일 경로] [유저명]@[IP주소]:[받을 경로]

EX) 로컬의 /home/example.txt 파일을 원격지의 /home/test 디렉토리로 전송
> scp /home/example.txt dhj@141.211.xx.xxx:/home/test

2. 원격에서 로컬로 (Remote→Local)

> scp [유저명]@[IP주소]:[전송할 파일 경로] [받을 경로]

EX) 원격지의 /home/test.txt 파일을 로컬의 /home/example 디렉토리로 전송
> scp dhj@141.211.xx.xxx:/home/test.txt /home/example

3. 원격에서 원격으로 (Remote→Remote)

> scp [유저명]@[IP주소]:[전송할 파일 경로] [유저명]@[IP주소]:[받을 경로]

EX) A 원격지의 /home/test.txt 파일을 B 원격지의 /home/example 디렉토리로 전송
> scp dhj@141.211.xx.xxx:/home/test.txt gildong@141.223.xx.xxx:/home/example

옵션 (options)

-r: 폴더를 복사할 때 사용(전송 대상을 폴더로 지정). 모든 폴더들을 재귀적으로 복사함.
-P: ssh 포트 지정
-i: identity file을 지정해서 사용(identity file 경로를 지정)

> ex) scp -i ~/.ssh/dhj-server-private ~/example.txt dhj@141.223.xx.xxx:/home/test

-v: 상세내용을 보면서 디버깅 할 때 사용(verbose 모드)
-p: 전송 시 파일 수정 시간과 권한을 유지

> ex) scp -P 22 dhj@141.223.xx.xxx:/home/dhj/example.txt /home/test

복수의 파일 전송

1. 로컬에서 원격으로 (Local→Remote)

> scp [옵션] [파일명1] [파일명2] [유저명]@[IP주소]:[받을 경로]

2. 원격에서 로컬로 (Remote→Local)

1번의 경우와 다르게 원격지에서 보낼 파일들의 경로를 “ “을 이용해 묶어준다.

> scp [옵션] [유저명]@[IP주소]:"[파일명1] [파일명2]" [받을 경로]

3. 원격에서 원격으로 (Remote→Remote)

마찬가지로 원격지에서 보낼 파일들의 경로를 “ “을 이용해 묶어준다.

> scp [옵션] [유저명]@[IP주소]:"[파일명1] [파일명2]" [유저명]@[IP주소]:[받을 경로]

SFTP

sftp는 접근후 put으로 파일을 올려야함 scp랑 방식이 다름

접근

sftp [유저명]@[ip주소]

올리기

sftp> put [파일명]

[Git] github/gitlab 원격저장소에서만 필요없는 파일 제거

성장하는 코린이 — Thu, 24 Nov 2022 09:00:21 +0900

github/gitlab 원격저장소에서만 필요없는 파일 제거

깜빡하고 .gitignore에 추가하지 않은채 푸쉬를 해버린 파일들을 쉽게 지우는 방법

.gitignore를 작성하지 않았다면, 지금이라도 .gitignore를 작성해주고, 저장소에서 node_modules 디렉토리를 삭제해줍니다.

package.json파일과 package-lock.json파일이 있다면

npm init 명령어를 통해 언제든지 node_modules 디렉토리를 생성할 수 있으니 삭제할 때 걱정하지 않아도 됩니다.

원격저장소에서만 필요없는 파일 제거하기

git rm --cached 파일명
git rm --cached -r 폴더명

옵션 설명

--cached: 원격저장소만 해당
-r: recursive(재귀적으로), 디렉토리와 하위 내용 삭제

예시

원격저장소의 node_modules 삭제하기

git rm --cached -r node_modules

[배포] Docker Compose

성장하는 코린이 — Thu, 24 Nov 2022 08:58:40 +0900

Docker Compose

여러 개의 컨테이너가 하나의 Application으로 동작할 때,

이를 테스트하려면 각 컨테이너를 하나씩 생성해야 합니다.

여러 개의 컨테이너로 구성된 Application을 구축하기 위해서 run 명령어를 여러 번 사용할 수 있지만,

테스트 단계에서는 매번 run 명령어에 옵션을 설정해서 진행하기에 번거로움이 있습니다.

이를 위해 Docker Compose는 YAML파일을 통해 여러 개의 컨테이너의 실행을 한번에 관리하여,

하나의 프로젝트처럼 다룰 수 있는 환경을 제공합니다.

예시

웹 어플리케이션을 서비스 한다고 했을 때 서비스가 실행되기 위해서는 웹서버(Apache, Nginx)와

Database(Oracle,MariaDB,MySQL)컨테이너를 생성해야 합니다.

Docker로 해당 서비스를 수행한다고 하면 아래와 같이 매번 docker run 옵션을 설정해 CLI컨테이너를 생성해야 합니다.

Docker 를 통한 웹 서비스 컨테이너 생성 방법

# Mysql 컨테이너 생성
$ docker run --name mysql-container -e MYSQL_ROOT_PASSWORD=<password> -d -p 3306:3306 mysql:latest

#Apache 컨테이너 생성
$ docker run -d --name apache -p 8080:80 httpd

Docker Compse는 이런 번거로움을 해결하기 위해 여러 컨테이너를 하나의 서비스로 묶어 다룰 수 있는 작업환경을 제공합니다.

Docker-Compose(docker-compose.yml)를 이용한 웹 서비스 컨테이너 생성

위 그림 처럼 Docker Compose는 docker-compose.yml에 서비스할 컨테이너를 정의하고 묶음으로 관리할 수 있습니다.

docker-compose.yml
- version: YAML 파일 포맷 버전
- service: 생성될 컨테이너들의 묶음
- apache, mysql: 생성할 서비스 이름

version: "3.8"
services:
   apache:
    build: './apache/'
    depends_on:
      - mysql
    networks:
      - frontend
      - backend
    ports:
      - "8080:80"
    volumes:
      - ./public_html/:/var/www/html/
  mysql:
    image: mysql:5.6.40
    networks:
      - backend
    environment:
      - MYSQL_ROOT_PASSWORD=rootpassword
networks:
  frontend:
  backend:

[배포] Docker

성장하는 코린이 — Thu, 24 Nov 2022 08:57:35 +0900

Docker

Go 언어로 작성된 리눅스 컨테이너 기반 오픈소스 가상화 플랫폼입니다.
이걸 왜 쓰는지, 어떤 식으로 쓰는지 알아보도록 하겠습니다.

가상화를 사용하는 이유

서버 관리자 입장에서 CPU 사용률이 현저히 낮은 서버들을 그대로 두면 리소스 낭비, 돈 낭비입니다.

그렇다고 모든 서비스들을 한 서버안에 올리면 안정성이 바닥을 칠 것입니다.

여기에 안정성을 높이며 리소스도 최대한 활용할 수 있는, 혜성처럼 등장한 것이 서버 가상화입니다.
대표적인 가상화 플랫폼으로는 VM(Virtual Machine)이 있습니다.

컨테이너란?

현실 세계에서 컨테이너는 물자를 운송할 때 쓰는 물건입니다.

컨테이너 내용물의 소유자는 컨테이너가 배송되는 방법에 신경 쓸 필요가 없습니다.

또한 배송사는 내용물을 알거나 관리할 필요 없이 컨테이너를 목적지까지 운송합니다.

컨테이너는 가상화 기술 중 하나로,

기존 OS를 가상화시키던 것과 달리 OS 레벨의 가상화로 프로세스를 격리시켜 동작하는 방식이라고 합니다.

VM 가상화 vs 컨테이너 가상화

기존의 가상화나 클라우드 컴퓨팅을 설명할 때는 VMware나 VirtualBox와 같은 VM이 언급되어졌습니다.

이러한 VM은 호스트 OS위에 게스트 OS 전체를 가상화하여 사용하던 방식입니다.

이 방식은 거의 완벽하에 게스트와 호스트가 분리된다는 장점이 있지만, 아무래도 OS 여러개를 돌려서 상대적으로 무겁고 느립니다.

컨테이너는 이러한 VM의 성능적 단점을 보다 개선한 시스템입니다.

컨테이너 기반 가상화는 Docker엔진 위에 OS가 아닌 Application 실행에 필요한 바이너리만 올립니다.

또한 컨테이너 기반 가상화는 Host의 커널을 공유하기 때문에 성능의 효율을 더 높일 수 있습니다.

컨테이너를 사용하는 것은 가상 머신을 생성하는 것과는 다른 개념입니다.

호스트 OS가 사용하는 자원을 분리하여 여러 운영 환경을 만들 수 있도록 하는 것입니다.

딱 봐도 구조가 훨씬 간단하고, 이렇게 구조 레이어가 간단한 컨테이너가 VM보다 성능을 높이기 쉽습니다.

Docker

컨테이너를 사용할 때 Docker를 사용하면 간단한 명령으로 컨테이너 이미지를 만들고 저장할 수 있습니다.

또한 도커를 설치한 호스트에 컨테이너 이미지를 다운로드해서 컨테이너를 실행할 수 있습니다.

여기서 컨테이너 이미지란?

컨테이너를 실행하기 위한 모든 것을 가지고 있는 것입니다.

(immutable) 이미지는 상태값을 가지지 않고 변하지 않습니다.

예를 들어 ubuntu 이미지는 ubuntu를 실행하기 위한 모든 파일을 가지고 있으며,

MySQL 이미지는 MySQL을 실행하는 데 필요한 파일과 실행 명령어, 포트 등을 가지고 있습니다.

이제 새로운 서버가 추가된다면, 미리 만들어놓은 이미지를 다운받고 컨테이너를 생성하기만 하면 됩니다.

한 서버에 여러 컨테이너를 실행할 수 있습니다.

초간단 Docker 사용법

도커에서는 도커 이미지를 이용하여 컨테이너를 생성할 수 있다.
도커 이미지를 사용해 이미지에 설정해둔 대로 컨테이너의 구성 환경을 적용할 수 있다.

이미지 목록 보기

$ sudo docker images

이미지 검색

$ sudo docker search [이미지 이름]

이미지 받기

$ sudo docker pull [이미지 이름]:[버전]

이미지 삭제

$ sudo docker rmi [이미지 id]

컨테이너 목록 보기

$ sudo docker ps

컨테이너 실행

$ sudo docker run [options] image[:TAG|@DIGEST] [COMMAND] [ARG...]

컨테이너 시작/재시작

$ sudo docker start [컨테이너 id 또는 name]
$ sudo docker restart [컨테이너 id 또는 name]

컨테이너 접속

$ sudo docker attach [컨테이너 id 또는 name]

컨테이너 정지

$ sudo docker stop [컨테이너 id 또는 name]

컨테이너 삭제

$ sudo docker rm [컨테이너 id 또는 name]

[Node.js] Babel을 통해 ES5 -> ES6 사용하기 with nodemon

성장하는 코린이 — Wed, 23 Nov 2022 15:50:52 +0900

babel은 ECMA script 2015+ 코드를

현재 및 이전 브라우저 또는 환경에서 호환 가능한 버전의 javascript 문법으로 바꿔주는 툴 체인입니다.

1. Babel 설치

$ npm i -D @babel/core @babel/node @babel/preset-env

프로젝트의 루트 디렉토리에서 위 명령으로 babel/core,babel/node,babel/preset-env를 설치해 줍니다.

babel/core는 babel을 사용하기 위한 필수 패키지
babel/node는 코드의 변환과 실행을 한번해 할 수 있게 하기 위해
babel/preset-env는 여러 플러그인이나 프리셋을 사용하기 위해 설치합니다.

2. .babelrc 생성하기

프로젝트 루트 디렉토리에 .babelrc 파일을 생성하고 아래와 같이 내용을 작성해 줍니다.

이 파일은 babel의 설정 정보를 담고 있습니다.

이 파일에 설정을 조금씩 추가해 주면서 지원하는 않는 구문, 문법, 객체등을 계속 추가하면서 사용할 수 있습니다.

{
  "presets":["@babel/preset-env"]
}

3. package.json 수정하기

프로젝트 루트 디렉토리 package.json 파일의 script/start 부분을 아래와 같이 수정했습니다.

"scripts": {
    "start": "nodemon index.js --exec babel-node"
}

기존 nodemon으로 실행하는 명령 뒤에 --exec babel-node를 붙여주면 됩니다.

[DB] MariaDB 설치, 세팅, 접속 (Mac)

성장하는 코린이 — Wed, 23 Nov 2022 09:55:53 +0900

1. MariaDB 설치 (Mac)

brew install mariadb

mariadb 실행 및 중지

실행 : brew services start mariadb
중지 : brew services stop mariadb

mariadb를 동작하는지 확인

brew services list

2. MariaDB root 계정 생성

Mysql과 마찬가지로 MariaDB도 설치하였다면 관리자 계정인 root 계정을 설정해야합니다.

sudo mariadb-secure-installation

1. 자신의 Mac Password를 입력하면 됩니다.

2. MariaDB 세팅

중간에 패스워드는 입력안하면 다시 sudo mariadb-secure-installation 해야합니다.

저같은 경우엔 처음에 n 눌러서 세팅하고나니 접속이 안되더라고요.

(OK, successfully used password, moving on...

Setting the root password or using the unix_socket ensures that nobody
can log into the MariaDB root user without the proper authorisation.

You already have your root account protected, so you can safely answer 'n'.

Switch to unix_socket authentication [Y/n] n
... skipping.

You already have your root account protected, so you can safely answer 'n'.

Change the root password? [Y/n] y
New password:
Re-enter new password:
Password updated successfully!
Reloading privilege tables..
... Success!

By default, a MariaDB installation has an anonymous user, allowing anyone
to log into MariaDB without having to have a user account created for
them. This is intended only for testing, and to make the installation
go a bit smoother. You should remove them before moving into a
production environment.

Remove anonymous users? [Y/n] y
... Success!

Normally, root should only be allowed to connect from 'localhost'. This
ensures that someone cannot guess at the root password from the network.

Disallow root login remotely? [Y/n] n
... skipping.

By default, MariaDB comes with a database named 'test' that anyone can
access. This is also intended only for testing, and should be removed
before moving into a production environment.

Remove test database and access to it? [Y/n] y

Dropping test database...
... Success!
Removing privileges on test database...
... Success!

Reloading the privilege tables will ensure that all changes made so far
will take effect immediately.

Reload privilege tables now? [Y/n] y
... Success!

Cleaning up...

All done! If you've completed all of the above steps, your MariaDB
installation should now be secure.

Thanks for using MariaDB!

3. MariaDB root 계정에 접속

// mariadb는 mysql이랑 자매 데이터베이스라 이렇게 들어가면됩니다.
mysql -u root -p

입력 하셨으면, 2번에서 입력하셨던 password 입력해주시면 됩니다.

password입력 안하셨으면 접속 안되니 다시 2번 따라해주세요.

[Node.js] 프로젝트 시작 기본 세팅

성장하는 코린이 — Wed, 23 Nov 2022 09:47:58 +0900

1. node 설치 확인

node -v

2. npm init

package.json 추가됨

npm init

3. express 설치

node_modules 폴더와 package-lock.json 파일 추가됨

npm install --save express

4. 초기 파일 생성

index.js

const express = require('express');
const app = express();

const port = 5000;

app.get('/', function(req, res){
    res.send('프로젝트 이름');
})

app.listen(port, () => console.log(`listening to ${port}`));

5. nodemon 설치 및 적용

"scripts": {
    "start": "nodemon --inspect index.js"
 }

6. .gitignore 생성

node_modules
dist/*
*.log
.DS_Store
.env

MariaDB 세팅 한다면 아래 제 블로그 링크 클릭

[DB] MariaDB 설치, 세팅, 접속 (Mac)

1. MariaDB 설치 (Mac) brew install mariadb mariadb 실행 및 중지 실행 : brew services start mariadb 중지 : brew services stop mariadb mariadb를 동작하는지 확인 brew services list 2. MariaDB root 계정 생성 Mysql과 마찬가지로 Mari

mhp4718.tistory.com

[배포] 에러핸들링 - pm2 프로세스 무한증식

성장하는 코린이 — Tue, 22 Nov 2022 19:40:38 +0900

문제의 코드

"start": "pm2 start --restart-delay 1000 npm -name 'Dev' -- start --watch"

사실 이 코드는 아무 문제가 없습니다.

근데 문제는 이걸 package.json 안의 scripts에 넣으면 아주 큰 문제가 될 수 있습니다.

package.json안 script에 pm2 start를 넣게되면, 아래의 이미지 처럼 프로세스가 무한으로 실행되게 됩니다.

제가 문제를 일으킨건 아니지만, 충분히 그랬을 수도 있기에 많이 놀랐고 당황했습니다 ..

이런 상황이 왔을 때 pm2 stop을 해 pm2를 멈추고,

부팅해야 하는 서비스를 빨리 실행시킨다음,

ps -ef | grep "프로세스이름" | awk '{print $2}' | xargs kill -16

특정 프로세스 이름을 가진 모든 프로세스를 끄는 명령어로 꺼주면 됩니다.

[배포] 에러핸들링 pm2 startup을 수행하였으나 Ubuntu reboot후 서비스들이 정상적으로 시작되지 않을 때

성장하는 코린이 — Tue, 22 Nov 2022 19:21:54 +0900

pm2 startup을 수행하였으나 Ubuntu reboot후 서비스들이 정상적으로 시작되지 않을 때,

/etc/systemd/system 디렉터리에

pm2-*와 같이 pm2 관련 파일을 찾아서 vi 편집기로 열어서 사용자 부분을

User=root로 수정하고 reboot하면 서비스들이 정상적으로 올라옵니다.