WE STUDY LOG

[Nutanix] CVM 시간 동기화

이만석 — Fri, 11 Jun 2021 15:50:22 +0900

- 알람 내용

CVM 시간동기화 알람

AHV 시간 동기화 알람

- 해결 방법

1. NTP 설정 확인

우측 상단 기어아이콘 > NTP Servers 설정 확인

NTP 서버 설정 확인

2. 설정 사항 반영 확인

아무 CVM으로 접속하여 NTP 설정 확인

CVM # ncli cluster get-ntp-servers

CVM 시간 동기화 확인

CVM # allssh ntpq -pn

"allssh + 명령어"는 모든 CVM에 명령어를 수행후 각 CVM의 출력값을 한꺼번에 출력해준다.

AHV 시간 동기화 확인

CVM # hostssh ntpq -pn

"hostssh + 명령어"는 모든 AHV에 명령어를 수행후 각 AHV의 출력값을 한꺼번에 출력해준다.

3. 정상이 아닐경우

3-1. NTP 서버 통신 확인

CVM # ntpdate -q [NTP_SERVER]

실패 시 구성도상 차단 내역 존재하는지 확인 (FW/VPN 등등)

3-2 시간 오차가 있을 경우

timedrift를 통해 서서히 시간 동기화 수행

모든 CVM의 crontab에 아래 문구 추가 (5분에 1초씩 시간 감소)

*/5 * * * * bash -lc /home/nutanix/serviceability/bin/fix_time_drift

정상 동작하는지 확인

# grep NTP data/logs/genesis.out

시간이 동기화 되면 crontab에서 해당 구문 삭제

CVM # allssh "(/usr/bin/crontab -l | sed '/fix_time_drift/d' | /usr/bin/crontab -)"

[Nutanix issue] DIMM 메모리 CECC error

이만석 — Wed, 9 Jun 2021 15:05:32 +0900

- DIMM CECC error

메모리 교체가 필요해 보입니다.

교체 하기 앞서 필요한 정보를 확인합니다.

- 장애 알람 확인

서버 정보를 마스킹을 해놨지만 알람을 확인해보면 어떤 노드의 어느위치의 메모리 슬롯이 장애인지 확인 가능

P2-DIMMA2 확인

- 메모리 벤더 확인

교체를 위해서는 사용하던 벤더와 같은 벤더로 변경하셔야합니다.

한 노드에 여러 벤더의 메모리를 섞어 사용하면 장애가 발생 할 수 있습니다.

CVM # ncc hardware_info show_hardware_info

쭉쭉 내리다 보면 Memory 부분에 장애가 발생한 P2-DIMMA2 메모리 확인(교체 메모리는 삼성의 32G로 준비)

- 리소스 확인

메모리를 교체하기 위해서는 해당 노드를 종료해야합니다.

따라서 해당 노드에 있는 VM들이 다른 노드로 이동하게 되며, 이때 리소스가 충분하지 않으면

이동이 실패하여 VM이 shutdown 될 수 있습니다.

1. 메모리 여유 확인

2. 스토리지 여유 확인

- CECC error , UECC error

메모리 CECC error(Correctable Error-Correcting)

말그대로 Correctable한 ECC error로 노드 재부팅시 Repair 가능(BIOS 42.300버전부터 기능 제공)
RAS 기능 – CECC 한정 메모리 장애로 인하여 노드가 재부팅되는 것을 막는 기능
재부팅시 repair 되지않았을 경우에는 바로 RMA 처리가 가능하여 메모리 교체 진행

메모리 UECC error(Uncorrectable Error-Correcting)

UECC는 발생하면 언제 노드가 재부팅될지 모르며, Uncoortable한 error이기 때문에 바로 RMA를 진행하고 교체하라고 합니다.

문제는 CECC발생시 방치해둘 경우 UECC로 바뀐다는 점인데

UECC로 바뀔 시 노드가 언제 재부팅될지 모르기 떄문에 위험하여 해당 알람이 발생되면 최대한 빨리 작업하는 것을 권장합니다.

[Nutanix Network] VLAN 추가 하는 방법

이만석 — Wed, 9 Jun 2021 14:35:25 +0900

- Network 설정확인

CVM에서 명령어로 Bridge 설정 확인

# manage_ovs show_uplinks

보통 br0 하나의 네트워크로 trunk 통신을 하지만

보안상 DMZ망과 LZ망을 분리해놨을 경우 VLAN 추가 방법이 달라진다.

DMZ, 내부망 같은 라인 사용

DMZ / 내부망 다른 network 사용

- br0 브릿지에 VLAN 추가하기

기어아이콘 > Network Configuration

+ Create Network 클릭하여 Name, VLAN ID 설정

- br1 브릿지에 VLAN 추가하기

WEB GUI에서 추가하는 VLAN은 모두 br0으로 설정되기 때문에

다른 브릿지로 VLAN을 추가하려면 명령어를 사용해야한다.

# acli net.create [NETWORK NAME] vswitch_name=br1 vlan=[VLAN NAME]

이후 Network Configuration 에서 확인 가능

FreeRadius OTP 인증 서버 만들기

이만석 — Thu, 21 Mar 2019 13:45:20 +0900

FreeRadius

1. 서비스 서버 접속 요청 ( ssh )

2. Radius 서버에 계정 인증 ( otp / AD )

3. 서비스 서버 접속

구성 정보

Name	OS	IP
Radius Server	CentOS 7.4	172.17.110.100
Client Server	CentOS 7.4	172.17.110.102
AD Server	Windows 2012 R2	172.17.110.101

Port 정보

출발지

도착지

포트

Client

Radius

1812/UDP

Radius

53/UDP

389/TCP

(AD 포트 추가 파악 필요)

필수사항

!!FreeRadius 취약점 발견!!

해결책 : 3.0.14 이상 버전 설치

참고자료)

http://blog.alyac.co.kr/1130

http://securityaffairs.co/wordpress/59553/hacking/freeradius-tls-resumption-authentication-bypass.html

http://seclists.org/oss-sec/2017/q2/342

본 매뉴얼은 3.0.17 버전으로 테스트 하였음.

CentOS Yum repository (가장 최신 버전 설치)

[networkradius]

name=NetworkRADIUS-$releasever

baseurl=http://packages.networkradius.com/centos/$releasever/repo/

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/packages.networkradius.com.gpg

>> 안되면 gpgkey 주석 후 gpgcheck=0으로 변경, 재 실행

참고

http://networkradius.com/freeradius-packages/index.html

firewalld 끄기 / selinux 끄기 or permissive

Radius Server

# yum install freeradius freeradius-utils

# vi /etc/raddb/radiusd.conf

#user = radiusd

#group = radiusd

user = root

group = root

>> root권한으로 실행

# vi /etc/raddb/sites-enabled/default

# Pluggable Authentication Modules.

pam

>> 인증 모듈 선택 pam

# ln -s /etc/raddb/mods-available/pam /etc/raddb/mods-enabled/pam

>> 링크

# vi /etc/raddb/clients.conf

client 172.17.110.100 {

ipaddr = 172.17.110.100

secret = secret123

require_message_authenticator = no

nas_type = other

}

client 172.17.110.0/24 {

secret = secret123

require_message_authenticator = no

nas_type = other

}

# vi /etc/raddb/users

DEFAULT Group == "disabled", Auth-Type := Reject

Reply-Message = "Your account has been disabled."

DEFAULT Auth-Type := PAM

>> 주석 해제 및 추가

# radiusd -X

>> 디버깅 모드 실행

# useradd raduser

# passwd raduser

>> 테스트 유저 생성

# radtest raduser test localhost 0 testing123

Received Access-Accept Id 194 from 127.0.0.1:1812 to 127.0.0.1:39289 length 20

>>Accept 확인 localhost는 testing123이 default secret키임

Client Server

download : https://freeradius.org/sub_projects/

pam_radius 설치

# tar xvzf pam_radius-x.x.x.tar.gz

# cd pam_radius-x.x.x

# ./configure

# make

>> make 에러 무시

cp pam_radius_auth.so /lib64/security/

# vi /etc/ssh/sshd_config

ChallengeResponseAuthentication yes

#ChallengeResponseAuthentication no

#UsePAM no

UsePAM yes

# mkdir -p /etc/raddb

# vi /etc/raddb/server

#Server Secret Timeout

172.17.110.100 secret123 60

# vi /etc/pam.d/sshd

#%PAM-1.0

auth sufficient pam_radius_auth.so

auth required pam_sepermit.so

auth substack password-auth

auth include postlogin

# Used with polkit to reauthorize users in remote sessions

-auth optional pam_reauthorize.so prepare

account required pam_nologin.so

account include password-auth

password include password-auth

# pam_selinux.so close should be the first session rule

session required pam_selinux.so close

session required pam_loginuid.so

# pam_selinux.so open should only be followed by sessions to be executed in the user context

session required pam_selinux.so open env_params

session required pam_namespace.so

session optional pam_keyinit.so force revoke

session include password-auth

session include postlogin

# Used with polkit to reauthorize users in remote sessions

-session optional pam_reauthorize.so prepare

>> 추가

# useradd raduser

>> 패스워드는 지정 해주지 않아도 됨 radius 서버에서 인증 받아 사용

# ssh raduser@localhost

>> 패스워드는 radius 서버에서 지정했던 패스워드 입력

로그인 성공

Google OTP

radius Server

download : https://github.com/google/google-authenticator-libpam

# mkdir down

# unzip google-authenticator-libpam-master.zip

# cd google-authenticator-libpam-master

# yum -y install epel-release

# yum -y install dh-autoreconf.noarch pam-devel

# ./bootstrap.sh

# ./configure

# vi Makefile

VERSION=1.x

LDFLAGS="-lpam" /*추가*/

# make

# make install

# cd ./.libs

# cp pam_google_authenticator.so /lib64/security/.

# cp /etc/pam.d/radiusd /etc/pam.d/radiusd.org

# vi /etc/pam.d/radiusd

#%PAM-1.0

auth required pam_google_authenticator.so forward_pass

account required pam_nologin.so

account include password-auth

session include password-auth

# useradd raduser1

# passwd raduser1

# su - raduser1

# google-authenticator

Do you want authentication tokens to be time-based (y/n) y

Enter code from app (-1 to skip): -1

Do you want me to update your "/home/raduser1/.google_authenticator" file? (y/n) y

Do you want to disallow multiple uses of the same authentication

token? This restricts you to one login about every 30s, but it increases

your chances to notice or even prevent man-in-the-middle attacks (y/n) y

By default, a new token is generated every 30 seconds by the mobile app.

In order to compensate for possible time-skew between the client and the server,

we allow an extra token before and after the current time. This allows for a

time skew of up to 30 seconds between authentication server and client. If you

experience problems with poor time synchronization, you can increase the window

from its default size of 3 permitted codes (one previous code, the current

code, the next code) to 17 permitted codes (the 8 previous codes, the current

code, and the 8 next codes). This will permit for a time skew of up to 4 minutes

between client and server.

Do you want to do so? (y/n) y

If the computer that you are logging into isn't hardened against brute-force

By default, this limits attackers to no more than 3 login attempts every 30s.

Do you want to enable rate-limiting? (y/n) y

# radiusd -X

# radtest raduser1 test644920 localhost 0 testing123

Received Access-Accept Id 188 from 127.0.0.1:1812 to 127.0.0.1:46369 length 20

>>radtest <ID> <OS P/W + OTP> localhost 0 testing123

Client Server

# useradd raduser1

# ssh raduser1@localhosts

>> radius 서버에서 설정한 < OS P/W + Google OTP >

Log

# vi /etc/raddb/sites-enabled/default

# If you want to have a log of authentication requests,

# un-comment the following line, and the 'detail auth_log'

# section, above.

auth_log

…..

# If you want to have a log of authentication replies,

# un-comment the following line, and the 'detail reply_log'

# section, above.

reply_log

…..

주석 해제

# cd /var/log/radius

drwx------. 4 radiusd radiusd 45 Dec 5 09:54 radacct

rw-r-----. 1 root root 3517 Dec 5 09:55 radius.log

radius.log - 서버 데몬에 대한 로그 / 로그인 실패 로그

radacct - 접속 한 사용자 및 시간 ( IP 별로 분류 되어 있음 )

Wed Dec 5 09:55:34 2018

Packet-Type = Access-Request

User-Name = "raduser1"

NAS-IP-Address = 172.17.110.100

NAS-Identifier = "sshd"

NAS-Port = 30351

NAS-Port-Type = Virtual

Service-Type = Authenticate-Only

Calling-Station-Id = "10.5.5.16"

Event-Timestamp = "Dec 5 2018 09:55:34 KST"

Timestamp = 1543971334

참고

radius repository

http://networkradius.com/freeradius-packages/

Server 설정

https://github.com/rharmonson/richtech/wiki/CentOS-7-Minimal-&-Two-factor-Authentication-using-FreeRADIUS-3,-SSSD-1.12,-&-Google-Authenticator

http://iprize.tistory.com/669

http://webs.co.kr/index.php?mid=linux_1&document_srl=19898&sort_index=readed_count&order_type=desc (Ubuntu)

Client 설정

https://docs.secureauth.com/display/82docs/PAM+RADIUS+Installation+and+Configuration+Guide

SSH-OTP

http://blog.seabow.pe.kr/?p=7056

Radius SSH PAM 설정

https://99linux.wordpress.com/2013/05/03/ssh-authentication-using-pam-and-radius-in-linux/

Google OTP module

https://github.com/google/google-authenticator-libpam/tree/master

Pam_radius 설치

https://freeradius.org/sub_projects/

SSSD / Realmd

https://outsideit.net/realmd-sssd-ad-authentication/

syslog 추가하기

http://www.npartnertech.com/download/tech/N-Partner_FreeRadius_audit_to_syslog-en.pdf

raw 디스크 부팅시 자동 연결

이만석 — Thu, 21 Mar 2019 13:34:40 +0900

- OS : CentOS7

- raw 디스크 추가

# raw /dev/raw/rawN /dev/vg/lv

- raw 디스크 해제

# raw /dev/raw/rawN 0 0

- 재부팅시 raw 디스크 세팅 유지

# vi /etc/udev/rules.d/60-raw.rules

# Enter raw device bindings here.

# An example would be:

# ACTION=="add", KERNEL=="sda", RUN+="/bin/raw /dev/raw/raw1 %N"

# to bind /dev/raw/raw1 to /dev/sda, or

# ACTION=="add", ENV{MAJOR}=="8", ENV{MINOR}=="1", RUN+="/bin/raw /dev/raw/raw2 %M %m"

# to bind /dev/raw/raw2 to the device with major 8, minor 1.

# raw 설정

ACTION=="add", KERNEL=="xvdc", RUN+="/bin/raw /dev/raw/raw1 %N"

# permission 설정

ACTION=="add", KERNEL=="raw1", OWNER=="oracle", GROUP=="oinstall", MODE=="0660"

# udevadm control --reload-rules && udevadm trigger

[참고]https://redkite777.tistory.com/entry/%EB%A6%AC%EB%88%85%EC%8A%A4RawDevice-%EC%84%A4%EC%A0%95

https://unix.stackexchange.com/questions/39370/how-to-reload-udev-rules-without-reboot

ZABBIX 설치하는 방법

이만석 — Tue, 12 Mar 2019 15:13:52 +0900

◆ [설치환경]

■ 릴리즈 설치 테스트 : 2017년 4월 07일

□ CentOS 7 64bit [ 제가 포스팅한 설치이후 환경에서 작업 ]

□ Kernel 4.10.X ↑ [ 해당서버는 최신 커널을 이용합니다. 기존커널에서 작업하셔도 됩니다. ]

□ 일부 설정이나 경로가 다를 수 있습니다. 실서버가 아닌 VMware 환경에서 작업이 이루어 집니다.

□ Zabbix 3.2.X ↑ YUM설치 버전입니다.

ZABBIX란?

간단하게 말하면 네트워크나 서버(가상)등을 포함한 서비스들을 감시하고 실시간으로 자원을 체크하여 관리자에게 신속히 알리기위한 네트워크 관리 솔루션 소프트웨어 입니다. zabbix 에이전트를 Unix, Linux, Windows 등의 OS에 설치하여 CPU,MEM,파일시스템(용량),특정 TCP 등을 포함한 많은 정보를 포함하여 감시를 할수 있으며 장애대비 모니터링으로써도 탁월합니다.

해외 소프트웨어이긴하지만 무료 모니터링 오픈소스이며 무료라고 해서 기능이 제한적이거나 하지 않습니다. 거의 우리나라 상용 모니터링 솔루션과 비교해도 될만큼 그 기능이 다양하며 접근성이 용이합니다. 필요하다면 솔루션업체에 상담 및 일정 비용을 지불하여 원격지원을 받을수도 있습니다. ~~(회화 가능시..)~~

■ Zabbix 3.2 설치

1. Yum 설치를 위해 EPEL 저장소 추가

BASH

[root@localhost ~]# yum install epel-release -y

Installed: epel-release.noarch 0:7-9 Complete!

[root@localhost ~]# rpm -ivh http://repo.zabbix.com/zabbix/3.2/rhel/7/x86_64/zabbix-release-3.2-1.el7.noarch.rpm

Updating / installing... 1:zabbix-release-3.2-1.el7 ################################# [100%]############### webtest11.com End #################

[참고]

■ URL : http://repo.zabbix.com/zabbix

접속을 하면 버전별로 파일이 업로드가 되어있습니다. 설치할려는 버전에 맞게 RPM 정보를 가져오면 됩니다.

2. [ Zabbix / DB(MariaDB) / WEB(Apache) / PHP ] YUM 으로 한번에 설치

BASH

[root@localhost ~]# yum -y install zabbix-server-mysql zabbix-web-mysql mysql mariadb-server httpd php

Installed: httpd.x86_64 0:2.4.6-45.el7.centos mariadb.x86_64 1:5.5.52-1.el7 mariadb-server.x86_64 1:5.5.52-1.el7 php.x86_64 0:5.4.16-42.el7 zabbix-server-mysql.x86_64 0:3.2.4-2.el7 zabbix-web-mysql.noarch 0:3.2.4-2.el7 ( 각 설치 버전 참고 )

Dependency Installed: OpenIPMI-libs.x86_64 0:2.0.19-15.el7 OpenIPMI-modalias.x86_64 0:2.0.19-15.el7 dejavu-fonts-common.noarch 0:2.33-6.el7 dejavu-sans-fonts.noarch 0:2.33-6.el7 fping.x86_64 0:3.10-4.el7 httpd-tools.x86_64 0:2.4.6-45.el7.centos iksemel.x86_64 0:1.4-6.el7 libXpm.x86_64 0:3.5.11-3.el7 libtool-ltdl.x86_64 0:2.4.2-21.el7_2 libxslt.x86_64 0:1.1.28-5.el7 libzip.x86_64 0:0.10.1-8.el7 mailcap.noarch 0:2.1.41-2.el7 net-snmp-libs.x86_64 1:5.7.2-24.el7_2.1 perl-Compress-Raw-Bzip2.x86_64 0:2.061-3.el7 perl-Compress-Raw-Zlib.x86_64 1:2.061-4.el7 perl-DBD-MySQL.x86_64 0:4.023-5.el7 perl-DBI.x86_64 0:1.627-4.el7 perl-IO-Compress.noarch 0:2.061-2.el7 perl-Net-Daemon.noarch 0:0.48-5.el7 perl-PlRPC.noarch 0:0.2020-14.el7 php-bcmath.x86_64 0:5.4.16-42.el7 php-cli.x86_64 0:5.4.16-42.el7 php-common.x86_64 0:5.4.16-42.el7 php-gd.x86_64 0:5.4.16-42.el7 php-ldap.x86_64 0:5.4.16-42.el7 php-mbstring.x86_64 0:5.4.16-42.el7 php-mysql.x86_64 0:5.4.16-42.el7 php-pdo.x86_64 0:5.4.16-42.el7 php-xml.x86_64 0:5.4.16-42.el7 t1lib.x86_64 0:5.1.2-14.el7 unixODBC.x86_64 0:2.3.1-11.el7 zabbix-web.noarch 0:3.2.4-2.el7 Complete!

3. DB(MariaDB) 실행 및 설정

□ DB 실행 및 프로세스 확인

BASH

[root@localhost ~]# systemctl start mariadb
[root@localhost ~]# systemctl enable mariadb
Created symlink from /etc/systemd/system/multi-user.target.wants/mariadb.service to /usr/lib/systemd/system/mariadb.service.

[root@localhost ~]# ps -ef |grep mysql
mysql     12650      1  0 11:34 ?        00:00:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql     12809  12650  1 11:34 ?        00:00:00 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
root      12861  12260  0 11:34 pts/0    00:00:00 grep --color=auto mysql

□ 기본설정 (DB가 구동된 상태에서 진행가능)

BASH

[root@localhost ~]# mysql_secure_installation

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY! In order to log into MariaDB to secure it, we'll need the current password for the root user. If you've just installed MariaDB, and you haven't set the root password yet, the password will be blank, so you should just press enter here. Enter current password for root (enter for none): 패스워드가 없기때문에 엔터

OK, successfully used password, moving on... Setting the root password ensures that nobody can log into the MariaDB root user without the proper authorisation. Set root password? [Y/n] Y (DB ROOT 패스워드 설정) New password: 패스워드입력 Re-enter new password: 재확인 패스워드입력 Password updated successfully! Reloading privilege tables.. ... Success!

By default, a MariaDB installation has an anonymous user, allowing anyone to log into MariaDB without having to have a user account created for them. This is intended only for testing, and to make the installation go a bit smoother. You should remove them before moving into a production environment. Remove anonymous users? [Y/n] Y (익명의 접근을 막을것인지? 보안을 위해 Y 엔터) ... Success! Normally, root should only be allowed to connect from 'localhost'. This ensures that someone cannot guess at the root password from the network. Disallow root login remotely? [Y/n] Y (DB ROOT 원격을 막을것인지? 보안을 위해 Y 엔터)

... Success! By default, MariaDB comes with a database named 'test' that anyone can access. This is also intended only for testing, and should be removed before moving into a production environment. Remove test database and access to it? [Y/n] Y (Test 용으로 생성된 데이터베이스를 삭제할것인가? Y 엔터)

- Dropping test database... ... Success! - Removing privileges on test database... ... Success! Reloading the privilege tables will ensure that all changes made so far will take effect immediately.

Reload privilege tables now? [Y/n] Y (현재 설정한 값을 적용할것인지? 당연히 Y 엔터)

... Success! Cleaning up... All done! If you've completed all of the above steps, your MariaDB installation should now be secure. Thanks for using MariaDB! (끝)

□ DB접속 및 설정

BASH

[root@localhost ~]# mysql -u root -p
Enter password: 패스워드 입력  

Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 10
Server version: 5.5.52-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> create database ZABBIXDB; (데이터베이스 생성)
Query OK, 1 row affected (0.01 sec)

MariaDB [(none)]> grant all privileges on ZABBIXDB.* to zabbix@localhost identified by 'test123';
Query OK, 0 rows affected (0.00 sec)
( grant all privileges on (데이터베이스이름).* to (DB유저)@localhost identified by '(패스워드)'; )

MariaDB [(none)]> flush privileges; (적용)
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> exit
Bye

□ Zabbix 테이블값 정보 데이터베이스에 적용

BASH

[root@localhost ~]# cd /usr/share/doc/zabbix-server-mysql-3.2.4/ (경로이동)

[root@zabbix zabbix-server-mysql-3.2.4]# gunzip create.sql.gz (압축해제)

[root@zabbix zabbix-server-mysql-3.2.4]# ls
AUTHORS  COPYING  ChangeLog  NEWS  README  create.sql (해당파일)

[root@zabbix zabbix-server-mysql-3.2.4]# mysql -u root -p ZABBIXDB < create.sql (ZABBIXDB 데이터베이스에 복원)
Enter password: DB ROOT 패스워드 입력

4. Zabbix Config 설정

BASH

[root@localhost ~]# vi /etc/zabbix/zabbix_server.conf
.
.
# Mandatory: no
# Default:
# TLSKeyFile=
(맨 아래 라인에 추가)

DBHost=localhost
DBName=ZABBIXDB
DBUser=zabbix
DBPassword=test123

:wq (저장)

5. PHP Config 설정

BASH

[root@localhost ~]# vi /etc/php.ini
(라인위치는 다를수 있습니다.)

    384 max_execution_time = 600  (30 → 600)

    394 max_input_time = 600  (60 → 600)

    405 memory_limit = 256M  (128M → 256M)

    672 post_max_size = 32M  (8M → 32M)

    800 upload_max_filesize = 16M  (2M → 16M)

    878 date.timezone = Asia/Seoul  (앞에 ; 주석제거후 한국시간으로 설정)

:wq (저장)

6. iptables 방화벽 포트 허용 및 재시작

BASH

[root@localhost ~]# vi /etc/sysconfig/iptables

# sample configuration for iptables service # you can edit this manually or use system-config-firewall # please do not ask us to add additional ports/services to this default configuration *filter :INPUT ACCEPT [0:0] :FORWARD ACCEPT [0:0] :OUTPUT ACCEPT [0:0] -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT -A INPUT -p icmp -j ACCEPT -A INPUT -i lo -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 22 -j ACCEPT -A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT (web 포트) -A INPUT -p tcp -m state --state NEW -m tcp --dport 10050 -j ACCEPT (zabbix server 포트) -A INPUT -p tcp -m state --state NEW -m tcp --dport 10051 -j ACCEPT (zabbix agent 포트) -A INPUT -j REJECT --reject-with icmp-host-prohibited -A FORWARD -j REJECT --reject-with icmp-host-prohibited COMMIT

:wq (저장)

BASH

[root@localhost ~]# service iptables restart (재시작)

Redirecting to /bin/systemctl restart iptables.service

[root@localhost ~]# iptables -nL (아래와 같이 올라온다면 정상)

ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:80 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:10050 ACCEPT tcp -- 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:10051

7. Zabbix Server 및 HTTPD 서비스 시작

BASH

[root@localhost ~]# systemctl start zabbix-server

[root@localhost ~]# systemctl enable zabbix-server

Created symlink from /etc/systemd/system/multi-user.target.wants/zabbix-server.service to /usr/lib/systemd/system/zabbix-server.service.

[root@localhost ~]# systemctl start httpd

[root@localhost ~]# systemctl enable httpd

Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

[root@localhost ~]# ps -ef |grep zabbix (Zabbix 프로세스 확인) zabbix 13279 1 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server -c /etc/zabbix/zabbix_server.conf zabbix 13284 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: configuration syncer [synced configuration in 0.012066 sec, idle 60 sec] zabbix 13285 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: db watchdog [synced alerts config in 0.001636 sec, idle 60 sec] zabbix 13286 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: poller #1 [got 0 values in 0.000004 sec, idle 5 sec] zabbix 13287 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: poller #2 [got 0 values in 0.000005 sec, idle 5 sec] zabbix 13288 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: poller #3 [got 0 values in 0.000004 sec, idle 5 sec] zabbix 13289 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: poller #4 [got 0 values in 0.000005 sec, idle 5 sec] zabbix 13293 13279 0 14:13 ? 00:00:00 /usr/sbin/zabbix_server: poller #5 [got 0 values in 0.000004 sec, idle 5 sec]

[root@localhost ~]# ps -ef |grep httpd (WEB 프로세스 확인) root 13358 1 0 14:13 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND apache 13360 13358 0 14:14 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND apache 13361 13358 0 14:14 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND apache 13362 13358 0 14:14 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND apache 13363 13358 0 14:14 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND apache 13364 13358 0 14:14 ? 00:00:00 /usr/sbin/httpd -DFOREGROUND

[참고]

■ Zabbix (httpd.conf) 설정 파일은 해당 경로에 있습니다.

[root@localhost ~]# /etc/httpd/conf.d/zabbix.conf

■ 실제 데이터 경로

[root@localhost ~]# /usr/share/zabbix

8. Zabbix Web 설치 페이지 접속

□ 본인 PC에서 [ URL : http://192.168.223.131/zabbix ] 접속을 합니다.

□ 미리 셋팅을 다했기 때문에 바로 NEXT

□ DB 셋팅정보에 맞게 설정후 NEXT

□ 이름설정후 NEXT

□ 최종 확인후 NEXT

□ 설치완료

□ 설치후 처음 웹 관리자 로그인 페이지 접속정보는 [ ID : admin / Pass : zabbix ] 입니다.

□ 웹관리자 한글 언어 설정

□ 한글이 적용된 관리자페이지

YUM 설치로만 진행했기때문에 그대로 진행한다면 쉽게 모니터링 서버를 하나 뚝딱 만들수 있습니다.

에이전트까지 등록하는 방법은 시간나는대로 바로 업데이트 하겠습니다.

이후 여러가지 설정이나 감시설정을 하는 방법을 차례대로 포스팅하도록 하겠습니다.

지적 및 오타 정보공유 감사합니다.

Network Summary (네트워크 축약)

이만석 — Mon, 11 Jun 2018 14:18:11 +0900

Summary (네트워크 축약)

축약이란 분리된 네트워크를 하나의 네트워크로 합치는 것을 의미한다.

쉽게 말함녀 서브넷팅의 반대 개념인 것이다.

Auto Summary

Auto Summary는 Classful 방식의 라우팅 프로토콜에서 네트워크 정보가 광고되어지는 방식이다.

Classful 방식에는 Subnet-mask를 함께 보내지 않기 때문에 IP 주소의 네트워크 부분을 클래스로 구분할 수 밖에 없고,

서브넷팅한 네트워크들이 나누기 전의 주 네트워크의 모습으로 자동적으로 합쳐진다고 하여, 자동 축약이라 부른다.

protocol : RIPv1 RIPv2 IGRP EIGRP

Manual-Summary

Manual-Summary란, 관리자가 수동으로 필요한 만큼으로 분리된 네트워크를 다시 합치는 것을 의미한다. 자동축약을

무조건 네트워크들이 분리되기 전의 모습인 주 네트워크로 합쳐지는데 반해 수동 축약은 적절한 크기의 네트워크로 축약 할 수 있다.

protocol : RIPv2 EIGRP

[출처] http://bignet.tistory.com/32?category=543357

HAproxy & Keepalived

이만석 — Fri, 25 May 2018 16:13:32 +0900

HAproxy - 로드밸런싱

Keepalived - 이중화

예를 들어 Web Service를 한다고 할 때 보통 Web Server를 하나만 두는 경우는 거의 없습니다.

갑자기 오류가 생겨서 서비스를 할 수 없다고 할 때 방법이 없기 때문입니다. 여러 Web Server를 만들어두고 사용자들이 접속을 할때 적당히 분배를 해야하는데

이 기능을 물리적으로 스위치가 가능하지만 HAproxy 로도 가능합니다.

이중화를 하는 이유는 만약 HAproxy를 지원하는 서버가 다운 된다면 Web Server가 아무리 많아도 접근 할 수 없기 때문에

HAproxy를 지원하는 서버또한 하나를 더 두어 Active - Standby 상태로 둡니다. 하나가 다운 되면 Keepalived가 바로 다른 서버에서 서비스를 할 수 있게 만들어줍니다.

- 서버 구성

Linux - CentOS 7.3 ( HAproxy & Keepalived ) - MASTER : 172.17.212.12/24 BACKUP : 172.17.212.13/24

Linux - CentOS 7.3 ( Apache ) WEB 1 : 172.17.212.14/24 WEB 2 : 172.17.212.15/24

VLAN : 172.17.212.11 ( keepalived )

- 설정

초기 설정 ( MASTER / BACKUP )

# vi /etc/sysctl.conf

net.ipv4.ip_nonlocal_bind=1

net.ipv4.ip_forward=1

# sysctl -p

MASTER / BACKUP 동일하게 설정

# vi /etc/haproxy/haproxy.cfg // yum으로 설치 한 경우.

#---------------------------------------------------------------------

# Global settings

#---------------------------------------------------------------------

global

log 127.0.0.1 local2

chroot /var/lib/haproxy

pidfile /var/run/haproxy.pid

maxconn 4000

user haproxy

group haproxy

daemon

stats socket /var/lib/haproxy/stats // 소켓 생성

defaults

mode http

log global

option httplog // 클라이언트 IP,URL,상태코드,bytes등 웹로그까지 syslog로 보냄

option dontlognull

option http-server-close

option forwardfor except 127.0.0.0/8

option redispatch

retries 3

timeout http-request 10s

timeout queue 1m

timeout connect 10s

timeout client 1m

timeout server 1m

timeout http-keep-alive 10s

timeout check 10s

maxconn 3000

frontend http-in // frontend + 이름

bind 172.17.212.11:80 // 172.17.212.11의 80포트의 요청을 bind(연결)

default_backend app // default_backend는 app 이름을 가진 backend로 연결

mode http // mode는 http

backend app // backend + 이름

balance roundrobin //로드밸런싱 알고리즘

mode http // mode http

server web1 172.17.212.14:80 check // 웹 서버

server web2 172.17.212.15:80 check // check : 서버 상태 log 기록

MASTER

# vi /etc/keepalived/keepalived.conf // 역시 yum 설치

! Configuration File for keepalived

global_defs { // 기본 값

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state MASTER

interface eth0 // 사용할 인터페이스

virtual_route_id 51 // 연결된 keepalive끼리 숫자만 맞으면 아무 숫자나 가능(0-255)

priority 101 // MASTER가 BACKUP보다 높은 숫자여야 함

advert_int 1 //vrrp 패킷 송신 간격, 초단위로 지정

authentication {

auth_type PASS // 평문 인증 설정

auth_pass 1111 // MASTER와 BACKUP 같은 값

}

virtual_ipaddress {

172.17.212.11 // keeplive virtual ip

}

BACKUP

# vi /etc/keepalived/keepalived,conf

! Configuration File for keepalived

global_defs { // 기본 값

router_id LVS_DEVEL

}

vrrp_instance VI_1 {

state BACKUP

interface eth0 // 사용할 인터페이스

virtual_route_id 51 // 연결된 keepalive끼리 숫자만 맞으면 아무 숫자나 가능

priority 100 // MASTER가 BACKUP보다 높은 숫자여야 함

advert_int 1

authentication {

auth_type PASS // 평문 인증 설정

auth_pass 1111 // MASTER와 BACKUP 같은 값

}

virtual_ipaddress {

172.17.212.11 // keeplive virtual ip

}

- 결과

VLAN으로 접속하면 WEB 페이지가 보이고 새로고침을 몇번 누르면 WEB1과 WEB2가 바뀌는걸 확인 가능

MASTER 서버를 종료 시켜도 서비스가 된다.

RHCSA

이만석 — Tue, 27 Feb 2018 15:45:25 +0900

RHCSA 자격증을 취득했습니다.

기본 지식없이 혼자서 공부하시는 것은 어려울 것 같습니다. 저는 교육기관에서 주말에 교육을 받아서 시험을 치뤘습니다.

운 좋게 합격한거 같습니다.

갱신은 안하는걸로..

BitLocker 드라이브 암호화

이만석 — Wed, 10 Jan 2018 20:26:15 +0900

BitLocker는 하드디스크 자체를 암호화하기 위한 기술로서, 주 목적은 하드디스크를 통째로 도난 당해도 암호화 키가 없이는 읽지 못하게 하는 것이다.

BitLocker를 사용하기 위해서는 일반적으로 TPM(Trusted Platform Modules)이라고 부르는 마이크로칩이 메인보드에 내장되어 있어야 한다. 또한 BIOS에서 TPM 기능을 지원해줘야한다. 이런한 하드웨어적인 기능은 거의 조작이 불가능한 강력한 암호화를 제공해 준다.

BitLocker 기능은 Windows Vista, Windows 7, Windows 2008, windows 2008 R2 이상에서는 사용가능하며 TPM이 장착된 메인보드가 없다면 대신 USB 2.0용 플래시 메모리를 사용할 수도 있다.

실습에서는 USB를 사용하여 실습하였다.

(전제조건) windows 2008 서비스에서 BitLocker를 사용하기 위한 전제 조건

- TPM이 장착된 메인보드 또는 USB 2.0 슬롯

- 2개 이상의 하드디스크(운영체제 디스크 + BitLocker 암호용 1.5G 이상 디스크)

- windows 2008 신규 설치

- USB 2.0 플래쉬 메모리(TPM 없는 메인보드의 경우 사용)

- 실습

사용 시스템

Windows 2008

( 새로 받아서 사용할 것임. 40G )

( OS 디스크 전체를 암호화 하는 실습을 진행하기 때문에 사용하던 2008서버를 가지고 하면 암호화 과정이 오래 걸릴 수 있음)

설치

X:\Sources> diskpart

DISKPART> select disk 0 /* 0번째 하드 디스크 선택 */

DISKPART> clean /* 디스크 초기화 */

DISKPART> create partition primary size=2000

/* 앞부분의 2G 정도를 BitLocker용 파티션으로 설정(1.5G 이상이어야 한다.) */

DISKPART> assign letter=k

/* 드라이브 문자를 K로 할당, 나중에 바뀔수도 있음. */

DISKPART> active /* 활성화 */

DISKPART> format fs=NTFS label="BitLocker"

/* NTFS 파일시스템으로 만들고, 레이블 지정 */

100 퍼센트 완료

DISKPART> create partition primary

/* windows 2008 설치 용 파티션을 남은 공각으로 사용 */

DISKPART> assign letter=c /* 드라이브 문자를 C로 할당 */

DISKPART> format fs=NTFS label="Encrypted"

100 퍼센트 완료

DISKPART> exit

X:\Sources> exit

< Alt + F4 >

- 설치가 완료되면 vmware tools 를 설치합니다.

- BitLocker 설치

- TPM 대신 USB 사용 하도록 설정

컴퓨터 구성 > 관리 템플릿 > Windows 구성요소 > BitLocker 드라이브 암호화 > 운영체제 드라이브 > 시작 시 추가 인증 요구 - 사용 -

[참고] vmware 에서 USB 오류가 나서 플로피 디스크를 추가한 후 기본설정으로 포멧해서 USB를 대신 해 본다.

- 종료 후 플로피 디스크 추가 ( Create a blank floppy image / 이름 : bitlocker.flp)

C:\Users\Administrator>cd \Windows\system32

C:\Windows\System32>cscript manage-bde.wsf -on C: -rp -sk A:

입력

위의 키를 복사해 놓는다. ( 없어지면 안됨 )

- 재부팅 시켜준다. ( 이때 반드시 부팅 순서에서 디스크가 플로피 디스크보다 위에 있어야 한다. )

- 암호화가 다 되면 재부팅 해서 잘 되는 지 확인한다.

플로피 디스크를 장착하면 잘 부팅이 되지만 빼고 부팅하면 안된다.

플로피 디스크를 장착하고 ESC 를 눌러 다시 부팅하거나 Enter를 누르면 다음과 같은 화면이 뜬다.

위에서 복사 해놨던 키를 입력하면 정상적으로 부팅이 된다.

( 277508-100804-414920-336974-396308-195811-149138-148291 )

이러한 방법은 경찰이 컴퓨터를 가지고 가도 키가 없으면 속을 열어 볼 수가 없다. 키를 찾아내기가 굉장히 어렵고 오래 걸리기 때문이다.

노트북이나 외장하드에 잠금을 걸어두면 분실시에 데이터를 보호 할 수 있다.