IT Talks 93

git subtree - repository 내에 다른 repository link 하기

Github 등에서 git 을 통해 코드를 관리하다 보면 여러 repo 에 중복되는 코드가 발생할 수 있다. 이런 repo 간 코드 중복을 피하기 위해 특정 repo 안에 다른 repo 를 연결해서 사용하면 중복을 피할 수 있는데, git subtree 를 활용하면 가능하다. (리눅스에서의 symbloic link 와 비슷하다고 해야할까?) - 메인 repo : mysite - 서브 repo : utils (연결할 repo) 메인 repo 의 최상위 폴더에서 아래 명령을 순서대로 실행 1. remote 에 연결할 repo 등록 $ git remote add [remote 이름] [연결할 repo 주소] $ git remote add utils https://github.com/okojj/utils.git..

IT Talks 2023.03.22

Pandas Data Frame vs Spark DataFrame

DataFrame 은 행과 열이 있는 데이터 테이블을 나타내며, DataFrame 개념은 어떤 프로그래밍 언어에서도 변하지 않지만 Spark 와 Pandas 의 DataFrame 은 상당히 다르다. 이 글에서는 Spark DataFrame과 Pandas DataFra,e의 차이점을 알아보려고 합니다. Pandas DataFrame Panda는 NumPy 라이브러리를 기반으로 하는 오픈 소스 Python 라이브러리입니다. 다양한 데이터 구조와 연산을 사용하여 수치 데이터와 시계열을 조작할 수 있는 Python 패키지입니다. 주로 데이터 가져오기 및 분석을 상당히 쉽게 하기 위해 사용됩니다. Panda DataFrame은 레이블이 지정된 축(행 및 열)을 가진 잠재적으로 이질적인 2차원 크기 가변 표 형식 ..

IT Talks/BigData 2023.03.16

서버의 공인 IP 확인하기

일반적인 리눅스 서버는 랜포트별로 IP를 할당하여 ifconfig 명령어로 할당된 IP 를 확인할 수 있으나 AWS (Amazon Web Service)등의 클라우드 장비에서는 Private IP 만 확인이 가능하고 Public IP 는 Amazon Console 등을 통해서 확인이 가능하다. 또는 NAT 아래에 위치한 서버들의 경우도 실제 할당된 IP는 사설 IP만 표시되고, 외부 접속시 외부 서버에서 인식하는 IP 는 NAT 의 IP 가 된다. 이런 경우 서버에서 간단하게 외부로 접속하는 본인 IP를 확인하는 방법은 아래와 같다. $ curl ip.ojj.kr Your IP is 175.123.191.3 $ curl ip.ojj.kr/?q=1.1.1.1 * Query : 1.1.1.1 * Result..

IT Talks/Linux 2023.02.22

비밀번호 입력 없이 MySQL 접속하기

MySQL 버전이 점점 올라가면서 언제부터인가 mysql 명령어로 접속시 비밀번호를 같이 입력하면 아래와 같이 안전하지 않다는 경고가 나온다. $ mysql -hlocalhost -udb_user -pdb_password mysql: [Warning] Using a password on the command line interface can be insecure. 쉘 스크립트로 DB 접속하는 작업을 하는 경우 위와 같이 명령어에 비밀번호까지 같이 입력하는 경우가 많은데 실행은 되지만 경고가 나오는게 매우 거슬린다. 이런 경우는 아래 2가지 방법으로 해결이 가능하다. 방법1) 계정 home path (리눅스 기준 /home/userid 등) 에 .my.cnf 파일을 생성하고 아래와 같이 내용을 입력한다. ..

IT Talks 2023.02.09

Data Scientist vs Engineer vs Analyst

예전에 인터넷에서 봤던 이미지 인데, 데이터 관련 직무에 대해 정리가 잘 안되는 경우가 많아서 참고하면 좋을 것 같다. (현실은 그렇지 않지만) Data Scientist 통계나 머신 러닝을 이용해 주요 비즈니스 질문에 대한 예측과 답변을 만듬. Data Engineer 데이터 과학자와 분석가가 작업을 수행할 수 있는 시스템을 구축하고 최적화. Data Analyst 데이터를 활용하여 비즈니스 의사 결정에 도움이 되는 결과를 전달함으로써 가치를 제공.

IT Talks/BigData 2022.10.06

네이버 블로그 주소 변경 기능 출시

네이버 블로그는 서비스 출시때 부터 네이버ID를 그대로 사용해야 하는 방식이여서 스팸 메일이나 개인정보 노출 관련 이슈가 계속 있었다. 비슷한 이슈로, 네이버카페 회원 목록에서 네이버ID가 노출되어, 회원 목록을 수집할 수 있었으나 ID 부분을 암호화 하여 회피(?)하는 방식을 적용했었는데, 오늘 네이버 블로그 공지 메일을 보니 블로그에서 주소로 사용되는 네이버ID 부분을 변경하는 기능이 출시된다는 내용이었다. 10월12일부터 변경 가능하다니 기존에 네이버ID가 블로그 주소에 그대로 노출되는걸 꺼리셨던 분들은 이번에 바꿔보시는것도 좋을 것 같다. 네이버를 사용하는 회원이 많다 보니 개인정보 관련 이슈도 많아서 이와 관련된 개선 작업을 계속 하는것 같긴 한데 좀 오래 걸리는것 같기도 ^^ 블로그에서 알려드..

IT Talks 2022.09.30
728x90