목록분류 전체보기 (592)
KorSA
1. Docker 컨테이너 자세히 뜯어보기 컨테이너 자세히 뜯어보기 Container 내부가 궁금해서 뜯어보았습니다. | 컨테이너의 시대 최근 쿠버네티스에 대한 관심이 높아지면서 컨테이너를 사용하는 기업들이 점차 늘어나고 있습니다. 컨테이너는 독립적인 공간을 brunch.co.kr Docker 관련 검색을 할 때 Docker가 Linux의 namespace, cgroup 기능을 이용하여 컨테이너를 관리한다는 글을 종종 보았었다. 하지만 Linux 내부 구조를 잘 아는 것도 아니고 Docker 입문자로서 기능 숙지에 중점을 두고 공부했었기에 namespace, cgroup을 어떻게 활용한다는 건지는 잘 몰랐었다. Docker 기본 기능에 대한 숙지가 끝난 지금, Docker의 내부 구조에 대해 좀 더 파보..
이 글은 PRINCIPAL COMPONENT ANALYSIS TUTORIAL을 읽고 정리한 글입니다. Principal Component Analysis Tutorial You are exploring the nutritional content of food. How can food items be differentiated? How might they be classified? PCA derives underlying variables that help you slice your data for these insig… algobeans.com PCA(Principal Component Analysis) 기법은 데이터 분석을 할 때 데이터들의 주성분(Principal Component)을 기준으로 데이터..
1. gRPC 배경부터 활용까지 gRPC 배경부터 활용까지 1. 등장 배경 1.1 Server-Client Model PC(Personal Computer)의 개념이 없던 시절, 프로그램은 하나의 메인 프레임에서 동작하는 Monolothic 구조로 설계되었다. 이때까지만 해도 모든 기능들이 한 공간에서 구.. incredible-larva.tistory.com 네트워크의 변천사를 쉽게 설명해주는 글
# 오류의 발견 2일 연차 사용으로 9일을 쉬었던 기적의 설 연휴가 지나고 월요일 출근을 맞이하였다. 회사에 적응하기 위해 잠시 멍을 때리고 있었는데 선임님이 나를 부르셨다. 요지는 지난 주 회사 전기가 나가는 상황이 발생하였고, 왜인지 모르겠지만 그 이후부터 인프라 담당 서버께서 무한 재부팅을 하고 계시니 이를 해결해보라는 퀘스트였다. 우리 팀은 새로운 프로젝트를 진행하기 위해 공용 인프라 서버를 가상으로 띄워둔 상태였다. 가상화 소프트웨어는 VMWare ESXi, OS는 Rocky OS 8.5를 사용하고 있고 이 위에 Docker로 MongoDB, MariaDB, Redis, RabbitMQ를 서비스 중이었다. putty 접속이 되지 않았기 때문에 VMWare의 터미널로 인프라 서버에 접속하니 아래와..
# 설계가 중요해? 프로그래밍에 있어 기능 하나를 위해 코드를 짜는 건 어느정도 문법만 뗀 사람이면 가능하다. 하지만 기능을 짤 수 있다는 사실 자체가 곧 좋은 소프트웨어를 만든다는 의미는 아니다. 소프트웨어는 수 많은 객체들이 살아가고 동적으로 상호작용하는 하나의 생태계이다. 이 생태계가 잘 유지되고 매일 매일을 살아가기 위해서는 이 공동체를 떠받들고 있는 근본 구조가 잘 지지해주어야 한다. 이를 프로그래밍의 세계에서는 ‘설계’라고 부른다. 기능을 잘 만드는 개발자라고 해서 반드시 설계를 잘한다고는 말할 수 없다. 애초에 요구하는 역량 자체가 다르고 소프트웨어 개발에 있어 소속되어 있는 범주도 다르기 때문이다. # 소프트웨어 설계의 관점 3가지 객체지향 설계에는 크게 개념 관점(Conceptual Pe..
1. 쏘카 딥러닝 모델 Serving 간단 구축기 딥러닝 모델 Serving 간단 구축기 쏘카에서 개발한 딥러닝 기반 차량 파손 탐지 모델을 시스템에 반영하는 과정에 대해 작성한 글입니다. 딥러닝 기반 차량 파손 탐지 모델에 대한 내용이 궁금하시면 Semantic Segmentation을 활용한 tech.socarcorp.kr 쏘카에서는 차량 이미지를 이용하여 차량의 손상 여부를 판별하는 과정을 기존 수작업에서 자동화된 작업으로 파이프라인을 구축하였다. AWS 저장 서비스인 S3에서 차량 이미지 저장과 모델의 weight값을 저장을 담당하고 쏘카 사내 시스템과 모델간의 인터페이스는 AWS Queue 서비스인 SQS를 사용한다. 모델 Serving은 EKS cluster에서 Agent 형태로 진행하고 파이..
1. 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 안녕하세요. 데이터 엔지니어링 팀에서 이제 막 신입 1년차를 마친 하디입니다. 요즘 취업 준비하시는 분들에게 ‘데이터 엔지니어가 되려면 어떤 걸 준비해야 하나요?’라는 질문을 종종 받습 tech.socarcorp.kr 쏘카의 데이터 엔지니어링 팀은 전사 통합적인 데이터 저장소를 마련하고 여기에 쌓인 데이터를 지표, 시각화, 보고서의 형태로 타 부서에 제공한다. 이외에도 쌓인 데이터를 기반으로 백엔드 서비스 및 운영을 담당하고 GCP(Google Cloud Service)나 CI/CD 파이프라인 등 데이터를 유용하게 사용하기 위한 인프라 관리도 맡고 있다. 2. 브런치 작가 '마르코'님의 실리콘..
※ 이 글은 Narrative Failure in Data Analysis 를 읽고 번역 및 요약한 글입니다. (데이터 초보입니다. 더 자세하고 정확한 글을 읽고자 하시는 분은 링크로 들어가주세요!) 데이터 분석을 할 땐 내가 혹시 "Narrative Failure"를 경험하고 있진 않은지 점검해보자. "Narrative Failure" 란 데이터 분석 결과가 들려주는 이야기가 청중들에게 의문감과 혼란을 불러일으키는 상황을 말한다. 코미디 은행 강도 영화를 보고 있다고 가정해보자. 강도는 늦은 밤 시간 어두운 은행 안으로 잠입에 성공하였다. 하지만 너무 어두운 탓인지, 강도는 이리 치이고 저리 치이면서 관객들에게 웃음을 선사한다. 관객 중 하나가 문득 "미리 손전등을 가져갔으면 되는거 아냐?" 라고 말하..
전념(Dedicated), 나는 개인적으로 이 책이 삶이 공허한 사람들에게 큰 울림을 주는 책이라고 생각한다. 지금껏 우리가 중요하다고 여겨왔던 생각의 큰 틀을 바꿔주는 동시에,열심히 살고 바쁘게 살아가느라 하늘 한 번 쳐다보지 못하는 현대인들을 구원해줄 책이기 때문이다. # 액체 근대 폴란드 철학자 지그문트 바우만은 근대 사회를 “액체 근대” 라고 불렀다. 바우만은 현대인들이 어느 한 가지 정체성, 장소, 공동체에 스스로 묶어두기를 원치 않으며, 그래서 마치 액체처럼 어떠한 형태의 미래에도 맞춰서 적응할 수 있는 유동적 상태에 머무른다고 말한다. 사람들이 어느 하나의 직업이나 역할, 생각이나 신념, 집단이나 기관에 매달려서 오랫동안 같은 형태로 머무르지 못하는 것처럼, 사회도 우리를 진득하게 품어주지..
데이터과학자가 전세계 사람들과 소통하고자 한다면 "I trained a model. What is next?" 이 블로그를 읽어보자. 데이터로 트레이닝한 모델을 만들고 나서 어떤 작업을 해야하는지에 대한 좋은 지침글이다. 저자는 단지 모델을 만들고 "어떤 결과를 도출해 놓았다" 에서 끝나는 것이 아니라, 이 모델을 다른 사람들이 사용하기 편하게 만들고 어떤 문제를 어떤 방식으로 풀었는지를 타인과 공유하는 게 중요하다고 말한다. 간단한 목차는 아래와 같다. 1) GitHub public 계정에 업로드 2) 가독성 개선 3) 도움되는 README 작성 4) weights를 GitHub으로 공개하기 (2GB까진 무료) 5) Library화 하기 6) Google Colab Notebook을 제공하여 손쉬운 모..