Data Analysis/Data (14) 썸네일형 리스트형 ANN(Artifical Neural Networks) 요약 이 글은 Artificial Neural Networks (ANN) Introduction 을 읽고 요약한 글입니다. 개발자이지만 AI와는 거리가 먼 업무를 하면서도 CNN(Convolutional Neural Networks), DNN(Deep Neural Networks) 같은 단어는 들어봤었다. 하지만 ANN이라는 단어는 처음 들어봤는데 얘네들의 할아버지? 같은 느낌이었다. 현재는ANN의 단점을 보완한 CNN 혹은 DNN 등을 더 많이 사용되는 듯 하다. 그렇다면 ANN이란 무엇일까? ANN은 AI를 구현하고자 할 때 인간 뇌의 신경망을 본 따 만든 모델이다. 이 글에서는 손으로 쓰여진 숫자를 인식하는 예제를 들고 있다. 모델의 INPUT으로 손글씨 이미지가 들어가고, 모델의 OUTPUT으로 해당 .. 데이터 분석의 고전 - PCA (Principal Component Analysis) 이 글은 PRINCIPAL COMPONENT ANALYSIS TUTORIAL을 읽고 정리한 글입니다. Principal Component Analysis Tutorial You are exploring the nutritional content of food. How can food items be differentiated? How might they be classified? PCA derives underlying variables that help you slice your data for these insig… algobeans.com PCA(Principal Component Analysis) 기법은 데이터 분석을 할 때 데이터들의 주성분(Principal Component)을 기준으로 데이터.. 전세계 회사의 딥러닝 모델은 어떻게 운용(Serving)되고 있을까? 1. 쏘카 딥러닝 모델 Serving 간단 구축기 딥러닝 모델 Serving 간단 구축기 쏘카에서 개발한 딥러닝 기반 차량 파손 탐지 모델을 시스템에 반영하는 과정에 대해 작성한 글입니다. 딥러닝 기반 차량 파손 탐지 모델에 대한 내용이 궁금하시면 Semantic Segmentation을 활용한 tech.socarcorp.kr 쏘카에서는 차량 이미지를 이용하여 차량의 손상 여부를 판별하는 과정을 기존 수작업에서 자동화된 작업으로 파이프라인을 구축하였다. AWS 저장 서비스인 S3에서 차량 이미지 저장과 모델의 weight값을 저장을 담당하고 쏘카 사내 시스템과 모델간의 인터페이스는 AWS Queue 서비스인 SQS를 사용한다. 모델 Serving은 EKS cluster에서 Agent 형태로 진행하고 파이.. 전세계 회사의 데이터 엔지니어는 무슨 일을 할까? 1. 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일 안녕하세요. 데이터 엔지니어링 팀에서 이제 막 신입 1년차를 마친 하디입니다. 요즘 취업 준비하시는 분들에게 ‘데이터 엔지니어가 되려면 어떤 걸 준비해야 하나요?’라는 질문을 종종 받습 tech.socarcorp.kr 쏘카의 데이터 엔지니어링 팀은 전사 통합적인 데이터 저장소를 마련하고 여기에 쌓인 데이터를 지표, 시각화, 보고서의 형태로 타 부서에 제공한다. 이외에도 쌓인 데이터를 기반으로 백엔드 서비스 및 운영을 담당하고 GCP(Google Cloud Service)나 CI/CD 파이프라인 등 데이터를 유용하게 사용하기 위한 인프라 관리도 맡고 있다. 2. 브런치 작가 '마르코'님의 실리콘.. 데이터 분석에서의 Narrative Failure ※ 이 글은 Narrative Failure in Data Analysis 를 읽고 번역 및 요약한 글입니다. (데이터 초보입니다. 더 자세하고 정확한 글을 읽고자 하시는 분은 링크로 들어가주세요!) 데이터 분석을 할 땐 내가 혹시 "Narrative Failure"를 경험하고 있진 않은지 점검해보자. "Narrative Failure" 란 데이터 분석 결과가 들려주는 이야기가 청중들에게 의문감과 혼란을 불러일으키는 상황을 말한다. 코미디 은행 강도 영화를 보고 있다고 가정해보자. 강도는 늦은 밤 시간 어두운 은행 안으로 잠입에 성공하였다. 하지만 너무 어두운 탓인지, 강도는 이리 치이고 저리 치이면서 관객들에게 웃음을 선사한다. 관객 중 하나가 문득 "미리 손전등을 가져갔으면 되는거 아냐?" 라고 말하.. 데이터과학자가 전세계 사람들과 소통하고자 한다면.. 데이터과학자가 전세계 사람들과 소통하고자 한다면 "I trained a model. What is next?" 이 블로그를 읽어보자. 데이터로 트레이닝한 모델을 만들고 나서 어떤 작업을 해야하는지에 대한 좋은 지침글이다. 저자는 단지 모델을 만들고 "어떤 결과를 도출해 놓았다" 에서 끝나는 것이 아니라, 이 모델을 다른 사람들이 사용하기 편하게 만들고 어떤 문제를 어떤 방식으로 풀었는지를 타인과 공유하는 게 중요하다고 말한다. 간단한 목차는 아래와 같다. 1) GitHub public 계정에 업로드 2) 가독성 개선 3) 도움되는 README 작성 4) weights를 GitHub으로 공개하기 (2GB까진 무료) 5) Library화 하기 6) Google Colab Notebook을 제공하여 손쉬운 모.. 이전 1 2 다음
