Mithumbsup

DACON 신용카드 사기 거래 탐지(Fraud Detection System, FDS)를 참여하기로 하였다! 실시간으로 거래되어 쌓이는 비식별화된 스트리밍 데이터는 라벨이 되지 않기때문에 비지도학습을 이용한 실시간 이상탐지기법(Unsupervised Anomaly Detection) 솔루션에 대해 스터디하기 위한 좋은 경험이라 생각한다 0) 문제정의 솔루션 개발 필요성 - 사기성 신용카드 거래를 탐지하여 고객이 구매하지 않은 항목에 대해 요금을 청구하지 않는 것이 중요 - 데이터 구축에 필요한 시간, 비용의 문제 해결 - 방대한 정상 거래 데이터에서 극소수의 비정상데이터를 탐지를 진행하는 것은 어려움 비지도학습 관련 검색 키워드 용어 검색키워드 : anomaly detection , unsupervise..

이번에도 늘 그렇듯 부랴부랴 하루전에 4회차 시험을 준비했다..사람은 잘 안변해,, 빅분기 실기는 문제유형을 좋은 정보를 나눠주시는 친절한 분들이 많아서 시험때까지 얼마남지않은 초조한 시간에 정리해준 자료들을 보면서 도움을 많이 받았다 또 보게 될 수도 있으니까,,, 메모메모 실기도 사실상 암기와 비슷하다 전처리와 모델링 관련된 필수 라이브러리는 잘 정리해서 잘 외우는 게 중요하다 생각되었다 1. 통계 용어와 산술식에 대해서 문제에서 이해하고 적용해야 됨으로 한글용어랑 영어용어 구분없이 잘 정리해야한다. ex) 표준편차 -> std(), 분산 -> var(), 중앙값 -> median() , 평균 -> mean(), IQR -> quantial() 2. 작업형에서 사용될 핵심 패키지들과 몇가지 내부 라이..

데이터 분석 직군관련 면접 준비할 때 좋은 참고 사이트 https://zzsza.github.io/data/2018/02/17/datascience-interivew-questions/#contents

[한국데이터산업진흥원] 제 3회 실기 관련 사항 안내 게시글 한국데이터산업진흥원에서 제4회 빅데이터분석기사 실기 시험에서 활용했던 환경과 시험장에서 활용할 수 있는 패키지들을 확인할 수 있다 제4회 빅데이터분석기사 실기 시험 데이터자격시험 www.dataq.or.kr 실제 응시환경 빅데이터 분석기사 실기 응시환경은 구름사이트를 활용하여 진행한다!! 실기시험을 준비할때, 최종 답안 제출 가이드라인에 맞게 연습하는 것이 중요할 듯 하다!! o 답안제출 - 단답형 : 답안 작성 후 “제출” 버튼 클릭, 답안은 영문, 한글 모두 가능 - 작업형 제1유형 : 마지막 라인에 print(변수명) 명령어로 출력하는 코드를 제출 - 작업형 제2유형 : 수험번호.csv(003000000.csv) 파일을 생성하는 코드를 작..

[5과목] 01. 소프트웨어 개발방법론 활용 1. 소프트웨어 개발방법론 선정 (1) 소프트웨어 생명주기 모델 1. 소프트웨어 생명주기(SDLC; Software Development Life Cycle) 모델 개념 - 소프트웨어 생명주기는 시스템의 요구분석부터 유지보수까지 전 공정을 체계화한 절차이다. - 시스템이 개발될 때부터 운용과 유지보수를 거쳐 생애를 마칠 때까지 어떠한 순서를 밟는지에 대한 작업 프로세스를 모델화한 것이다. 2. 소프트웨어 생명주기 모델 프로세스 순서 프로세스 설명 활동 1 요구사항 분석 - 다양한 이해관계자의 상충할 수도 있는 요구사항을 고려하여 새로운 제품이나 변경된 제품에 부합하는 요구와 조건을 결정하는 단계 - 개발할 소프트웨어의 기능과 제약조건, 목표 등을 소프트웨어 사..

[4과목 학습목표] : 통계적 분석을 기반으로 하는 빅데이터 분석 모델과 데이터 마이닝을 기반으로 하는 빅데이터 분석 모델 설계 및 기법 적용 방법 이해 1. 분석 결과 해석 최종 선택한 분석 모형을 실제 업무에 적용하기 위해서 분석모형의 분석결과를 업무 담당자가 명료하게 이해해야함 분석결과가 비즈니스 업무에 어떤 인사이트와 이점을 줄 수 있는 지 파악하여 업무 담당자를 이해심켜야함 분석모형은 블랙박스 특성을 가지고 있어, 내부적으로 발생하는 다양한 단계와 로직으로 설명하기 어려움 설명력은 설명하기 쉬운 정도로, 설명력이 높은 분석은 업무담당자가 결과를 쉽게 이해할 수 있는 장점이 있음 설명력 높은 분석이라고 해서 정확도, 민감도 등의 성능 지표가 항상 우수하지 않음, 앙상블로 만들어 사용함 1) 분석 ..

[3과목 학습목표] : 통계적 분석을 기반으로 하는 빅데이터 분석 모델과 데이터 마이닝을 기반으로 하는 빅데이터 분석 모델 설계 및 기법 적용 방법 이해 [3과목-2 분석 기법 적용] > 1. 분석기법 학습 2. 고급분석기법 학습 1. 분석기법 (4) 인공신경망 분석 정의 - 사람 두뇌의 신경세포인 뉴런이 전기신호를 전달하는 모습을 모방한 기계학습모델 - 입력값을 받아서 출력값을 만들기 위해 활성화 함수를 사용함 - 노드들이 복잡하게 연결된 구조를 이루고 있음 - 입력데이터를 기초로 가중치를 통해 의사결정을 함 인공신경망의 구조 활성함수 입력된 값을 적절하게 변환하며, 변환 출력된 값을 다음 노드에서 활성화할지 결정하며, 데이터의 선형성을 표현함 구분 설명 Sigmoid 함수 - 로지스틱 함수라고 불림 ..

[3과목 학습목표] : 통계적 분석을 기반으로 하는 빅데이터 분석 모델과 데이터 마이닝을 기반으로 하는 빅데이터 분석 모델 설계 및 기법 적용 방법 이해 [3과목-2 분석 기법 적용] > 1. 분석기법 학습 2. 고급분석기법 학습 1. 분석기법 (1) 회귀분석 정의 : 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정하는 통계분석 기법 식 : y = ax +b 형태의 선형적인 관계를 지니며, x와 y 값은 무한대의 값을 지님 적용 : 변수들 사이의 인과관계를 밝히고 모형을 적합하여 관심있는 변수를 예측/추론하는 정규분포를 띈 방법 연속형변수, 범주형변수(더미변수 변환) 가능 종속 변수의 차이로 구분하면 회귀분석과 로지스틱 회귀분석으로 구분할 수 있음 회귀 모형 가정 : 4가지 가정( 선형성, 독립성..

[3과목 학습목표] : 통계적 분석을 기반으로 하는 빅데이터 분석 모델과 데이터 마이닝을 기반으로 하는 빅데이터 분석 모델 설계 및 기법 적용 방법 이해 [3과목-1 분석모형 설계] > 1. 분석에 사용하는 대표적인 분석 도구 2. 분석을 위해 데이터를 분할하는 방법 이해 1. 분석 절차 수립 (1) 분석 모형 선정 분석모형 : 일반적으로 많이 사용되는 데이터 분석 방법을 추상화한 것 (패턴, 계획, 설명) 필요성 : 해결하고자 하는 비즈니스 문제의 유형에 맞춰 적절한 분석 모형을 선정해야 쉽게 문제 해결할 수 있음 선정방법 : 분석 목적 설정(유형, 분석결과) , 데이터 특성 파악(분석 모형 적용) 분석목적설정 방법 : 데이터 분석 방법들은 중요 관점이나 용어는 다를 수 있지만 겹치거나 유사한 부분이 ..

PyTorch - 페이스북 인공지능 연구팀에서 개발한 파이썬(Python) 프로그래밍 언어 기반의 딥러닝 프레임워크 [ 출처 : PyTorch 공식 홈페이지 설치방법 ] - Start Locally Documentaiton 링크 : [ https://pytorch.org/get-started/locally/ ] PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org 지금 내 pc 환경은 window에서 pip 환경으로 구성되어져 있음으로, pip 환경에서 pytorch를 설정방법으로 정리하였다! - os : wi..