개발 메모리

BeautifulSoup란? 뷰티플 수프는 HTML과 XML 문서를 파싱하기위한 파이썬 패키지 웹 스크래핑에 유용한 HTML에서 데이터를 추출하는 데 사용할 수있는 구문 분석 된 페이지에 대한 구문 분석 트리를 생성 Parsing이란? 어떤 문장을 분석하거나 문법적 관계를 해석하는 행위로, 컴퓨터 과학에서는 일련의 문자열을 의미있는 token(어휘 분석) 단위로 분해하고, 그것들로 이루어진 Parse tree를 만드는 과정 Parser는 문법 및 구문 분석하는 parsing을 수행하는 프로그램 HTML 문자열 파싱 문자열로 정의된 html 데이터 파싱(parsing : HTML에서 특정값만 추출)하기 예를 들어 Contents Title 구문에서 h3는 태그(tag), title은 속성(attribute..

https://www.kores.net/views/cms/komis/dataopen/openapi/openapiintro.jsp"}],["code",{"code":"serviceKey = ">API?API는 프로그램들이 서로 상호작용하는 것을 도와주는 매개체API 역할API는 여러분이 가진 서버와 데이터베이스에 대한 출입구 역할로 허용된 사람들에게만 접근성을 부여해줌API는 애플리케이션과 기기가 데이터를 원활히 주고받을 수 있도록 돕는 역할API는 모든 접속을 표준화하기 때문에 기계/운영체제 등과 상관없이 누구나 동일한 액세스를 얻을 수 있으며, API는 범용 플러그처럼 작동 가능.API 유형Private API: 내부 API로, 제 3자에게 노출되지 않습니다.Public API: 개방형 API로, 모두..

HTTP Method HTTP(HyperText Transfer Protocol): HTML 문서 등의 리소스를 전송하는 프로토콜 데이터 요청 방식 Get 요청: 데이터를 URL에 포함하여 전달, 주로 리소스 요청에 사용 Post 요청: 데이터를 Form data에 포함하여 전달, 주로 로그인 같이 민감한 데이터를 전송할때 사용 HTTP Requests 모듈 http request/response를 위한 모듈로, HTTP method를 메소드 명으로 사용하여 request 요청 예) get, post import requests url = 'https://news.v.daum.net/v/20190728165812603' Get 요청 http get 요청하기는 query parameter 이용하여 데이터 ..

딥러닝 프레임워크(Framework) 딥러닝 프레임워크는 이미 검증된 수많은 라이브러리와 사전 학습까지 완료된 다양한 딥러닝 알고리즘을 제공함으로써, 중복적인 기능을 구현해야 하는 소모적인 작업으로부터 개발자를 자유롭게 해준다. 프레임워크(framework)란: 응용 프로그램을 개발하기 위한 여러 라이브러리나 모듈 등을 효율적으로 사용할 수 있도록 하나로 묶어 놓은 일종의 패키지라고 할 수 있다. 시아노(Theano) 시아노는 최초의 딥러닝 프레임워크 중 하나로 파이썬을 기반으로 개발되었다. 데이터를 탐색하거나 수치 계산에 매우 유용하지만, 확장성이 뛰어나지는 않으며 다중 GPU에 대한 지원도 부족하다. 그러나 아직까지도 범용적인 딥러닝 모델을 구축할 때 많이 사용되고 있다. 텐서플로우(Tensorflo..

심층 신경망(Deep Neural Network) 심층 신경망은 입력층(Input Layer)과 출력층(Output Layer) 사이에 3개 이상의 은닉층(Hidden Layer)이 중첩으로 이뤄진 인공신경망으로, 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(Non-linear Relationship)들을 모델링할 수 있다. 예를 들어 사물 식별 모델을 위한 심층 신경망 구조에서 각 객체가 이미지 기본 요소들의 계층적 구성으로 표현될 수 있다. 이때 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있는데, 이런 특징은 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(Node)들 만으로도 복잡한 데이터를 모델링할 수 있게 해준다. 기존의 인공신경망과 같이 심층 신경망이 단순..

딥 러닝(Deep Learning)이란? 딥러닝이란 인간의 두뇌와 비슷한 모양의 인공신경망(Artificial Neural Network, ANN)을 기반으로 머신러닝 학습을 수행하는 것으로 심층학습이라고도 부르며, 머신러닝의 한 종류다. 기존의 머신러닝에서는 학습하려는 데이터의 여러 특징 중에서 어떤 특징을 추출할 지를 사람이 직접 분석하고 판단해야만 했지만, 딥러닝에서는 기계가 마치 사람처럼 스스로 학습하려는 데이터에서 특징을 추출하여 학습하고 이를 토대로 의사결정이나 예측 등을 수행한다. 딥러닝과 머신러닝의 가장 큰 차이점은 바로 기계의 자가 학습 여부다. 인공신경망(Artificial Neural Network, ANN) 인간의 뇌가 가지는 생물학적 특성 중 뉴런의 연결 구조를 본떠 만든 신경망(..

머신러닝 대표 알고리즘 머신러닝은 학습하려는 문제의 유형에 따라 크게 지도/비지도/강화 학습으로 나눌 수 있고, 각 학습 방법들은 상황에 맞는 다양한 알고리즘을 사용하여 구현할 수 있다. 서포트 벡터 머신(Support Vector Machine, SVM) SVM은 지도 학습 중 분류 모델에서 가장 많이 사용되는 알고리즘으로, 주로 다루려는 데이터가 2개의 그룹으로 분류될 때 많이 사용된다. SVM은 학습 데이터가 벡터 공간에 위치하고 있다고 생각하며 학습 데이터의 특징 수를 조절함으로써 2개의 그룹을 분류하는 경계선을 찾고, 이를 기반으로 패턴을 인식하는 방법이다. 두 그룹을 분류하는 경계선은 최대한 두 그룹에서 멀리 떨어져 있는 경계선을 구하게 되며, 이는 두 그룹과의 거리를 최대로 만드는 것이 나중..

지도 학습(Supervised Learning) 지도 학습이란 여러가지 문제와 정답을 같이 학습시킴으로써 모르는 문제에 대한 답을 예측하는 방법이다. 따라서 지도 학습을 위한 데이터에는 문제와 그 정답까지 함께 있는 데이터가 선택된다. 사람이 직접 개입하므로 정확도가 높은 데이터를 사용할 수 있지만, 대신에 사람이 직접 레이블을 달아야 하므로 인건비와 구할 수 있는 데이터 양도 적은 문제가 있다. 지도 학습을 위한 모델은 크게 분류(Classification)와 예측(Prediction) 모델로 구분된다. 둘 다 모두 지도 학습 모델이므로 데이터와 레이블을 함께 학습시킨다는 공통점을 가진다. 하지만 분류 모델은 학습 데이터의 레이블 중 하나가 결괏값이 되고, 예측 모델은 학습 데이터에서 도출된 함수식에서..

머신 러닝(Machine Learning)이란? 기계 학습(機械學習) 또는 머신 러닝(Machine Learning)은 인공 지능의 한 분야로, 컴퓨터가 스스로 학습할 수 있도록 도와주는 알고리즘과 기술을 개발하는 분야다. 머신러닝은 사람이 일일이 구현하기에는 너무 많은 양의 데이터를 처리할 때 사용할 수 있도록 고안된 방법으로, 컴퓨터를 인간처럼 학습시킴으로써 인간의 도움 없이 컴퓨터 스스로 작업한다. 머신러닝의 동작 방식 머신러닝에서는 양질의 데이터가 매우 중요한 역할을 하며 양질의 데이터를 많이 보유할수록 보다 높은 성능을 이끌어낼 수 있다. 일정량 이상의 샘플 데이터를 입력한다. 입력받은 데이터를 분석하여 일정한 패턴과 규칙을 찾아낸다. 찾아낸 패턴과 규칙을 가지고 스스로 학습한 후에 이를 기반으..

인공지능(Artificial Intelligence)이란? 인공지능이란 어떠한 개체가 인간처럼 지적인 활동을 할 수 있도록 컴퓨터에 지능을 부여하는 것을 말한다. 스스로 사물을 이해하고 주변 환경을 인식하여 그에 대하여 유연성 있게 반응하고 그 경험에 근거하여 학습할 수 있는 기계다. 머신러닝은 인공지능의 한 분야이며, 딥러닝은 머신러닝 모델의 한 종류다. 머신 러닝(Machine Learning)이란? 기계 학습(機械學習) 또는 머신 러닝(Machine Learning)은 인공 지능의 한 분야로, 컴퓨터가 스스로 학습할 수 있도록 도와주는 알고리즘과 기술을 개발하는 분야다. 머신러닝은 사람이 일일이 구현하기에는 너무 많은 양의 데이터를 처리할 때 사용할 수 있도록 고안된 방법으로, 컴퓨터를 인간처럼 학..