본문 바로가기

Course

[한글자막] Apache Spark와 Python으로 빅데이터 다루기



Apache Spark와 Python으로 빅데이터 다루기

Hadoop에서 대규모 데이터 세트를 분석하는 20개 이상의 실습 예제가 포함된 Apache Spark 튜토리얼!


강사



강의 설명

완전히 업데이트 된 새로운 강의로 출시되었습니다! Spark 3, IntelliJ, 구조적 스트리밍 및 DataSet API에 대한 더 강력한 초점을 위해 완전히 업데이트 되어 다시 녹음 되었습니다.

빅데이터 분석은 아주 인기 있고 매우 가치 있는 기술입니다. 이 강의는 빅데이터에서 가장 인기 있는 기술을 알려줍니다. 바로 Apache Spark 입니다. 아마존, 이베이, NASA JPL 및 Yahoo를 포함한 고용주는 모두 Spark를 사용하여 내결함성 Hadoop 클러스터 전반에 걸쳐 방대한 데이터 세트에서 의미를 빠르게 추출합니다. 집에서 자신의 Windows 시스템을 사용하여 동일한 기술을 배우게 될텐데, 이는 생각보다 어렵지 않습니다

데이터 분석 문제를 Spark 문제로 프레이밍하는 기술을 배우고, 20개 이상의 실습 예제를 통해서 완벽히 마스터 해보세요. 그런 다음, 이 강의에서 클라우드 컴퓨팅 서비스에서 실행되도록 확장해보세요. 여러분은 Amazon 및 IMDb의 전 엔지니어이자 선임 관리자로부터 배우게 될 것입니다.

Spark의 DataFrames 및 Resilient Distributed Datastores의 개념 알아보기
  • Python을 사용하여 Spark 작업을 빠르게 개발 및 실행
  • 복잡한 분석 문제를 반복적이거나 다단계 Spark 스크립트로 변환
  • Amazon의 Elastic MapReduce 서비스를 사용하여 더 큰 데이터 세트로 확장
  • Hadoop YARN 이 어떻게 컴퓨팅 클러스터에 Spark를 분배하는지 이해
  • Spark SQL, Spark Streaming 및 GraphX와 같은, 다른 Spark 기술에 대한 이해

이 강의 이후 여러분은 몇 분 만에 클라우드에서 gigabytes 크기의 정보를 분석하는 코드를 실행할 수 있게 될 것입니다. 이 강의는 친숙한 Python 프로그래밍 언어를 사용합니다. 만약 Spark에서 최고의 성능을 얻기 위해 Scala를 사용하고 싶다면 "Apache Spark with Scala - Hand On with Big Data" 강의가 더 적합 할 수 있습니다.

이 강의 도중, 우리는 재미있는 실습 또한 가질 것입니다. Spark를 사용하여 영화 등급 데이터와 책의 텍스트를 분석하는 몇 가지 간단한 예를 통해 준비를 시작할 것입니다. 기본기를 배운 후에는, 더 복잡하고 흥미로운 작업으로 이동할 것입니다. 우리는 백만 개의 영화 등급을 사용하여 서로 유사한 영화를 찾을 것이고, 이 과정에서 여러분들이 좋아할 만한 새로운 영화를 발견할 수도 있을 것입니다!

우리는 슈퍼히어로의 사회적 그래프를 분석하고 가장 "인기 있는" 슈퍼히어로가 누구인지 배우고 슈퍼히어로 사이의 "Degree of Separation"를 찾는 시스템을 개발할 것입니다. 모든 마블 슈퍼히어로들은 스파이더맨과 얼마나 연결되어 있을까요?

이 강의를 통해 그 답을 찾을 수 있습니다.

이 강의는 실습 위주 입니다. Amazon의 Elastic MapReduce 서비스를 사용하여 자체 시스템과 클라우드 모두에서 실제 코드를 함께 작성, 분석 및 실행할 때 강사와 함께 대부분의 시간을 보내게 됩니다. 7시간 분량의 영상 내용이 포함되어 있으며, 20개 이상의 실제 예시는 복잡성이 증가함에 따라 스스로 구축하고 실행하고 연구할 수 있습니다.

여러분의 일정에 따라 여러분의 속도로 진행하세요. 이 강의는 Spark SQL, Spark Streaming, GraphX를 비롯한 다른 Spark 기반 기술에 대한 개요로 마무리됩니다.

Apache Spark로 빅 데이터를 처리하는 것은 오늘날의 기술 세계에서 중요한 기술입니다. 지금 등록하고 이 강의를 즐겨보시기를 바랍니다!

-Frank


P.S. 제 강의에 대한 한 수강생의 리뷰를 소개해 드립니다:

" Frank Kane과 함께 [Apache Spark 및 Python으로 빅 데이터 다루기를 공부 했습니다. 제 회사에서 서비스를 위한 빅 데이터 플랫폼을 구축하는데 큰 도움이 되었으며, 이 강의를 추천합니다! " - Cleuton Sampaio De Melo Jr.