1. The document discusses microservices architecture and how Netflix transitioned from a monolithic architecture to microservices. Key aspects discussed include breaking the monolith into many small, independent services that are loosely coupled.
2. Netflix's microservices architecture is composed of hundreds of microservices running on thousands of servers. Each service focuses on doing a small, well-defined piece of work. Services communicate through well-defined APIs and share no code or databases.
3. The document provides examples of how other companies like Samsung and Vingle have also adopted microservices architectures on AWS, breaking monolithic applications into independent, scalable services. This allows for independent deployments, rapid innovation, and improved resilience.
많은 게임사들은 AWS 의 글로벌 인프라를 이용해서 글로벌 런칭을 준비하고, 이를 통해 새로운 기회를 맞이합니다. 본 강연에서는 AWS Global Accelerator, Amazon CloudFront 및 다양한 AWS 의 글로벌 기반 데이터베이스 기능들을 기반으로 워크로드에 걸맞는 솔루션을 알아봅니다. 또한 많은 고객사에서 사용하는 아키텍처 패턴을 알아보고 이와 함께 고려할 점들을 알아봅니다.
아름답고 유연한 데이터 파이프라인 구축을 위한 Amazon Managed Workflow for Apache Airflow - 유다니엘 A...Amazon Web Services Korea
Apache Airflow는 복잡한 데이터 처리 파이프라인의 전체적인 프로세스를 자동화하기 위한 워크플로우 관리 플랫폼이며 오픈 소스 커뮤니티에서 활발하게 기여하고 있는 top-level 프로젝트 입니다. AWS는 최근에 Amazon Managed Workflow for Apache Airflow (MWAA) 서비스를 정식 출시하였고, 본 강연에서는 Apache Airflow 및 MWAA를 소개하고 어떻게 AWS 서비스와 연동하여 데이터 처리 워크플로우를 구축할 수 있는지 데모를 통해 알려 드립니다.
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스 - 정영준 솔루션즈 아키텍트, AWS / 유현성 수석,...Amazon Web Services Korea
AWS 기반 클라우드 아키텍처 모범사례 - 삼성전자 개발자 포털/개발자 워크스페이스
정영준 솔루션즈 아키텍트, AWS
유현성 수석, 삼성전자 클라우드팀
다양한 AWS 아키텍처 적인 요소들을 적용한 구체적인 사례들에 대해서 소개합니다. 삼성전자에서 2년동안 만든 공통 플랫폼 기반 개발자 포털의 아키텍처와 개발 스토리 그리고 SRE(Site Reliability Engineering) 적용 등에 대한 이야기를 직접 들어보며, 수백만 명의 모바일 사용자에게 사진을 공유하는 애플리케이션을 운영하는 서비스, 테라바이트 이상의 데이터가 다양한 소스에서 들어 올 때 실시간으로 분석하기 위한 아키텍처들에 대해서도 알아봅니다. 또한 중단 되면 안되는 중요한 비즈니스 운영을 지원하는 서비스나 금융 데이터 같은 민감한 데이터를 다루는 서비스를 운영하는 다른 베스트 프렉티스 아키텍처도 소개합니다.
Amazon EKS를 통한 빠르고 편리한 컨테이너 플랫폼 활용 – 이일구 AWS 솔루션즈 아키텍트:: AWS Cloud Week - Ind...Amazon Web Services Korea
컨테이너를 활용하고자 하는 고객은 많이 있지만, 일정 규모 이상의 서비스를 하려면 오케스트레이션 플랫폼이 필수적 입니다. 직접 물리/가상 서버를 이용하여 컨테이너 플랫폼을 설치하는 방법도 있지만 이 경우 설치, 모니터링, 용량관리, 트래픽 처리 등 다양한 문제들을 마주하게 됩니다. AWS의 완전 관리형 쿠버네티스 서비스인 EKS를 통해 클러스터에 운영 시 고려해야하는 다양한 문제를 보다 쉽게 해결할 수 있습니다. 또한 다양한 에코 시스템과 연동하여 탄력적이고 비용 효율적인 모델을 서비스할 수 있도록 소개해 드립니다.
- 동영상 보기: https://www.youtube.com/watch?v=Rq4I57eqIp4
Amazon RDS 프록시는 Amazon Relational Database Service (RDS)를 위한 완전 관리형 고가용성 데이터베이스 프록시로, 애플리케이션의 확장 성, 데이터베이스 장애에 대한 탄력성 및 보안 성을 향상시킬 수 있습니다. (2020년 6월 서울 리전 출시)
This document provides an introduction to Amazon Web Services (AWS) through a series of presentations. It begins by explaining why individuals and companies use AWS and how AWS differs from traditional infrastructure. It then covers specific AWS services like VPC (virtual private clouds), EC2 (virtual servers), RDS (database hosting), S3 (storage buckets), and the global infrastructure that supports AWS. Each presentation provides a high-level overview of the service and its benefits before concluding with a recap.
20191002 AWS Black Belt Online Seminar Amazon EC2 Auto Scaling and AWS Auto S...Amazon Web Services Japan
This document discusses Amazon EC2 Auto Scaling and AWS Auto Scaling. It provides an overview of EC2 Auto Scaling for scaling EC2 instances, Application Auto Scaling for services like ECS, and AWS Auto Scaling which unifies scaling across different AWS resources. It also covers various scaling options like target tracking, step scaling policies, and scheduled scaling. Best practices for setting up auto scaling groups and examples of using different scaling configurations are presented.
AWS에서 Kubernetes 실행하기
황경태 솔루션즈 아키텍트, AWS
본 세션에서는 AWS의 관리형 Kubernetes 서비스인 EKS에 대해 3가지 파트 1.구성요소와 아키텍처, 2. 대규모 해외 고객사례, 3. EKS 기반 마이크로서비스 데모 를 살펴봅니다. 컨트롤/데이터 플레인, 네트워크, 인증&권한, CI/CD, 로깅 및 모니터 등 필수적인 기술요소와 실제 동작모습을 이해하고, 실 고객사례를 통해 대형 Kubernetes 클러스터 구성과 조직에 대해서도 알아봅니다.
All You Need to Know about AWS Elastic Load BalancerCloudlytics
Elastic Load Balancer (ELB) distributes incoming application traffic across multiple Amazon EC2 instances, performs health checks on the instances, and directs traffic away from unhealthy instances to ensure application availability. ELBs scale automatically to match the incoming application traffic load, distributing traffic evenly across healthy EC2 instances. ELBs can distribute traffic to instances across availability zones for high availability.
데이터 분석가를 위한 신규 분석 서비스 - 김기영, AWS 분석 솔루션즈 아키텍트 / 변규현, 당근마켓 소프트웨어 엔지니어 :: AWS r...Amazon Web Services Korea
AWS re:Invent에서는 다양한 고객들의 요구에 맞추어 새로운 분석 및 서버리스 서비스가 대거 출시되었습니다. 본 강연에서는 새롭게 출시된 핵심 분석 기능들과 함께, 누구나 손쉽게 사용할 수 있는 AWS의 분석 서버리스와 On-demand 기능들에 대한 심층적인 정보를 확인하실 수 있습니다.
This document provides an overview and agenda for a presentation on batch processing solutions on AWS. It discusses batch computing challenges and needs, why the cloud is suitable for batch workloads, and options for running batch jobs on AWS including AWS Batch and Amazon ECS. AWS Batch provides a fully managed batch processing environment while Amazon ECS allows more flexibility but requires managing the underlying infrastructure. The document also provides best practices for batch processing on AWS and examples of architectures using AWS Batch and Amazon ECS.
본 세션에서는 Amazon의 관리형 데이터베이스 서비스(RDS) 중 기존 상용데이터베이스의 5배 성능 및 1/10 가격으로도 확장성을 보장하는 Aurora에 대한 소개 및 사용법 그리고 기존의 DB에서의 마이그레이션 방법에 대해 소개해드립니다. 10월 리인벤트를 통해 동경 리전에 Aurora를 사용가능하게 되었습니다.
Amazon API Gateway is a fully managed service that makes it easy for developers to create, publish, maintain, monitor, and secure APIs at any scale. It allows developers to manage multiple versions and stages of APIs, monitor access by third party developers, and handle traffic spikes without operational burden. API Gateway supports features like throttling, authorization, caching of responses, and SDK generation to make APIs easy to consume.
Terraform을 기반한 AWS 기반 대규모 마이크로서비스 인프라 운영 노하우 - 이용욱, 삼성전자 :: AWS Summit Seoul ...Amazon Web Services Korea
Terraform을 기반한 AWS 기반 대규모 마이크로서비스 인프라 운영 노하우
이용욱, 삼성전자
EC2 및 ECS/EKS 등 다양한 컴퓨팅 환경 및 다양한 AWS 서비스를 활용하는 수십 종의 Microservice로 구성된 대규모 서비스 인프라를 Terraform 모듈을 이용하여 구성하고, 이를 원활하게 운영 관리하기 위해 필요한 terraform코드 구성 방법 및 Kitchen을 이용한 terraform 코드 테스팅 경험을 공유합니다.
AWS 상의 컨테이너 서비스 소개 ECS, EKS - 이종립 / Principle Enterprise Evangelist @베스핀글로벌BESPIN GLOBAL
지난 11월 Bespin Gaming Day 행사의 발표 자료를 통해 AWS에서 컨테이너를 활용하는 방법을 알아보겠습니다.
AWS에서는 사용 목적에 따라 다양한 컨테이너 서비스를 제공합니다.
- Management 스케쥴링, 스케일링, 배포, 전략: Amazon ECS, Amazon EKS
- Hosting 컨테이너가 수행되는 곳: Amazon EC2, AWS Fargate
- Image Registry 컨테이너 이미지 저장소: Amazon ECR
컨테이너 및 쿠버네티스 관련 서비스 중 Amazon EKS, Amazon ECS, AWS Fargate에 대해 보다 자세히 살펴보실 수 있습니다.
AWS 웨비나 시리즈를 마감하면서 첫 강연부터 마지막 강연까지 여러분이 가장 궁금해 했던 10가지 질문에 대해 심층적으로 다루어 보고자 합니다. 각 강연에서 공통으로 다루어졌던 주제 및 질문 시간을 통해서 가장 많이 물어보신 사항과 모든 분들이 꼭 알고 계시면 좋을 내용을 모을 예정입니다.
IaC로 AWS인프라 관리하기 - 이진성 (AUSG) :: AWS Community Day Online 2021AWSKRUG - AWS한국사용자모임
This document discusses managing AWS infrastructure using Infrastructure as Code (IaC). It begins by describing some limitations of manually managing resources through the AWS Console, such as not being able to easily track resource history or rollback changes. It then introduces AWS Cloud Development Kit (CDK) as a framework for defining cloud infrastructure as code using templates. CDK allows infrastructure to be managed programmatically like code, enabling easier version control, testing, and multi-environment deployments compared to manual methods. Some examples of using CDK to define VPCs, security groups, and deploying Fargate tasks and RDS instances are also provided. Lastly, some limitations of CDK are discussed.
자연어 처리 ML모델을 활용한 이커머스 문제 해결하기 - 진현두 (카카오스타일) :: AWS Community Day Online 2021AWSKRUG - AWS한국사용자모임
이커머스에서 가장 중요한 사용자 리뷰! 사용자 리뷰 내 특정 키워드 관련 표현을 스마트하게 찾고, 하이라이팅 정보를 제공하는 ML모델 개발하여 서비스에 반영하였습니다. 복잡한 전처리와 모델링전반의 프로세스를 Amazon SageMaker + Custom Docker 로 구현 방법을 소개합니다.
자바개발자가 최대한 빠르게 서비스를 오픈하는 방법 - 최진환 (드라마앤컴퍼니) :: AWS Community Day Online 2021AWSKRUG - AWS한국사용자모임
사이드프로젝트를 진행하면서 겪은 다양한 인프라 구축 노하우를 소개합니다.왜 EKS가 아닌 Elastic Beanstalk를 사용했는지, Codepipeline을 이용한 깃헙에서 배포까지의 플로우, AWS ChatBot을 사용한 모니터링과 CodeBuild로 빌드하기 등을 소개합니다.
EKS에서 Opentelemetry로 코드실행 모니터링하기 - 신재현 (인덴트코퍼레이션) :: AWS Community Day Online...AWSKRUG - AWS한국사용자모임
EKS환경에서 Opentelemetry와 Jaeger를 활용하여 서버의 코드가 잘 동작하는지 어떤로직에서 문제가 발생했는지 모니터링 하는 방법을 알아봅니다. 마지막으로 Grafana를 이용해 쉽게 원하는 코드를 조회 하는 방법도 실습해볼 예정입니다. K8S를 모르셔도 참석할 수 있습니다.
[AWS Hero 스페셜] 서버리스 기반 검색 서비스 구축하기 - 이상현(스마일벤처스) :: AWS Community Day Online ...AWSKRUG - AWS한국사용자모임
This document discusses the software architecture of an e-commerce fashion site. It focuses on syncing the main database with the search engine through change data capture and an asynchronous queue to enable near real-time search. The architecture aims to provide a seamless user experience across searching, browsing, and purchasing fashion items.
1. The document discusses AWS services for container orchestration including EKS, Fargate, Docker Swarm, and Mesos. It also discusses using CloudFront and S3 for hosting static assets.
2. Details are provided on migrating from Docker Swarm to EKS on AWS, including using EC2 and Route53. Options for hosting databases like MySQL and PostgreSQL across regions are explored.
3. The benefits of services like EKS, Lambda, and CloudFront are summarized and pricing models for CloudFront are referenced. Moving infrastructure to different regions for latency or redundancy purposes is also briefly discussed.
[AWS Hero 스페셜] Amazon Personalize를 통한 개인화/추천 서비스 개발 노하우 - 소성운(크로키닷컴) :: AWS C...AWSKRUG - AWS한국사용자모임
Amazon Personalize is Amazon's machine learning service for generating personalized recommendations. It has over 3,700 customers and processes over 26TB of data daily using a machine learning stack of 33 DAGs and 200+ tasks in Airflow. Amazon Personalize offers rule-based, collaborative filtering, and deep learning models to generate recommendations and helps with cold start problems through feature engineering and unsupervised learning techniques. It provides an API endpoint and AutoML capabilities to build, train, tune and deploy machine learning models for recommendations.
goployer, 코드 기반의 배포 도구 - 송주영 (beNX) :: AWS Community Day 2020AWSKRUG - AWS한국사용자모임
The document discusses deployment best practices and introduces goployer, an open source deployment tool. It summarizes key aspects of infrastructure as code and modern deployment approaches like blue/green and canary deployments. Goployer supports immutable infrastructure, deployment as code, measurement and testing to enable cost effective and simple deployments. The DevOps Art project aims to share infrastructure code, develop open source tools like Terraform and goployer, and conduct online workshops to foster a proper conceptual understanding of DevOps philosophy and ideal implementations based on that philosophy.
엔터프라이즈 기업을 위한 Digital 플랫폼 구축 사례 - 권낙주(SK C&C) :: AWS Community Day Online 2020AWSKRUG - AWS한국사용자모임
This document discusses a case study of building a digital platform for enterprise companies in Korea using Amazon Web Services technologies. The platform leverages various AWS services like AWS Lake Formation, Amazon Athena, AWS Glue, Amazon Redshift, Amazon Managed Streaming for Kafka, Amazon Kinesis, Amazon EMR, Amazon CloudSearch, Amazon Elasticsearch Service, and Amazon QuickSight to enable data collection, storage, processing, analytics and visualization. The case study was presented by Nackjoo Kwon, a senior manager at SK C&C.
AWS Cloud Development Kit (CDK)를 이용한 코드 기반 인프라 개발 및 배포 - 공찬호(리얼리티매직) :: AWS C...AWSKRUG - AWS한국사용자모임
This document discusses using AWS CDK to develop and deploy infrastructure as code. It begins with an introduction of the speaker and their background. It then provides examples of using CDK to create a game backend with Amazon API Gateway, AWS Lambda, Amazon DynamoDB, and Amazon ElastiCache. The document outlines topics like using a custom authorizer with API Gateway, handling many resources and methods, running Lambda functions in a VPC, blue/green deployments, code reuse with layers, and testing strategies. Code examples and references are provided.
3. 비트윈
•
커플들을 위한 모바일 서비스
•
아이폰, 안드로이드 어플리케이션 제공
•
채팅, 기념일, 사진, 메모, 캘린더 기능 제공
•
전 세계에서 600만+ 다운로드 (as of 2012.02)
•
http://between.us
•
http://engineering.vcnc.co.kr
4. 비트윈 서버 구조
•
Java로 작성되어 있음
•
데이터 저장소로 HBase를 사용함
•
Haeinsa를 통해 HBase에 접근시 ACID 트랜잭션 이용
•
Thrift 서비스를 Netty위에 올려서 서비스함
•
채팅의 경우, Thrift를 이용해 클라이언트와 통신함
•
AWS Tokyo리전에서 운영되고 있음
48. Availability Zone 1
ELB
Machine
EC2
Multi-AZ 구성을 할때에는2인스턴스 갯수를 잘 맞춰야한다. 갯
Availability Zone
한 쪽 AZ에 인스턴스
ELB
Machine
수가 적으면 트래픽이 불
균형하게 분배 된다.
EC2
각 AZ에 같은 수의 EC2
를 붙여놓는 것이 좋다.
EC2
EC2
53. ELB
Machine
전체 시스템을 VPC로 옮긴 후
가끔씩 채팅 서버 중 한 대의 사용
자들이 연결을 맺지 못하는 발생함
아무리 문제를 찾아봐도
원인이 나오지 않아 AWS
Support에 도움을 청함
EC2
54. ELB
Machine
“From the analysis it
appears that once the ELB
tries to establish more than
19k connections the
backend instances are not
able to handle additional
connections and this cause
a health-check failure.”
EC2
55. ELB
Machine
“From the analysis it
appears that once the ELB
tries to establish more than
19k connections the
backend instances are not
able to handle additional
connections and this cause
a health-check failure.”
EC2
하지만 테스트 해보니 우리 서버는 19K
이상은 충분히 버틸 수 있음…
그렇다면 ELB문제 아닐까?
58. ELB
Machine
EC2
Route53
ELB
Machine
“I see some activity on the
ELB from our side that may
have some influence on the
issue you are experiencing.”
“We made some
adjustments to our ELB in
order to better handle
requests directed to your
backend instances.”
61. 정리하기
•
ELB는 좋다.
•
ELB는 내부적으로 Scale-Out을 한다.
•
ELB도 Scale-Out하려면 시간이 필요하다.
•
Multi-AZ 구성일 때 ELB의 동작에 주의하자!
•
각 AZ별 EC2의 숫자는 같아야 한다.
•
ELB도 나무에서 떨어질 때가 있다.
76. 사용자
EBS-Optimized 인스턴스는 EBS
와의 통신에만 사용하는 이더넷 카드
가 하나 더 꼽혀 있다!
인터넷
성능이 중요할때에는 EBS-Optimized 옵션을 이용하자.
EC2
EC2
EC2
EBS
EBS
EBS
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/EBSOptimized.html
79. EC2
한 EC2 인스턴스에 여러 EBS를 달아 두고
Striping 구성을 통해 처리량(RAID0)이나
안정성(RAID1)을 더 확보할 수 있다.
EBS
EC2
EBS
EC2
EBS
http://www.slideshare.net/AmazonWebServices/ebs-webinarfinal
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/raid-config.html
80. EBS가 처음 만들어지면 성능이 다소 떨어질 수 있다.
Pre-wram을 하여 성능을 균일하게 확보 가능.
EC2
EC2
EC2
EBS
EBS
EBS
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-prewarm.html
81. EBS가 처음 만들어지면 성능이 다소 떨어질 수 있다.
Pre-wram을 하여 성능을 균일하게 확보 가능.
다양한 방법을 통해 EBS의 성능을 확보할 수 있다.
EC2
EC2
EC2
EBS
EBS
EBS
http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ebs-prewarm.html
96. HDFS multiple-rack 설정을 통해
데이터 복제 정책을 정할 수 있다.
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
97. Ephemeral을 사용하는 rack에 2벌을 저장하고
EBS를 사용하는 rack에 1벌을 저장하도록 설정
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
98. 어떤 데이터든 EBS에는
최소한 한 벌이 저장되게 된다.
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
99. 어떤 데이터든 EBS에는
최소한 한 벌이 저장되게 된다.
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EC2
EBS를 굳이 사용하지 않아도 되는 환경이면 쓰지 말자.
100. 정리하기
•
EBS는 좋다.
•
EC2는 공유 네트워크를 통해 EBS에 접근한다.
•
EBS의 성능은 외부와 통신 트래픽에 영향을 받을 수 있다.
•
EBS의 성능을 확보하기 위한 방법들은 많다.
•
EC2가 멀쩡하더라도 EBS는 문제가 있을 수 있다.
•
EBS를 최대한 사용하지 않는 것도 방법이다.