티스토리

새우초밥

검색하기

블로그 홈

새우초밥

rawshrimpsushi.tistory.com/m

새우초밥 님의 블로그입니다.

구독자: 4

방명록 방문하기

주요 글 목록

RabbitMQ vs Kafka - 벤치마크 테스트 1. 들어가며 지금까지 RabbitMQ와 Kafka에 대해 자세히 알아봤습니다. 여러 메시지 큐가 있겠지만 그 둘만 다뤘던 이유는, 그 둘이 가장 널리 쓰이기도 하지만 여러 성능 테스트 결과 상반된 경향이 있었기 때문입니다. 오늘은 실제로 그 둘을 테스트 해보고 어떤 차이점이 있는지, 그리고 그 이유가 무엇인지 살펴보도록 하겠습니다.각각 결과를 살펴보면 각 Message Queue가 어디에 적합할 지 결론에 다다를 수 있을 것이라 생각합니다 :) 2. RabbitMQ vs Kafka 오늘 글은 다음 논문, 글들을 참조하여 쓰여졌습니다! 그래프는 모두 R로 작성되었습니다. Dobbelaere, Philippe & Sheykh Esmaili, Kyumars. (2017). Kafka versus Rabbit.. 공감수 2 댓글수 0 2024. 6. 19.
RabbitMQ 아키텍처 1. 들어가며 Message Queue 하면 가장 먼저 떠오르는 두 개는 Kafka와 RabbitMQ 아닌가 합니다.그래서 오늘은 Kafka에 이어 RabbitMQ에 대해 정리해보고자 합니다.똑같은 메시지 큐가 뭐가 다른가 싶겠지만 둘은 구현된 방식에 큰 차이가 있습니다. 또한 그 구현 방식에 따라 특화된 분야도 매우 다릅니다. 둘의 차이점은 다음 글으로 남겨두고 오늘은 RabbitMQ가 어떤 아키텍처로 구성 되어있는지 살펴보도록 하겠습니다. 2. RabbitMQ 아키텍처RabbitMQ란?메시지 생성자와 소비자 사이에서 메시지를 중계해주는 '메시지 브로커'입니다. 비동기 메시지를 사용하는 프로그램들 사이에서 데이터를 송수신하며 교환소(Exchange)와 Queue의 구조로 이루어져 있습니다. - Rab.. 공감수 2 댓글수 0 2024. 6. 19.
Kafka - Network Client 깊게 파헤치기 1. 들어가며 오늘은 Kafka의 클라이언트인 Producer와 Client가 브로커 노드와 통신하기 위해 사용하는 NetworkClient에 대해 알아보도록 하겠습니다. NetworkClient란?Kafka 클라이언트와 브로커 노드들의 연결 상태를 관리하고 브로커 노드로 데이터를 쓰거나 브로커 노드에서 데이터를 읽는 역할을 한다. 클라이언트가 브로커에 보낼 ClientRequest를 만들면, NetworkClient가 중간에서 요청을 중개해줍니다. 그림을 보면 알 수 있듯이 NetworkClient는 Client 측에 있는 구현체입니다. 오늘은 이 구현체가 어떻게 I/O Multiplexing을 통해 빠른 동시 연결을 달성하는지 알아보도록 하겠습니다. 오늘 글은 다음 글과 함께 내부 코드를 보며 .. 공감수 2 댓글수 0 2024. 6. 19.
Kafka - Consumer 깊게 파헤치기 1. 개요 이번엔 Kafka의 큰 세가지 축(Producer - Broker - Consumer) 중 하나인 Consumer에 대해서 알아보고자 합니다.Producer에 대해서 아직 안 읽어보셨다면 다음 글을 먼저 읽어보시는 걸 추천드립니다.https://rawshrimpsushi.tistory.com/46 Kafka - Producer1. 개요 앞서 살펴본 것처럼 Kafka는 여타 Message Queue처럼 Producer - Consumer 구조를 가지고 있으나 세부적인 디테일은 크게 다릅니다. 오늘은 그 중 Producer를 좀 더 심층적으로 알아보고자 합니다. 앞rawshrimpsushi.tistory.com 오늘 글은 다음 글을 기반으로 소스 코드, 다양한 자료를 보며 작성되었습니다!https.. 공감수 2 댓글수 1 2024. 6. 3.
Kafka - Producer 깊게 파헤치기 1. 개요 앞서 살펴본 것처럼 Kafka는 여타 Message Queue처럼 Producer - Consumer 구조를 가지고 있으나 세부적인 디테일은 크게 다릅니다. 오늘은 그 중 Producer를 좀 더 심층적으로 알아보고자 합니다. 앞으로 RabbitMQ와의 비교까지 갈 길이 머니 얼른 정리해보겠습니다! 오늘 글은 다음 글을 기반으로 소스 코드를 보며 작성된 글입니다!https://d2.naver.com/helloworld/6560422 2. Kafka Producer란? Kafka는 Producer의 데이터 전송을 위해서 Producer API를 제공합니다. Producer는 브로커에 특정 Topic(partition까지도 가능)을 지정하여 메시지를 전달합니다. 오늘은 Producer에서 유저에.. 공감수 2 댓글수 1 2024. 6. 3.
Kafka - 기본 아키텍처 알아보기 1. 개요졸업논문으로 Kafka와 RabbitMQ에 대해 작성하고 있습니다. 그 과정에서 다양한 자료 조사를 해야 했고 유용한데 번역되지 않은 자료, 논문들도 많이 있었습니다. 그래서 논문 작성 김에 해당 자료 조사를 여러 차례 블로그 글로 정리해서 올리고자 합니다 :) Kafka만의 특징 - push 방식Kafka는 push 방식으로 동작하는 기존 message Queue(RabbitMQ 등)와는 다르게 Consumer가 Broker 로부터 메시지를 직접 가져가는 Pull 방식으로 동작합니다. 즉 Consumer는 자신의 처리 능력만큼의 메시지만 가져와 처리합니다. - 로그 방식또한 in-memory 저장 방식이 아닌 메세지를 디스크에 저장한다는 특징을 가집니다. 일반적인 메세징 시스템은 Consume.. 공감수 2 댓글수 0 2024. 6. 3.
트랜잭션과 락 본 내용은 real MySQL 책을 참조하여 쓰여졌습니다! 1. 트랜잭션 트랜잭션의 기본 개념에 대해서는 다음 블로그를 참조해주세요! 이 글은 트랜잭션에 대해 이미 이해하고 있음을 가정하고 있습니다.https://mangkyu.tistory.com/50 [Spring] Transaction(트랜잭션)이란?오늘은 단일 쿼리로는 해결할 수 없는 로직을 처리할 때 필요한 개념인 트랜잭션에 대해 알아보고, Spring에서 어떻게 활용하는지 확인해보도록 하겠습니다. 1. Transaction(트랜잭션)이란? [ Transactionmangkyu.tistory.com 트랜잭션의 경우 InnoDB 스토리지 엔진은 지원하지만 MyISAM이나 MEMORY는 지원하지 않습니다. 트랜잭션은 꼭 여러 쿼리가 조합되.. 공감수 2 댓글수 2 2024. 3. 7.
MySQL 아키텍쳐 본 내용은 real MySQL 책을 참조하여 쓰여졌습니다! 1. 기본 아키텍쳐 크게 MySQL 엔진과 스토리지 엔진으로 구분할 수 있습니다. MySQL 엔진: 1) 커넥션 핸들러: 클라이언트의 접속 및 쿼리 요청을 처리 2) SQL 파서: 클라이언트가 요청한 쿼리를 MySQL이 인식할 수 있는 단위 (토큰)로 분리해 트리형태 구조로 파싱 3) 전처리기: 파서 트리 내 토큰과 개체(컬럼명, 내장함수, 객체 접근권한)를 비교해 쿼리 문장의 구조적 오류 확인. 4) 옵티마이저: 쿼리의 최적화된 실행방법을 탐색. 클라이언트가 요청한 쿼리에 대해 최적(최저비용)의 처리경로(방법)을 결정하는 DBMS 내부의 핵심엔진 스토리지 엔진(=핸들러) - 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 읽어오.. 공감수 2 댓글수 0 2024. 3. 6.
쿼리 최적화 본 내용은 real MySQL 책을 참조하여 쓰여졌습니다! 1. 실행 순서 일반적으로 INSERT와 UPDATE는 레코드 단위로 이루어지므로 성능상 문제가 되는 경우는 별로 없습니다. 하지만 SELECT는 여러개의 테이블로부터 데이터를 조합해서 빠르게 가져와야 하기 때문에 여러 개의 테이블을 어떻게 읽을 것인가에 많은 주의를 기울여야 합니다. SELECT s.emp_no, COUNT(DISTINCT e.first_name) AS cnt FROM salaries s INNER JOIN employees e ON e.emp_no = s.emp_no WHERE s.emp_no IN (100001, 100002) GROUP BY s.emp_no HAVING AVG(s.salary) > 100 ORDER BY A.. 공감수 2 댓글수 0 2024. 3. 6.
자바 웹 프로그래밍 Next Step - 7장 DB를 활용해 데이터를 영구적으로 저장하기. 들어가며 많은 장을 뛰어넘어 7장입니다. 4에서 5장의 경우 3장에서 요구사항을 보고 열심히 노력했다면 그다지 할 것이 많은 파트는 아닙니다. 해당 3장에서 정답을 알려주는 파트에 가깝기 때문입니다. 6장의 경우엔 이미 김영한님의 Spring MVC1을 수강하셨다면 익숙한 부분이라 따로 정리하지 않았습니다. 3장 ~ 6장에서 만들었던 서버는 클라이언트에게 http request를 받아 그에 따른 response를 내려주는 것에 집중했습니다. 하지만 대부분의 서버는 해당 요청에 따라 Database에 여러 데이터를 저장하고 관리합니다. (6장까지의 서버는 간단한 구현을 위해 HashMap을 통해 user 테이블을 관리하고 있습니다.) 7장에서는 회원 데이터를 DB에 저장하는 실습을 하게 됩니다. 이때 3장.. 공감수 1 댓글수 2 2024. 1. 9.
자바 웹 프로그래밍 Next Step - 3장 웹 서버 실습 기초적인 웹 서버 프레임워크 만들기 이번 실습에서는 프레임워크 없이 java의 기본적인 라이브러리로 이루어진 웹 서버를 바탕으로 책의 요구사항을 만들어보게 됩니다. 아무것도 없는 환경에서 하나씩 기능구현을 해보면서 자연스럽게 웹 프레임워크 혹은 java 웹 표준 기술들이 왜 필요하게 되었는지 느끼게 됩니다. 결국 여러 기능을 구현하다보면 자연스럽게 공통 처리 로직을 묶어서 관리하게 되는데 이게 프레임워크의 가장 기초 뼈대로 수렴하기 때문입니다! 요구사항 1 - http://localhost:8080/index.html로 접속시 응답 요구사항 2 - get 방식으로 회원가입 요구사항 3 - post 방식으로 회원가입 요구사항 4 - redirect 방식으로 이동 요구사항 5 - cookie 요구사항 6 -.. 공감수 2 댓글수 0 2024. 1. 8.
자바 웹 프로그래밍 Next Step - 2장 문자열 계산기 들어가며 https://rawshrimpsushi.tistory.com/30 자바 웹 프로그래밍 next-step을 읽고 1. 들어가며 실전적으로 리팩토링, OOP에 맞는 코드를 짜보는 경험을 하게 해주는 책은 흔치 않습니다. 이론적으로 객체지향을 접근하거나 여러 디자인 패턴들을 소개시켜주면서 코드를 짜는 책 rawshrimpsushi.tistory.com 위 글에서 작년 Best 책으로 꼽았던 자바 웹 프로그래밍 Next-step을 단원 별로 정리하겠다고 했는데 그 일환입니다. :) 모든 단원을 정리하지는 않을 예정이고 실습하면서 인상깊고 꼭 기록에 남기고 싶었던 단원들만 위주로 기록할 예정입니다. 2장 - 문자열 계산기 구현 뒤에 불지옥 리팩토링...이 기다리고 있는 것에 비해 정말 부드러운 내용으로.. 공감수 2 댓글수 4 2024. 1. 5.
프로젝트 소개 - LittleStudio 1. 들어가며 프로젝트 시연 영상 안녕하세요. 저번 학기에 진행했던 프로젝트를 소개하는 글을 쓰고자 합니다. 저희가 만든 앱은 부모와 아이가 함께 캐릭터를 그리고 ai에 의해 애니메이팅 된 캐릭터를 추억으로 공유할 수 있는 앱입니다. 스마트폰의 등장으로 부모와 아이가 함께 보내는 시간은 줄어들고 가족으로써 추억을 쌓을 일도 적어지고 있다고 생각합니다. 이러한 상황에서 스마트폰 사용 자체를 막기보단 아이들에게 더욱 친숙한 기기를 통해 부모님과 소통하고 같이 시간을 보낼 수 있는 어플리케이션이 있으면 어떨까 하여 만들게 되었습니다. 2. 프로젝트 설명 앱의 전반적인 플로우는 위의 데모 영상을 참고해주시면 좋을 것 같습니다. 부모와 아이가 각각 스마트폰으로 방에 참가하여 동시에 캐릭터를 그리면, 해당 캐릭터를.. 공감수 3 댓글수 1 2024. 1. 4.
쿠버네티스에 딥러닝 모델 서빙하기. 0. 요약 - 쿠버네티스에 딥러닝 모델 서빙하면서 겪은 문제. - 서빙을 위한 서버 구축 및 쿠버네티스에 올리기. - 모델 라이브러리 호환 문제 해결 - 6배 최적화 1. 들어가며 - 프로젝트 설명 이번 학기는 학교 수업에서 앱개발을 하는 프로젝트가 있습니다. 저희 팀이 기획한 것은 부모와 아이가 함께 캐릭터를 그리면 그 캐릭터를 gif 애니메이션으로 바꿔주는 앱입니다. 다른 핸드폰에서도 실시간으로 캔버스가 동기화되어 그림을 함께 그릴 수 있고, 그 캐릭터가 살아 숨쉬며 움직이는 모습을 통해 아이와 부모 사이에 추억을 쌓자는 목표의 프로젝트 였습니다. 제가 맡은 역할은 Django를 통한 백엔드 개발, (ec2에 배포되어 있으며 s3 bucket에 이미지 저장을 하고 rds에 mysql을 올려 운영하고 .. 공감수 9 댓글수 6 2023. 12. 5.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.