개발자와 비개발자 간의 데이터 협업 정보 | 프로젝트 & 토이 프로젝트 그리고 IT스터디&네트워킹 , 렛플

프로젝트

[서울] 개발자와 비개발자 간의 데이터 협업

  • gonglee

    gonglee

    (휴대폰 인증) 오래전 로그인
  • 모집 중준비 중

    이 프로젝트 노출 제한  페널티 상태(응답률 50% 미만 & 미응답 3회 초과) 입니다.

    출시 알림 받기프로덕트 출시(개발완료)되면 팀으로부터 특별한 알림 (이메일/알림톡/푸시 등)를 받습니다.

    모집 현황

    • 웹프론트엔드

      0/2
    • 웹 서버

      0/1
    • DB/빅데이터/DS

      0/1
    * 지원 시, 아래는 필수 입력값입니다 ✍️ (총3개) 이메일, 지원직군, 지원사유

    출시 플랫폼

    반응형 웹(PC/모바일)
    AI의 사업성 분석AI에 의해 분석된 사업평가로, 렛플의 의견이 아닙니다.
    1) 단기/중기/장기 관점에서 주요 소비자의 특성이나 규모 그리고 니즈분석
    - 단기적 : 기업들은 데이터 분석을 통해 비즈니스 결정을 내리고 있습니다. 현재 비개발자들이 데이터베이스를 이해하고 분석하는 것은 어려움을 겪고 있을 것입니다. 이를 통해 초기 고객으로 기업의 비개발 직군인 기획자나 마케터들을 대상으로 할 수 있습니다. 이들의 니즈는 복잡한 데이터베이스 스키마 이해없이 비즈니스의 투명성을 높여주고, 데이터 분석 측면에서의 업무 효율성을 극대화하기 위함입니다.
    - 중기적 : 론칭 직후에, 복잡한 데이터 스키마를 보다 쉽게 관리하고자 하는 소규모 ~ 중대형 IT 회사로 확장할 수 있습니다. 그들의 니즈는 업무 효율성 향상, 복잡성 감소, 그리고 DB 관리 비용 절감입니다.
    - 장기적 : 국제적인 시장으로 확장하여, 경우에 따라 엔터프라이즈 수준의 조직으로 고객 범위를 확대하면서 사용자 중심의 데이터 분석 도구를 제공하려 할 것입니다. 이들의 니즈는 빅데이터 분석, 데이터 보안, 보다 효율적인 비즈니스 전략 수립 등이 될 것입니다.
    2) 현재 시장성과 향후 3년간 시장 추세와 그 이유
    - DBair와 같은 DB 관리 도구의 시장은 끊임없이 성장하고 있습니다. 이는 데이터의 중요성이 증가하고, 그로 인해 데이터 관리와 분석의 필요성이 높아지고 있기 때문입니다. OECD 보고서에 따르면 빅데이터 시장의 예상 성장률은 연평균 12%로, 2025년까지 시장 규모는 2290억 달러로 증가할 것으로 예상됩니다. 이에 따라 데이터 관리 도구에 대한 수요도 증가할 것으로 예상됩니다. 이러한 트렌드 속에서는 사용자 친화적인 디자인과 향상된 기능을 제공하는 도구가 경쟁우위를 가질 것입니다.
    3) 시장에서 경쟁력을 가지기위한 차별화 기능이나 전략
    - 사용자 친화적 인터페이스 : 기존 DB 관리 도구는 기술적 지식을 요구하는 경우가 많습니다. DBair는 사용자 경험을 중심으로 한 디자인을 채택해 비개발 직군 또한 쉽게 사용할 수 있습니다.
    - 데이터 시각화 : 분석 결과를 시각화하여 이해를 돕는 기능을 제공합니다.
    - 협업 기능 : 프로젝트나 분석 결과를 다른 팀원과 공유하고 협업할 수 있는 기능을 제공합니다.
    4) 출시플랫폼 및 그 이유
    - 처음에는 웹 기반 서비스를 통해 출시하려 합니다. 웹 플랫폼은 사용자가 소프트웨어를 설치할 필요가 없고 어디서든 접근 가능하며 유지보수가 용이하기 때문입니다. 이후 시장 반응과 사용자 니즈에 따라 모바일 앱으로 확장할 계획입니다.
    5) 초기 시장 진입전략
    - 제품 홍보 : 자체 SNS 채널, 블로그, PR 기사 등을 통해 제품에 대한 홍보를 진행합니다.
    - 파트너십 구축 : IT 회사, 스타트업, 기업에 프로덕트를 제공하고 그들의 방대한 데이터를 분석하는데 도움을 주는 파트너십을 구축합니다.
    - 사용자 경험 개선 : 사용자 피드백을 적극 수용하고 이를 바탕으로 제품을 개선합니다.
    6) 시장을 확대하기위한 전략
    - 다양한 데이터 분석 기능 추가 : 사용자들의 다양한 요구를 수용하기 위해 시간이 지남에 따라 다양한 데이터 분석 기능을 추가하려 합니다.
    - 지속적인 마케팅 : 제품 업그레이드나 새로운 기능을 추가할 때마다 적극적으로 홍보하려 합니다.
    - 국제적으로 확장 : 초기에는 국내 market을 대상으로 하지만, 중장기적으로는 국제 market으로 확장하려 합니다. 이를 위해 제품을 로컬라이즈하고 현지 파트너십을 구축하는 등의 전략을 수립하려 합니다.

    소개

    프로젝트 시작 동기

    프로덕션 레벨의 IT 서비스의 경우 데이터베이스 스키마가 복잡합니다.

    수백 개의 데이터베이스, 수천 개의 테이블, 어 다르고 아 다른 칼럼 명, NoSQL과의 연동까지. 비즈니스 요구사항에 충족하기 위해서

    복잡한 데이터 스키마 설계를 해야 하지만, 훌륭한 개발자들은 설계해냅니다.

    하지만 비 개발 직군에서도 데이터 분석의 필요성이 높아짐에 따라,

    그 복잡한 데이터베이스 스키마 이해력이 최근엔 비개발자 분들에게도 요구됩니다.

    물론 그분들에게 DBA 지식을 익히라 할 수 있지만, 그 보다는 자신의 본래 업무 (데이터를 뽑아서 시각화 하고 분석하는 작업)에

    집중하도록 하는 것이 효율적일 것입니다.

    따라서 저는 데이터베이스의 설계와 데이터 활용에 있어서, 개발자와 비개발자(기획자, 마케터 등)가

    서로 소통을 하고 쉽게 협업을 할 수 있는 툴, DBair를 만들고자 합니다.





    DBair의 주요 기능


    1. 수십 수백 개의 데이터베이스와 테이블을 폴더구조로 정리해두고 각 폴더에 markdown이 지원되는 description을 작성해두어서,

    비개발자가 해당 테이블이 어떤 정보를 담고 있는 상황인지 바로 파악할 수 있습니다.


    2. 마케터나 기획자가 데이터를 분석하고자 할 때 (ex. "할인 이벤트 번호 22-0135의 배너를 클릭해서 들어온 유저가 상품을 결제했다가 환불했을 때, 결제-환불까지 몇 시간이 걸렸는지 분석해보자") 분석에 필요한 정보 (할인 이벤트 정보, 유저의 배너 클릭 로그, 결제 datetime, 환불 datetime 등)을 어떤 데이터베이스의 어떤 테이블의 어떤 칼럼에서 뽑아와야 하는지
    빠르고 명확하게 찾아낼 수 있도록 서치 테이블을 제공합니다.

    3. 어떤 객체 (데이터베이스든, 테이블이든 칼럼이든)에 GUI로 마우스 호버했을 때, 간략한 메타 정보를 바로 마우스 옆에서 display 해줍니다. (용량, 생성일시, 데이터의 average, 분산도, Null 비율 등)


    4. 웹에서 SQL을 작성하여 돌려서 결과를 확인합니다.


    5. 결과 정보를 쉽게 차트화 할 수 있습니다. (tableau의 기능)


    6. 차트에다가 설명을 붙여가며 분석한 것을 기록합니다. (jupyter notebook 형식으로 차트와 디스크립션을 작성)


    7. 자신이 만들어낸 분석 기록을 동료와 공유할 수 있습니다.


    8. 타 동료가 그 분석 기록을 fork (github의 기능)하여 분석을 수정 및 변형 및 개선 할 수 있습니다.




    예상하는 기술 스택


    1. 리액트 및 그 주변 라이브러리 : 웹 페이지 상에서 툴을 이용할 수 있도록 합니다.

    2. NginX + ASGI + fastAPI : 유저 인증 기능과 분석 기록을 저장 및 공유할 수 있도록 하기 위함입니다. ASGI를 사용하는 이유는, 데이터베이스 쿼리를 실행함으로써 발생하는 IO가 빈번하기 때문입니다.

    3. 차트 라이브러리 : SELECT 해온 데이터를 간편하게 시각화 할 수 있는 기능을 제공해야 합니다.

    4. web editor 라이브러리 : 비개발자가 분석 결과에 markdown으로 설명을 작성할 수 있는 기능을 제공해야 합니다.

    5. AWS, google cloud platform : 클라우드 상에서 호스팅하고, 유저들이 작성하는 sql 스크립트와 분석 결과 노트를
    S3에 저장합니다.



    활용하고자 하는 오픈 소스

    https://github.com/schemaspy/schemaspy
    https://github.com/datahub-project/datahub
    https://github.com/apache/superset




    모집 팀원

    1. 기본적인 기술력은 뒷받침 되어 있고, 다음 질문에 나름대로 해답을 가지고 계신 프론트 개발자, 백엔드 개발자, 데이터 엔지니어, DBA 등등..

    1-1. 유저가 " SELECT * FROM order limit 10000000" 쿼리를 수행하여 데이터를 가져오려고 할 때, 로직 플로우를 설계 해야 좋을까요?

    1-2. fastAPI 서버에 쿼리를 보내고, 거기서 클라이언트 데이터베이스에 접근하여 쿼리를 수행한 후 결과를 받아와서, 다시 프론트로 쏴줄까요? 아니면 웹 javascript에서 바로 데이터베이스에 접근하여 결과를 받아올까요?

    1-3. 어디서 하던, 10000000개의 row 데이터는 다루기에 엄청 많습니다. 유저가 요청한 결과를 가볍고 효율적으로 다룰 수 있는 전략은 뭐가 있을까요?

    1-4. 유저가 복잡한 쿼리문을 작성하여 성공적으로 원하는 데이터들을 얻었습니다. 유저가 굉장히 뿌듯해하네요. 동료 마케터들이 쿼리문 좀 공유해달라고 아우성칩니다. 이 때, 쿼리문 관리를 어떻게 해주어야 하며 어떻게 구현을 해야 할까요?

    1-5. 마케터가 분석 결과를 동료 마케터들에게 공유하여 이것저것 커스터마이징 되기 시작합니다. 우리가 코드를 형상관리 하는 것처럼, 이 분석 결과 문서도 형상 관리를 할 수 있는 기능을 구현할 수 있나요?

    1-6. 데이터가 테이블 형태로 있을 때, 유저가 GUI로 그것을 차트화할 수 있는 인터페이스를 구현할 수 있나요?


    2. 일주일에 오프라인 회의 1회, 화상 회의 2회 가능하신 분

    3. 책임감 있게 프로젝트를 수행해 가실 분.

    직장인이시라면, 직장 업무와 겸하면서 사이드 프로젝트를 충분히 할 수 있을지 고민해주세요.
    예비 개발자 분이시라면, 자신이 해당 기능을 구현할 수 있을지 사전 조사를 충분히 해주세요.




     향후 계획


    1. 성공적으로 프로그램이 만들어진다면, 국내 스타트업들에게 배포할 것입니다.

    2. 서울 혁신 챌린지(shorturl.at/eruv7) 접수할 것입니다.
    기획서가 통과되면 시제품 제작 비용 2000만원이 지원되고, 발표평가가 통과되면 사업화 자금 1억원이 지원됩니다.




    Contact

    1. 참가 신청을 위해 "렛플 지원하기"를 이용하세요.
    2. 궁금한 점이 있으시면 여기 들어오셔서 물어보실 수 있습니다. https://open.kakao.com/o/sskmc6xe

    기술/언어

    • Typescript

      #Typescript

    • React

      #React

    • Python

      #Python

    • FastAPI

      #FastAPI

    • #sql

    • #nosql

    • AWS

      #AWS

    한줄 소식

    • 아직 새로운 소식이 없습니다

    멤버

    이 프로젝트는 지원을 기다리는 중😁

    프로젝트 지원하기

    리더 정보

    gonglee

    gonglee

    휴대폰 인증완료리더 응답률 : 내역이 없습니다

    프로젝트 기간

    22.08.29 ~23.02.28  (184일)

    프로젝트 분야

    생산성/도구

    구독중인 렛플인 0