문센 데이터 검색 및 메타데이터 엔진해 생산성을 개선하는 데이터의 분석가,데이터 과학자와 엔지니어의 상호 작용할 때이터를 활용하고 있습니다. 오늘날 데이터 리소스(테이블,대시 보드,스트림 등)를 인덱싱하여이를 수행합니다.)및 사용 패턴을 기반으로 페이지 순위 스타일 검색 강화(예:, 고도로 쿼리 된 테이블은 덜 쿼리 된 테이블보다 일찍 표시됩니다). 데이터에 대한 Google 검색으로 생각하십시오. 이 프로젝트는 남극을 발견 한 최초의 사람인 노르웨이 탐험가 Roald Amundsen 의 이름을 따서 명명되었습니다.

Amundsen 은 LF AI&Data Foundation 에서 호스팅합니다. 그것은 세 가지 마이크로 서비스,하나의 데이터 수집 라이브러리와 한 가지 일반적인 라이브러리입니다.

  • amundsenfrontendlibrary:react 프론트 엔드가있는 플라스크 응용 프로그램 인 프론트 엔드 서비스.,
  • amundsensearchlibrary:검색 서비스,이동 방법을 활용하여 검색 기능을 사용하는 전력 프론트 엔드 메타데이터입니다.
  • amundsenmetadatalibrary:Neo4j 또는 Apache Atlas 를 영구 계층으로 활용하여 다양한 메타 데이터를 제공하는 메타 데이터 서비스.
  • amundsendatabuilder:데이터 수집 라이브러리 구축을 위한 메타데이터를 그래프로 검색 색인. 사용자는 라이브러리가있는 파이썬 스크립트 또는 라이브러리를 가져 오는 공기 흐름 DAG 로 데이터를로드 할 수 있습니다.,
  • amundsencommon:Amundsen Common library 는 amundsen 의 마이크로 서비스간에 공통 코드를 보유합니다.
  • amundsengremlin:문센 Gremlin 보유 라이브러리 코드로 변환할 때 사용하는 모델을 개체의 정점으로 가장자리에 gremlin. AWS Neptune 백엔드에 데이터를로드하는 데 사용됩니다.
  • amundsenrds:Amundsenrds 포함 ORM 모델을 지원하는 관계형 데이터베이스 메타데이터와 백엔드 저장소에서문센. ORM 모델의 스키마는 databuilder 모델의 논리를 따릅니다., Amundsenrds 는 관계형 데이터베이스를 사용하여 메타 데이터 저장 및 검색을 위해 databuilder 및 metadatalibrary 에서 사용됩니다.

홈페이지¶

    Documentation¶

      요구사항¶

      • Python=3.6 3.7
      • Node=v10 또는 v12(v14 호환성 문제가있을 수 있습니다)
      • npm>=6

      사용자 인터페이스¶

      주는 모의 이미지로 데모 목적이 있다.

      • 방문 페이지:1 을 포함한 아문센의 방문 페이지. 검색 창;2., 인기 있는 테이블을 사용;

      • 검색을 미리보기:볼 인라인 검색 결과 유형

      • 테이블의 세부 사항 페이지: 시각화의 하이브/적색 표

      • 컬럼 세부사항:시각화의 열의 하이브/적색 표시 포함하는 선택적인 통계 디스플레이

      • 데이터를 미리보기 페이지: 시각화의 테이블에 데이터를 미리보기할 수 있는 통합된 아파치 상위 또는 다른 데이터 시각화 도구입니다.,

      커뮤니티에 참여하기¶

      도움을 원하거나 돕고 싶습니까?헤더에있는 버튼을 사용하여 슬랙 채널에 가입하십시오. 기여도 환영보다 더 있습니다! 에 설명된 대로 공헌하고 있다.md 는 방법은 많이 기여하지 않는 모든 코드와 함께 새로운 기능 버그 수정,또는 문서,다음과 같 FAQ 항목,버그 보고,블로그 글 경험을 공유하는 등. 모든 도움이 앞으로 아문센을 이동합니다. 보안 취약점을 발견하면이 가이드를 따르십시오.,

      시작¶

      를 방문하시기 바랍문센 설치 문서에 대한 빠른 시작을 부의 기본 버전문센와 dummy data.

      아키텍처 개요¶

      아문센 아키텍처 개요에 대한 아키텍처를 방문하시기 바랍니다.

      지원체¶

      • 테이블(데이터베이스로부터)
      • 사용(에서 HR 시스템)
      • 대시보드

      지원하는 통합¶

      테이블 커넥터¶

      • 아마존 아테나
      • 아마존 접착제고 아무것도 위에 지어진 그것은(Databricks Delta-는 작업이 진행 중).,
      • ip
      • Apache Cassandra
      • 아파치,드루이드
      • 아파치 하이브
      • CSV
      • 델타 호
      • Google 에 맞
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle(을 통해 dbapi 또는 sql_alchemy)
      • PostgreSQL
      • 곧
      • Vertica
      • 눈

      문센 수 있다 또한 모든 데이터베이스에 연결을 제공하는dbapi또는sql_alchemy인터페이스(대부분 DBs 제공).,

      대시보드 커넥터¶

      • 드 분석
      • Redash
      • Tableau

      ETL 오케스트레이션¶

      • Apache 공기

      BI 즉 도구¶

      • 아파치 상위

      설치¶

      방문하시기 바랍 설치에 대한 지침을 설치하는 방법문센.

      로드맵¶

      Amundsen 다가오는 로드맵 항목에 관심이 있으시면 로드맵을 방문하십시오.,

      블로그 게시물과 인터뷰¶

      • 문센-Lyft 의 데이터 검색을&메타데이터 엔진(월 2019)
      • 소프트웨어 엔지니어링 일일 팟캐스트문센(월 2019)
      • 얼마나 잘 드라이브에 데이터를 검색(월 2019)
      • 데이터 엔지니어링 팟캐스트에 해결하는 데이터 검색에 Lyft(May2019)
      • 오픈 소싱문센 데이터 검색 및 메타데이터 플랫폼(Oct2019)
      • 추가한 데이터 질문센로 프로그래밍 방식의 설명에 의해 샘 슈에서 에드먼즈.,조경
      • Lyft 에 의문센: 데이터 검색에 내장 된 신뢰
      • 는 방법을 찾고 구성하는 데이터에서는 명령줄
      • 데이터 검색 플랫폼에서 Bagelcode
      • 카탈로그 도구에 대한 데이터 팀
      • 데이터의 개요를 발견 플랫폼과 오픈 소스 솔루션
      • 해킹 데이터 검색에 AWS 문센서 찾기
      • A step-by-단계별 가이드를 배포하는문센 Google 클라우드 플랫폼

      커뮤니티 회의¶

      지역 사회 모임에서 개최된 첫 번째 목요일 오전 9 시에 태평양,시 동부,6PM Central European Time., 에 대한 링크를 참

      곧 회의&메모¶

      할 수 있는 정확한 날짜를 위해 다음 회의는 의제는 몇 주 전에는 회의에서 이 doc.

      모든 과거 회의의 메모는 여기에서 확인할 수 있습니다.

      누가 아문센을 사용합니까?¶

      다음은 오늘 아문센을 사용하는 조직의 목록입니다. 조직에서 Amundsen 을 사용하는 경우 PR 을 제출하고이 목록을 업데이트하십시오.,Bagelcode

    • Bang&Olufsen
    • Brex
    • 카메오
    • Cimpress 기술
    • 콜 그룹
    • 호송
    • 일 스프린트
    • Dcard
    • 헌신적 건강
    • DHI 그룹
    • 에드먼즈
    • Everfi
    • 맛
    • Hurb
    • ING
    • Instacart
    • 로봇
    • Flash
    • LMC
    • 로프트
    • Lyft
    • Merlin
    • PicPay
    • Plarium 크라 스노 다르
    • PUBG
    • 빠른
    • 정말이에요 그룹
    • Remitly
    • 사각형
    • WeTransfer
    • Workday

      • 아파치 2.,0 라이센스.