Amundsen é uma descoberta de dados e metadados do motor para melhorar a produtividade dos analistas de dados, dados de cientistas e engenheiros, ao interagir com os dados. Ele faz isso hoje, indexando os recursos de dados (tabelas, painéis, fluxos, etc.) e alimentando uma pesquisa de estilo page-rank baseada em padrões de uso (e.g., as tabelas altamente questionadas aparecem mais cedo do que as tabelas menos questionadas). Pense nisso como pesquisa de dados do Google. O projeto recebeu o nome do explorador norueguês Roald Amundsen, a primeira pessoa a descobrir o Polo Sul.

Amundsen é hospedado pela LF AI & Data Foundation. Ele inclui três micro-serviços, uma biblioteca de ingestão de dados e uma biblioteca comum.

  • amundsenfrontendlibrary: Frontend service which is a Flask application with a React frontend.,
  • amundsensearch library: Search service, which leverages Elasticsearch for search capabilities, is used to power frontend metadata searching.
  • amundsenmetadatalibrary: Metadata service, which leverages Neo4j or Apache Atlas as the persistent layer, to provide various metadata.
  • amundsendatabuilder: Data ingestion library for building metadata graph and search index. Os usuários podem carregar os dados com um script python com a biblioteca ou com um DAG Airflow importando a biblioteca.,
  • amundsencommon: Amundsen Common library holds common codes among microservices in Amundsen.
  • amundsengremlin: Amundsen Gremlin library holds code used for converting model objects into vertices and edges in gremlin. É usado para carregar dados numa infra-estrutura AWS Neptune.
  • amundsenrds: Amundsenrds contains ORM models to support relational database as metadata backend store in Amundsen. O esquema em modelos ORM segue a lógica dos modelos de construção de banco de dados., O Amundsenrds será utilizado no compilador de bases de dados e no metadatalibrário para armazenamento e recuperação de metadados com bases de dados relacionais.

página inicial¶

    Documentação¶

      Requisitos¶

      • Python = 3.6 ou 3.7
      • Node = v10 ou v12 (v14 podem ter problemas de compatibilidade)
      • npm >= 6

      Interface de Usuário¶

      por Favor, note que a simulação de imagens serviu apenas como demonstração finalidade.página de destino: a página de destino de Amundsen, incluindo 1. barras de busca; 2., popular tabelas utilizadas;

    • Busca de Visualização: Veja inline resultados de pesquisa enquanto você digita

    • Detalhes da Tabela de Página: Visualização de uma Seção / Redshift tabela

    • detalhes da Coluna: Visualização de colunas de uma Seção / Redshift tabela que inclui um opcional estatísticas de exibição

    • Página de Visualização de Dados: Visualização da tabela de visualização de dados que pode integrar com o Apache Superconjunto ou outras Ferramentas de Visualização de Dados.,

    Get Involved in the Community¶

    Want help or want to help?Use o botão no nosso cabeçalho para se juntar ao nosso canal slack. As contribuições também são mais do que bem-vindas! Como explicado em CONTRIBUTING.md existem muitas maneiras de contribuir, nem tudo tem que ser Código com novas funcionalidades e correções de bugs, também documentação, como entradas FAQ, relatórios de bugs, blogs compartilhando experiências etc. todos ajudam a mover Amundsen para a frente. Se você encontrar uma vulnerabilidade de segurança, por favor, siga este guia.,

    iniciando¶

    por favor, visite a documentação de instalação de Amundsen para um rápido início de bootstrap uma versão padrão de Amundsen com dados fictícios.

    Visão Geral da arquitectura

    por favor, visite a arquitectura para a visão geral da arquitectura Amundsen.

    Suporte para Entidades¶

    • Tabelas (a partir de Bancos de dados)
    • Pessoas (a partir de sistemas de RH)
    • Painéis

    Suporte Integrações¶

    Tabela de Conectores¶

    • Amazon Athena
    • Amazon Cola e qualquer coisa construída sobre ele (como Databricks Delta – que é um trabalho em progresso).,
    • o Amazon Redshift
    • Apache Cassandra
    • Apache Druida
    • o Apache Hive
    • CSV
    • Delta Lago
    • o Google BigQuery
    • IBM DB2
    • Microsoft SQL Server
    • MySQL
    • Oracle (através dbapi ou sql_alchemy)
    • PostgreSQL
    • em Breve
    • Vertica
    • floco de Neve

    Amundsen também pode se conectar a qualquer banco de dados que fornece dbapi ou sql_alchemy interface (que a maioria dos DBs fornecer).,

    Painel de Conectores¶

    • Modo de Analytics
    • Redash
    • Tableau

    ETL Orquestração¶

    • Apache Fluxo de ar

    BI Viz Ferramenta¶

    • Apache Superconjunto

    Instalação¶

    por Favor, visite a Instalação de linhas de orientação sobre como instalar Amundsen.

    Roadmap¶

    por favor, visite Roadmap se estiver interessado nos próximos itens do roadmap Amundsen.,

    Posts e Entrevistas¶

    • Amundsen – Lyft da descoberta de dados & metadados (mecanismo de abril de 2019)
    • Engenharia de Software Diariamente podcast no Amundsen (abril de 2019)
    • Como Lyft Unidades de Dados de Descoberta (julho de 2019)
    • Engenharia de Dados podcast na Resolução de Descoberta de Dados Em Lyft (Agosto de 2019)
    • Open Sourcing Amundsen: Uma Descoberta de Dados E de Metadados (Plataforma de Outubro de 2019)
    • Adicionando a Qualidade dos Dados em Amundsen Programático Descrições por Sam Shuster de Edmunds.,Paisagem
    • Lyft do Amundsen: Dados de Descoberta com Built-In de Confiança
    • Como encontrar e organizar os dados a partir da linha de comando
    • Dados de Descoberta de Plataforma em Bagelcode
    • Ferramentas de Catalogação de Dados Equipes
    • Uma Visão geral dos Dados de Descoberta de Plataformas e Soluções de código Aberto
    • Hacking de Descoberta de Dados no AWS com Amundsen em PROCURAR
    • Um passo-a-guia passo a passo implantando Amundsen no Google Cloud Plataforma

    reuniões com a Comunidade¶

    reuniões com a Comunidade são realizados na primeira quinta-feira de cada mês, às 9 da manhã do Pacífico, o Meio-Leste, 6 PM Hora Central Europeia., Link to join

    Upcoming meetings & notes¶

    you can the exact date for the next meeting and the agenda a few weeks before the meeting in this doc.as notas de todas as reuniões anteriores estão disponíveis aqui.quem usa Amundsen?

    Aqui está a lista de organizações que estão usando Amundsen hoje. Se a sua organização utilizar Amundsen, por favor, envie um PR e actualize esta lista.,Bagelcode

  • Bang & Olufsen
  • Brex
  • Pequena
  • Cimpress Tecnologia
  • Grupo Coles
  • Comboio
  • Data Corre
  • Dcard
  • Dedicado Saúde
  • Grupo DHI
  • Edmunds
  • Everfi
  • Gosto
  • Hurb
  • ING
  • Instacart
  • iRobot
  • Flash
  • LMC
  • Loft
  • Lyft
  • Merlin
  • PicPay
  • Plarium Krasnodar
  • PUBG
  • Rápida
  • REA de Grupo
  • Remitly
  • Quadrado
  • WeTransfer
  • Dia

    • o Apache 2.,0 licença.