lesweken

Amundsen is een data discovery en metadata motor voor het verbeteren van de productiviteit van de data-analisten, gegevens wetenschappers en ingenieurs bij de interactie met de gegevens. Het doet dat vandaag door het indexeren van gegevensbronnen (tabellen, dashboards, streams, enz.) en het aandrijven van een page-rank stijl zoeken op basis van gebruikspatronen (bijv., zeer opgevraagde tabellen verschijnen eerder dan minder opgevraagde tabellen). Zie het als Google Zoeken naar gegevens. Het project is vernoemd naar de Noorse ontdekkingsreiziger Roald Amundsen, de eerste persoon die de Zuidpool ontdekte.

Amundsen wordt gehost door de LF AI & Data Foundation. Het omvat drie microservices, een data inname bibliotheek en een gemeenschappelijke bibliotheek.

  • amundsenfrontendlibrary: Frontend-service die een kolf-toepassing is met een react-frontend.,
  • amundsensearchlibrary: Search service, die gebruik maakt van Elasticsearch voor zoekmogelijkheden, wordt gebruikt om frontend metadata te zoeken.
  • amundsenmetadatalibrary: Metadata service, die gebruik maakt van Neo4j of Apache Atlas als de persistente laag, om verschillende metadata te leveren.
  • amundsendatabuilder: gegevensopname bibliotheek voor het bouwen van metadata grafiek en zoekindex. Gebruikers kunnen de gegevens laden met een python script met de bibliotheek of met een Airflow DAG importeren van de bibliotheek.,
  • amundsencommon: Amundsen Common library bevat gemeenschappelijke codes onder microservices in Amundsen.
  • amundsengremlin: de Amundsen Gremlin-bibliotheek bevat code die wordt gebruikt voor het converteren van modelobjecten naar hoekpunten en randen in gremlin. Het wordt gebruikt voor het laden van gegevens in een AWS Neptune backend.
  • amundsenrds: Amundsenrds bevat ORM-modellen ter ondersteuning van relationele database als metadata-backend-opslag in Amundsen. Het schema in ORM-modellen volgt de logica van databuilder-modellen., Amundsenrds zal worden gebruikt in databuilder en metadatalibrary voor metadata opslag en retrieval met relationele databases.

Homepage¶

    Documentatie¶

      Eisen¶

      • Python = 3.6 of 3.7
      • Node = v10 of v12 (v14 kan compatibiliteitsproblemen)
      • npm >= 6

      Gebruikersinterface¶

      let op: de mock-afbeeldingen alleen diende als voor demonstratie doeleinden.

      • Landing Page: de landing page voor Amundsen inclusief 1. zoekbalken; 2., populaire gebruikte tabellen;

      • Zoeken Voorbeeld: Zie inline-zoekresultaten als je

      • Tabel Detail Pagina: Visualisatie van een Component / Roodverschuiving tabel

      • Kolom detail: de Visualisatie van de kolommen van een Component / Roodverschuiving tabel die is voorzien van een optionele statistieken display

      • Data-Voorbeeld Pagina: Visualisatie van tabel voorbeeld van gegevens die kunnen worden geïntegreerd met Apache Superset of andere Data Visualisatie Tools.,

      betrokken raken bij de Gemeenschap¶

      hulp nodig of hulp nodig?Gebruik de knop in onze header om ons slack-kanaal aan te sluiten. Bijdragen zijn ook meer dan welkom! Zoals uitgelegd in CONTRIBUTING.md er zijn veel manieren om bij te dragen, het hoeft niet allemaal code te zijn met nieuwe functies en bugfixes, ook documentatie, zoals FAQ-items, bug-rapporten, blogberichten die ervaringen delen, enz. help Amundsen vooruit. Als u een beveiligingslek vindt, volg dan deze handleiding.,

      aan de slag¶

      bezoek de Amundsen installatie documentatie voor een snelle start om een standaard versie van Amundsen met dummy data te bootstrappen.

      Architecture Overview¶

      ga naar Architecture for Amundsen architecture overview.

      ondersteunde entiteiten¶

      • tabellen (uit Databases)
      • mensen (uit HR – systemen)
      • Dashboards

      ondersteunde integraties¶

      Table Connectors¶

      • Amazon Athena
      • Amazon Glue and anything built about it (like Databricks Delta-which is a work in progress).,
      • Amazon Roodverschuiving
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (door dbapi of sql_alchemy)
      • PostgreSQL
      • Snel
      • Vertica
      • Sneeuwvlok

      Amundsen kunt ook verbinding maken met elke database die voorziet dbapi of sql_alchemy interface (die de meeste DBs bieden).,

      Dashboardconnectoren¶

      • Mode Analytics
      • Redash
      • Tableau

      ETL Orchestration¶

      • Apache Airflow

      BI Viz Tool¶

      • Apache Superset

      installatie¶

      Ga naar Installation guideline on how to install Amundsen.

      Roadmap¶

      bezoek Roadmap als u geïnteresseerd bent in de aankomende roadmap-items van Amundsen.,

      blogberichten en Interviews¶

      • Amundsen – Lyft ‘ s data discovery& Metadata engine (April 2019)
      • Software Engineering Daily podcast on Amundsen (April 2019)
      • Hoe Lyft Data Discovery aanstuurt (Juli 2019)
      • Data Engineering podcast on Solving Data Discovery At Lyft (Aug 2019))
      • open sourcing Amundsen: a data discovery and metadata platform (okt 2019)
      • het toevoegen van data quality in Amundsen met programmatische beschrijvingen door Sam Shuster van Edmunds.,Landschap
      • Lyft de Amundsen: Data-Discovery met Ingebouwde Vertrouwen
      • het zoeken en ordenen van uw gegevens vanaf de commando-regel
      • Data Discovery Platform op Bagelcode
      • het Catalogiseren van Tools voor Data-Teams
      • Een Overzicht van de Data Discovery-Platforms en Open Source Oplossingen
      • het Hacken van de Gegevens Ontdekking in AWS met Amundsen op ZOEKEN
      • Een stap-voor-stap handleiding voor het implementeren van Amundsen op Google Cloud Platform

      bijeenkomsten¶

      Gemeenschap vergaderingen worden gehouden op de eerste donderdag van elke maand om 9 UUR Pacific, ‘ s middags Oost, 6 UUR Midden-Europese Tijd., Link om deel te nemen aan

      aankomende vergaderingen & notes¶

      u kunt de exacte datum voor de volgende vergadering en de agenda enkele weken voor de vergadering in dit document zien.

      Notities van alle voorgaande vergaderingen zijn hier beschikbaar.

      Wie gebruikt Amundsen?¶

      Hier is de lijst van organisaties die Amundsen vandaag gebruiken. Als uw organisatie Amundsen gebruikt, dien dan een PR in en werk deze lijst bij.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Technologie
    • Coles Groep
    • Konvooi
    • Datum Sprints
    • Dcard
    • Gewijd Gezondheid
    • DHI Groep
    • Edmunds
    • Everfi
    • Smaak
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Flash
    • LMC
    • Zolder
    • Lyft
    • Merlijn
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Snel
    • REA-Fractie
    • Remitly
    • Square
    • WeTransfer
    • Dag

      • Apache 2.,0 rijbewijs.