Amundsen ist eine Datenentdeckungs-und Metadaten-Engine zur Verbesserung der Produktivität von Datenanalysten, Datenwissenschaftlern und Ingenieuren bei der Interaktion mit Daten. Dies geschieht heute durch Indizierung von Datenressourcen (Tabellen, Dashboards, Streams usw.) und eine Suche im Page-Rank-Stil basierend auf Nutzungsmustern (z., stark abgefragte Tabellen werden früher als weniger abgefragte Tabellen angezeigt). Betrachten Sie es als Google-Suche nach Daten. Das Projekt ist nach dem norwegischen Entdecker Roald Amundsen benannt, der als erster den Südpol entdeckte.

Amundsen wird gehostet von der LF AI & Datengrundlage. Es enthält drei Microservices, eine Datenaufnahmebibliothek und eine gemeinsame Bibliothek.

  • amundsenfrontendlibrary: Frontend-Dienst, der eine Flask-Anwendung mit einem React-Frontend ist.,
  • amundsensearchlibrary: Der Suchdienst, der Elasticsearch für Suchfunktionen nutzt, wird verwendet, um die Suche nach Frontend-Metadaten zu ermöglichen.
  • amundsenmetadatalibrary: Metadata Service, der Neo4j oder Apache Atlas als persistente Schicht nutzt, um verschiedene Metadaten bereitzustellen.
  • amundsendatabuilder: Data ingestion Bibliothek für das erstellen von Metadaten-Grafik und-Suche-index. Benutzer können die Daten entweder mit einem Python-Skript mit der Bibliothek oder mit einer Airflow-DAG laden, die die Bibliothek importiert.,
  • amundsencommon: Die gemeinsame Bibliothek von Amundsen enthält gemeinsame Codes zwischen Mikrodiensten in Amundsen.
  • amundsengremlin: Die Amundsen Gremlin-Bibliothek enthält Code zum Konvertieren von Modellobjekten in Eckpunkte und Kanten in Gremlin. Es wird zum Laden von Daten in ein AWS Neptune-Backend verwendet.
  • amundsenrds: Amundsenrds enthält ORM-Modelle zur Unterstützung der relationalen Datenbank als Metadaten-Backend-Speicher in Amundsen. Das Schema in ORM-Modellen folgt der Logik von Datenbildermodellen., Amundsenrds wird in Databuilder und Metadatalibrary zum Speichern und Abrufen von Metadaten mit relationalen Datenbanken verwendet.

Homepage¶

    Dokumentation¶

      Anforderungen¶

      • Python = 3.6 oder 3.7
      • Node = v10 oder v12 (v14 kann Kompatibilitätsprobleme haben)
      • npm >= 6

      User Interface¶

      Bitte beachten Sie, dass die Scheinbilder nur als Demonstrationszweck dienten.

      • Landing Page: Die landing-page für Amundsen einschließlich 1. Suche nach bars; 2., beliebte benutzte Tabellen;

      • Suchvorschau: Siehe Inline-Suchergebnisse, während Sie

      • Tabelle Detailseite: Visualisierung einer Hive / Redshift-Tabelle

      • Spaltendetail: Visualisierung von Spalten einer Hive / Redshift-Tabelle, die eine optionale Statistikanzeige enthält

      • Datenvorschauseite: Visualisierung der Tabellendatenvorschau, die in Apache-Obermenge oder andere Datenvisualisierungstools integriert werden kann.,

      Engagiere dich in der Community¶

      Willst du Hilfe oder willst du helfen?Verwenden Sie die Schaltfläche in unserer Kopfzeile, um unserem Slack-Kanal beizutreten. Beiträge sind auch mehr als willkommen! Wie erklärt in CONTRIBUTING.md es gibt viele Möglichkeiten, einen Beitrag zu leisten, es muss nicht alles Code mit neuen Funktionen und Fehlerkorrekturen sein, auch Dokumentation, wie FAQ-Einträge, Fehlerberichte, Blog-Posts, die Erfahrungen teilen usw. alle helfen Amundsen weiter. Wenn Sie eine Sicherheitslücke finden, folgen Sie bitte dieser Anleitung.,

      Erste Schritte¶

      Bitte besuchen Sie die Amundsen-Installationsdokumentation für einen schnellen Start, um eine Standardversion von Amundsen mit Dummy-Daten zu booten.

      Architekturübersicht¶

      Bitte besuchen Sie Architektur für Amundsen Architekturübersicht.

      Unterstützte Entitäten¶

      • Tabellen (aus Datenbanken)
      • Personen (aus HR – Systemen)
      • Dashboards

      Unterstützte Integrationen¶

      Tabellenanschlüsse¶

      • Amazon Athena
      • Amazon Glue und alles, was darüber gebaut wurde (wie Databricks Delta-was in Arbeit ist).,
      • Amazon Rotverschiebung
      • der Apache-Cassandra
      • der Apache Druid
      • der Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (through dbapi or sql_alchemy)
      • PostgreSQL
      • Bald
      • Her
      • Schneeflocke

      Amundsen can also connect to any database that provides dbapi or sql_alchemy interface (which most DBs provide).,

      Dashboard-Anschlüsse¶

      • Modus-Analytics
      • Redash
      • Tableau

      ETL-Orchestrierung¶

      • der Apache-Airflow

      BI-Viz Tool¶

      • der Apache Superset

      Installation¶

      besuchen Sie Bitte die Installation guideline on how to install Amundsen.

      Roadmap¶

      Bitte besuchen Sie Roadmap, wenn Sie an den kommenden Roadmap-Elementen von Amundsen interessiert sind.,

      Blog-Beiträge und Interviews¶

      • Amundsen – Lyft ‚ s data discovery & Metadaten-engine (April 2019)
      • Software Engineering Daily podcast Amundsen (April 2019)
      • Wie Lyft Laufwerke Data Discovery (Juli 2019)
      • Data Engineering podcast auf die Lösung von Data Discovery At Lyft (Aug 2019)
      • Open Source Amundsen: Ein Auffinden von Daten-Und Metadaten-Plattform (Okt 2019)
      • Hinzufügen von Data-Quality-in Amundsen mit Programmatischen Beschreibungen von Sam Shuster von Edmunds.,Landschaft
      • Lyfts Amundsen: Datenerkennung mit integriertem Vertrauen
      • So finden und organisieren Sie Ihre Daten über die Befehlszeile
      • Datenerkennungsplattform bei Bagelcode
      • Katalogisierungstools für Datenteams
      • Eine Übersicht über Datenerkennungsplattformen und Open-Source-Lösungen
      • Hacking Data Discovery in AWS mit Amundsen bei SEEK
      • Eine Schritt-für-Schritt-Anleitung zur Bereitstellung von Amundsen bei Google Cloud Platform

      Community Meetings¶

      Community Meetings finden jeden ersten Donnerstag im Monat um 9 Uhr Pazifik, 12 Uhr Ost, 18 Uhr mitteleuropäischer Zeit statt., Link zum beitreten

      Anstehende meetings & Notizen¶

      Sie können das genaue Datum für die nächste Sitzung und die Tagesordnung ein paar Wochen vor der Sitzung, in der das doc.

      Notizen aus allen vergangenen Besprechungen finden Sie hier.

      Wer benutzt Amundsen?¶

      Hier ist die Liste der Organisationen, die Amundsen heute verwenden. Wenn Ihre Organisation Amundsen verwendet, reichen Sie bitte eine PR ein und aktualisieren Sie diese Liste.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo-auftritt
    • Cimpress Technology
    • Coles Group
    • Convoy
    • Data Sprints
    • Dcard
    • Devoted Health
    • DHI Group
    • Edmunds
    • Everfi
    • Geschmack
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Lett
    • LMC
    • Loft
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Schnell
    • REA Group
    • Remitly
    • Square
    • WeTransfer
    • Duration

      • der Apache-2.,0-Lizenz.