Amundsen jest silnikiem wyszukiwania danych i metadanych w celu poprawy wydajności analityków danych, analityków danych i inżynierów podczas interakcji z danymi. Robi to dzisiaj, indeksując zasoby danych (tabele, pulpity nawigacyjne, strumienie itp.) i uruchamianie wyszukiwania stylu page-rank w oparciu o wzorce użytkowania (np., tabele z dużym zapytaniem pojawiają się wcześniej niż tabele z mniejszym zapytaniem). Pomyśl o tym jak o wyszukiwaniu danych w Google. Nazwa projektu pochodzi od nazwiska norweskiego odkrywcy Roalda Amundsena, który jako pierwszy odkrył Biegun Południowy.

Amundsen jest obsługiwany przez AI LF& Data Foundation. Zawiera trzy mikroserwisy, jedną bibliotekę pozyskiwania danych i jedną wspólną bibliotekę.

  • amundsenfrontendlibrary: usługa Frontend, która jest aplikacją Flask z interfejsem Reactowym.,
  • amundsensearchlibrary: usługa wyszukiwania, która wykorzystuje Elasticsearch do wyszukiwania, służy do wyszukiwania metadanych w interfejsie.
  • amundsenmetadatalibrary: usługa metadanych, która wykorzystuje Neo4j lub Apache Atlas jako trwałą warstwę, aby zapewnić różne metadane.
  • amundsendatabuilder: biblioteka pozyskiwania danych do tworzenia wykresów metadanych i indeksów wyszukiwania. Użytkownicy mogli załadować dane za pomocą skryptu Pythona z biblioteką lub za pomocą dag Airflow importującego bibliotekę.,
  • amundsencommon: Amundsen Common library przechowuje wspólne kody wśród mikroserwisów w Amundsen.
  • amundsengremlin: biblioteka gremlina Amundsena przechowuje kod używany do konwersji obiektów modelu na wierzchołki i krawędzie w gremlinie. Służy do ładowania danych do backendu AWS Neptune.
  • amundsenrds: amundsenrds zawiera modele ORM do obsługi relacyjnej bazy danych jako zaplecza metadanych w Amundsen. Schemat w modelach ORM jest zgodny z logiką modeli databuilder., Amundsenrds będzie używany w databuilder i metadatalibrary do przechowywania i pobierania metadanych z relacyjnych baz danych.

Strona główna¶

    dokumentacja¶

      wymagania¶

      • Python = 3.6 lub 3.7
      • Node = v10 lub v12 (v14 może mieć problemy ze zgodnością)
      • npm >= 6

      interfejs użytkownika¶

      należy pamiętać, że makiety obrazów służyły tylko jako cel demonstracyjny.

      • Landing Page: Strona docelowa dla Amundsena, w tym 1. search bars; 2., popularne używane tabele;

      • podgląd wyszukiwania: Zobacz Wyniki wyszukiwania inline podczas wpisywania

      • strona szczegółów tabeli: Wizualizacja tabeli Hive / Redshift

      • szczegóły kolumn: wizualizacja kolumn tabeli hive / Redshift, która zawiera opcjonalny wyświetlacz statystyk

      • strona podglądu danych: wizualizacja podglądu danych tabeli, która może zostać zintegrowana z Apache Superset lub innymi narzędziami do wizualizacji danych.,

      włącz się do społeczności

      chcesz pomóc lub chcesz pomóc?Użyj przycisku w naszym nagłówku, aby dołączyć do naszego kanału slack. Wpłaty są również mile widziane! Jak wyjaśniono w CONTRIBUTING.md istnieje wiele sposobów, aby przyczynić się, to nie wszystko musi być kod z nowych funkcji i poprawek błędów, a także dokumentacji, jak wpisy FAQ, zgłoszenia błędów, blogów dzielenie doświadczeń itp. wszyscy pomóżcie amundsenowi ruszyć naprzód. Jeśli znajdziesz lukę w zabezpieczeniach, postępuj zgodnie z tym przewodnikiem.,

      pierwsze kroki¶

      aby szybko uruchomić domyślną wersję Amundsen z atrapami danych, odwiedź dokumentację instalacji Amundsen.

      przegląd architektury¶

      odwiedź Stronę Architektura, aby uzyskać przegląd architektury Amundsena.

      obsługiwane podmioty¶

      • tabele (z baz danych)
      • ludzie (z systemów HR)
      • pulpity nawigacyjne

      obsługiwane integracje¶

      Złącza tabel¶

      • Amazon Athena
      • Amazon Glue i wszystko, co na nim zbudowane (jak Databricks Delta – która jest w toku).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (through dbapi or sql_alchemy)
      • PostgreSQL,
      • wkrótce
      • Vertica
      • płatki śniegu

      Amundsen can also connect to any database that provides dbapi or sql_alchemy interface (which most DBS provide).,

      Złącza do desek rozdzielczych¶

      • Analiza trybu
      • Redash
      • Tableau

      orkiestracja ETL¶

      • przepływ powietrza Apache

      narzędzie BI Viz¶

      • Apache Superset

      instalacja¶

      proszę odwiedzić wytyczne dotyczące instalacji Amundsen.

      Mapa Drogowa¶

      Zapraszamy do odwiedzenia mapy drogowej, jeśli jesteś zainteresowany nadchodzącymi punktami mapy drogowej Amundsen.,

      wpisy na blogu i wywiady¶

      • Amundsen – Lyft ' s data discovery & metadata engine (kwiecień 2019)
      • Software Engineering Daily podcast on Amundsen (kwiecień 2019)
      • jak Lyft napędza wykrywanie danych (lipiec 2019)
      • Podcast Data Engineering o rozwiązywaniu wykrywania danych w lyft (sierpień 2019)
      • open sourcing Amundsen: a data discovery and metadata Platform (październik 2019)
      • dodanie jakości danych do Amundsen z programowymi opisami sama Shustera z Edmunds.,
      • Lyft ' s Amundsen: Data-Discovery with Built-In Trust
      • How to find and organizer your data from the command-line
      • Data Discovery Platform at Bagelcode
      • narzędzia katalogowania dla zespołów danych
      • przegląd Platform wykrywania danych i rozwiązań Open Source
      • Hacking Data Discovery in AWS with Amundsen at SEEK
      • przewodnik krok po kroku Amundsen na platformie Google Cloud

      spotkania społeczności¶

      spotkania społeczności odbywają się w pierwszy czwartek każdego miesiąca o 9 rano Pacyfiku, południe Eastern, 6 pm czasu środkowoeuropejskiego., Link do przyłączenia się

      najbliższe spotkania& uwagi¶

      w tym dokumencie możesz podać dokładną datę następnego spotkania i porządek obrad na kilka tygodni przed spotkaniem.

      notatki ze wszystkich poprzednich spotkań są dostępne tutaj.

      kto używa Amundsena?¶

      oto lista organizacji, które korzystają dziś z Amundsena. Jeśli Twoja organizacja korzysta z Amundsen, zgłoś PR i zaktualizuj tę listę.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Technology
    • Coles Group
    • Convoy
    • Data Sprints
    • Dcard
    • Devoted Health
    • DHI Group
    • Jeden
    • Everfi
    • Smak
    • Hurb
    • ING
    • Instacart
    • iRobot
    • Nocleg
    • LM
    • Loft
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUB
    • Szybko
    • REA Group
    • Remitly
    • Square
    • WeTransfer
    • Workday

      • Apache 2.,0 licencji.