Amundsen on data discovery ja metatiedot moottori tuottavuuden parantamiseksi tietojen analyytikot, data tiedemiehet ja insinöörit, kun vuorovaikutuksessa tiedot. Se tekee sen tänään indeksoimalla dataresursseja (taulukot, kojelaudat, virrat, jne.) ja käynnistetään page-rank – tyylinen haku, joka perustuu käyttötapoihin (esim., erittäin tiedustellut taulukot näkyvät aikaisemmin kuin vähemmän kyselty taulukot). Ajattele sitä Google etsi tietoja. Projekti on nimetty norjalaisen tutkimusmatkailija Roald Amundsenin mukaan, joka löysi ensimmäisenä etelänavan.

Amundsen on isännöi JOS AI & Tietojen Perusta. Siihen kuuluu kolme mikrokytkintä, yksi tiedon niellyskirjasto ja yksi yhteinen kirjasto.

  • amundsenfrontendlibrary: Frontend-palvelu, joka on Flask-sovellus, jonka Reagoivat käyttöliittymää.,
  • amundsensearchlibrary: Haku palvelu, joka hyödyntää Elasticsearch haku ominaisuuksia, käytetään valtaa frontend metatietojen etsiminen.
  • amundsenmetadatalibrary: Metadata-palvelu, joka hyödyntää Neo4j-tai Apache Atlas koska jatkuva kerros, tarjota erilaisia metatietoja.
  • amundsendatabuilder: Tiedot nieleminen library for building metadata kuvaaja ja etsi indeksi. Käyttäjät voivat joko ladata tietoja python script kirjastossa tai Ilmavirralla, DAG tuominen kirjastoon.,
  • amundsenyhteinen: Amundsenin yhteisellä kirjastolla on yhteisiä koodeja Amundsenin mikrokirurgien keskuudessa.
  • amundsengremlin: Amundsen Gremlin kirjasto omistaa koodi, jota käytetään muuntaa malli esineitä kärkipisteet ja reunat riiviö. Sitä käytetään datan lataamiseen AWS: n Neptunuksen taustatukeen.
  • amundsenrds: Amundsenrds sisältää ORM malleja tukemaan relaatiotietokantojen kuten metadata backend myymälä Amundsen. ORM-mallien skeema noudattaa tietopohjaisten mallien logiikkaa., Amundsenrds-tietokantaa käytetään tietokantakehityksessä ja metadatalibraarissa metatietojen tallentamiseen ja hakuun relaatiotietokannoilla.

Kotisivu¶

    Documentation¶

      Vaatimukset¶

      • Python = 3.6 tai 3.7
      • Node = v10 tai v12 (v14 voi olla yhteensopivuusongelmia)
      • npm >= 6

      Käyttöliittymä¶

      huomaathan, että malli kuvaa vain toimi esittelyä varten.

      • aloitussivu: Amundsenin laskusivu mukaan lukien 1. etsintäbaarit; 2., suosittu käyttää taulukoita;

      • Etsi Preview: Katso inline haku tuloksia, kun kirjoitat

      • Pöydän lisätietosivulta: Visualisointi Pesää / Punasiirtymä taulukko

      • Sarake yksityiskohta: Visualisointi sarakkeet Pesää / Punasiirtymä taulukko, joka sisältää valinnaisen tilastot näyttö

      • Tietojen Esikatselu Sivu: Visualisointi taulukon tietojen esikatselu, joka voisi integroida Apache Pääjoukko tai muiden Tietojen Visualisointia Työkaluja.,

      Osallistua Yhteisön¶

      tarvitsetko apua tai haluat auttaa?Käytä otsakkeen painiketta liittyäksesi slack-kanavaeemme. Lahjoitukset ovat myös enemmän kuin tervetulleita! Kuten selitti OSALTAAN.md on olemassa monia tapoja edistää, se ei ole kaikki, pitää olla koodi, jolla uusia ominaisuuksia ja korjauksia, myös asiakirjat, kuten UKK merkintöjä, vikailmoituksia, blogikirjoituksia kokemusten jakaminen jne. kaikki auttavat viemään Amundsenia eteenpäin. Jos löydät tietoturvahaavoittuvuuden, noudata tätä ohjetta.,

      aloittaminen¶

      käy Amundsen asennuksen dokumentointi nopeasti alkaa bootstrap oletus versio Amundsen nukke tietoja.

      Architecture Overview¶

      please visit Architecture for Amundsen architecture overview.

      Tuetut Yksiköt¶

      • Taulukot (Tietokannoista)
      • Ihmiset (HR-järjestelmät)
      • Mittaristot

      Tue Integraatiot¶

      Taulukko Liittimet¶

      • Amazon Athena
      • Amazon Liimaa ja mitään on rakennettu sen yli (kuten Databricks Delta – joka on työn alla).,
      • Amazon Redshift
      • Apache Cassandra
      • Apache Druid
      • Apache Hive
      • CSV
      • Delta Lake
      • Google BigQuery
      • IBM DB2
      • Microsoft SQL Server
      • MySQL
      • Oracle (kautta dbapi tai sql_alchemy)
      • PostgreSQL
      • Pian
      • Vertica
      • Lumihiutale

      Amundsen voi myös liittää mihin tahansa tietokantaan, joka tarjoaa dbapi tai sql_alchemy interface (jota useimmat DBs tarjota).,

      Mittariston Liittimet¶

      • – Tilassa Analytics
      • Redash
      • Kuvaelma

      ETL Orkestrointi¶

      • Apache Ilmavirran

      BI Viz Työkalu¶

      • Apache Pääjoukko

      Asennusta¶

      käy Asennus ohje siitä, miten asentaa Amundsen.

      tiekartta¶

      käy etenemissuunnitelmassa, jos olet kiinnostunut Amundsenin tulevista etenemissuunnitelmista.,

      Blogin Kirjoitukset ja Haastattelut¶

      • Amundsen – Lyft tiedot löytö & metadata moottori (huhtikuu 2019)
      • Software Engineering Daily podcast Amundsen (huhtikuu 2019)
      • Miten Lyft-Asemat Data Discovery (heinäkuussa 2019)
      • Data Engineering podcast Ratkaisemaan Tiedot Löytö Lyft (Aug 2019)
      • Open Sourcing Amundsen: Data Discovery Ja Metadata Platform (Lokakuu 2019)
      • Tietojen Lisääminen Laatu osaksi Amundsen kanssa Ohjelmallinen Kuvaukset Sam Shuster alkaen Edmunds.,Maisema
      • Lyft Amundsen: Data-Löytö, jossa on Sisäänrakennettu Luottamus
      • Miten löytää ja järjestää tietoja komento-rivi
      • Tietojen Löytö Alustan Bagelcode
      • Luettelointi Työkaluja Tietojen Joukkueet
      • Katsaus Data Discovery-Alustoilla ja Avoimen Lähdekoodin Ratkaisuja
      • Hakkerointi Tietoja Löytö AWS kanssa Amundsen tällä PYRITÄÄN
      • step-by-step opas käyttöön Amundsen Google Pilvi Alustan

      Yhteisön kokouksiin¶

      Yhteisön kokoukset pidetään jokaisen kuukauden ensimmäisenä torstaina klo 9 Pacific, Keskipäivällä Itä, 6 PM Keski-Euroopan Aikaa., Linkki liittyä

      Tulevista kokouksista & toteaa¶

      tarkka ajankohta seuraava kokous ja esityslistalla pari viikkoa ennen kokousta tässä asiak.

      muistiinpanot kaikista aiemmista kokouksista ovat luettavissa täällä.

      kuka käyttää Amundsenia?¶

      tässä on luettelo Amundsenia tänään käyttävistä organisaatioista. Jos organisaatiosi käyttää Amundsenia, tee PR-tiedosto ja päivitä tämä lista.,Bagelcode

    • Bang & Olufsen
    • Brex
    • Cameo
    • Cimpress Teknologia
    • Coles Ryhmä
    • Saattue
    • Päivämäärä Kiri
    • Dcard
    • Omistettu Terveys
    • DHI Group
    • Edmunds
    • Everfi
    • Maku
    • Hurb
    • TA
    • Instacart
    • iRobot
    • Salama
    • LMC
    • Parvi
    • Lyft
    • Merlin
    • PicPay
    • Plarium Krasnodar
    • PUBG
    • Nopea
    • REA-Ryhmä
    • Remitly
    • Neliö
    • WeTransfer
    • Työaika

      • Apache 2.,0 ajokortti.