armandleopold / janusgraph-deployement Goto Github PK

View Code? Open in Web Editor NEW

17.0 3.0 5.0 63.54 MB

A dockerized environment For [JanusGraph + ElasticSearch + Cassandra + GraphExp]

License: Apache License 2.0

CSS 62.53% HTML 1.53% JavaScript 35.95%

janusgraph cassandra elasticsearch docker docker-compose

janusgraph-deployement's Introduction

Hi 👋, I'm Armand LEOPOLD

Founder & CEO @ QALITA

👨 Whoami

Actuellement je suis Fondateur d'une entreprise spécialisé dans l'assurance qualité des données.

Je reste un Ingénieur et développeur passionné depuis plus de 12 ans.

👉 Compétences

Domaines	Technologies
Web	HTML, CSS, PHP, SQL, FastAPI, React, NextJS
Data Science	Python, R, SAS, Scikit-Learn, Pandas, Jupyter, Spark
Data Engineering	Spark, Airflow, Talend, Kafka, Hadoop, Hive, HDFS, HBase, Cassandra, Elasticsearch, Redis, Janusgraph, Geoserver, Kibana, Jupyter, Docker, Kubernetes, Helm, Terraform, Vault, ArgoCD
DevSecOps	Git, Github, Gitlab, Docker, Kubernetes, Helm, Terraform, Vault, ArgoCD, Airflow
Dev Tools	VSCode, ChatGPT
Design Tools	Figma, Webflow
Knowledge / BI / Visualization Tools	Notion, Kibana
BDD	MySQL, PostgreSQL, Elasticsearch, Redis, Cassandra, Janusgraph, Geoserver
Cloud	AWS, Azure, GCP, OVH
Langages	HTML, CSS, PHP, C, Python, R, Scala, Java, React, NextJS
Frameworks	DevOps, Scrum

Web

Data Science/Engineering/Analysis

BDD

DevSecOps

Cloud

Langages

Frameworks & Dev Tools

CV détaillé

EXPERIENCE PROFESSIONNELLE

Avril. 2023 – Aujourd'hui | Fondateur & CEO | QALITA

{CDI}

Création d'activité Entrepreneuriale
Prestation de services : gestion de la qualité des données, entrepôts de données de santé.
Développement d'une Plateforme de gestion de la qualité des données.
Accompagnement auprès des clients de leur processus de gestion de leurs entrepôts de données.

Oct. 2022 – Avril. 2023 | Head of Data Factory | Institut Curie

{CDI}

Animation d'une équipe de 5 Data Ingénieurs / Data Scientist pour piloter la réalisation des projets scientifiques et collaborations avec les industriels
Participer à la valorisation du patrimoine de donnée de l'institut curie
Participer à la définition et à la mise en place technique de l'EDS (Entrepôt de Données de Santé)

Sept. 2020 – Sept. 2022 | DevOps Engineer | Institut Curie

{CDI}

J'ai guidé et aidé à prendre des décisions stratégiques sur le développement logiciel ou l'architecture technique de la direction des données.
J'ai mis en place une politique de développement et d'intégration continue en accompagnant mes collègues dans l'utilisation d'outils de versionnage : Git / Gitlab et de pipelines de CI/CD.
J'ai mis en place une suite de monitoring. Gitlab-monitor, Statuspage, Kibana.
J'ai partagé la vision et les pratiques devops en menant des présentations internes et externes.
J'ai assuré la transition et le support sur les outils et pratiques en lien avec la direction des systèmes d'information.

Mars. 2019 – Aout. 2020 | Data Engineer | Institut Curie

{CDD}

Knowledge in : CI/CD , DevOps, Cloud, Helm, Kubernetes, Gitlab, health data (Anatomopathology / MRI / PET-SCAN), Talend, Java, Python, Jupyter, Elasticsearch, Docker, Blockchain , Federated AI , Artificial Intelligence. Hyperledger, HTML/CSS/PHP, Maven, Nexus.

J'ai participé au projet #Healthchain dont ma mission était d'élaborer la base de donnée de curie pour le projet, en récupérant et agrégeant des données cliniques et d'imagerie.
J'ai échangé avec mes homologues du Centre Léon Bérard pour l'harmonisation sur les formats de données.
J'ai participé et donner mes retours sur l'intégration d'une plateforme de machine learning fédérée développé par #Owkin, à l'époque jeune startup de moins de 30 personnes.
J'ai participé aux sujets juridiques de valorisation des modèles de machine learning.
J'ai participé à la publication dans Nature Medicine d'un article sur une question scientifique utilisant la base de donnée développé.
J'ai développé un outil de mesure, d'analyse et de contrôle de la qualité des données sur plusieurs bases de donnée dont celle de mon projet.

Oct. 2017 – Feb. 2019 | Data Scientist | THALES

{CDI}

A Paris - Vélizy :

J'ai réalisé des travaux d'analyse de graph sociaux à partir de données en sources ouvertes pour les services de renseignements.
J'ai appliqué des algorithmes d'intelligence artificielles.
J'ai mené à bien des travaux de traitement du langage naturel.
J'ai participé à un grand projet de Plateforme de données pour l'armée française, spécifiquement sur la partie cas d'usages et Data Science.

A Toulouse - Labège :

J'ai analysé des données de vols pour faciliter la maintenance des avions d'une flotte portugaise (A320 family).
J'ai fais du traitement et de l'ingestion de plans de vols avec élaboration de tableaux de bords interactif Kibana pour la DSNA DTI organisme du gouvernement pour la gestion efficace du trafic aérien en France.

Sept. 2016 – Sept. 2017 | Data Analyst | Crédit Agricole

{Contrat de Professionnalisation}

Réalisation de scores et d'indicateurs analytiques pour la gestion de la relation client (CRM). Data mining, machine learning.
J'ai eu l'occasion d'aller travailler au DataLab du Crédit Agricole, entité Nationale basée à Montrouge, pour collaborer avec des chercheurs en intelligence artificielle et en traitement de la donnée. A cette occasion, j'ai pu travailler sur une base de panel de consommateurs pour étudier des hypothèses en gestion de relation client, j'ai ensuite fais des retours à ma direction sur ces sujets lors de présentations formelles.

Logiciel utilisés : RStudio, Python (Jupyter Notebook), SAS Enterprise Guide & Miner, SAP Business Object. Fortes compétences en langages : R, Python, SQL, SAS.

Jun. 2016 – Sept. 2016 | Short Term Researcher | Illinois Institute of Technology

{Stage de Recherche en Université}

BigDataX Laboratory / Computer Science department. Research subject : Wearable Computing BIG-DATA Architecture. Made a Research on developping a Big-Data System Architecture for carrying big amount of wearable devices data in stream and storage. Using Amazon Web Services (AWS) ,Scala, Apache Spark, Apache Cassandra and Android JDK.

Jun. 2015 – Jun. 2016 | President | Junior Etudes ESIGELEC

{Mandat Associatif}

Restructuration of my school's Junior Enterprise, fiscal rebalancing, archiving and redesigning activity areas, process remodelling and reorganisation. Managing a 6 people team. Application to the Junior Entreprises mouvement. Ability in Team Managment, taxation, legal rules and status, accounting, Project Managment.

Nov. 2014 – May. 2016 | Full Stack Dev | Freelance

{Mandat Associatif}

Supervisation and developpment of my school's student dedicated website. Migration to a new responsive and more modern version. Establishing a communication plan for increasing frequentation and traffic on the site. Improving communication between student inner school organisations Strong Knowledge in HTML(5) , CSS(3), PHP(5.3 to 7), MySQL, JQuery, Bootstrap, Foundation, Web Design & Development, Analytics. In 2 years, 3/4 of students subscribed to the website and increasing traffic by thousands of percents.

FORMATION

2014 - 2017 – Diplôme d'Ingénieur – ESIGELEC - Rouen

Ecole d’ingénieur généraliste : Dominante BDTN (Big-Data et Transformation Numérique) Top classement en informatique : (8/304) Activités et associations : Club de Musique, Junior Etudes, Club de robotique, Club d'informatique, Club de Théatre.

2012 - 2014 : Prépa PCSI/MPSI – ESIGELEC - Rouen

Prépa intégré selection concours Advance. Major de promotion en Informatique : (1/120)

2009 - 2012 : BAC STI Electrotechnique – Lycée Marie Curie à Nogent sur Oise

Niveau : Mention Très Bien (With Honors) Activités et associations : Délégué en classe de Terminal.

LANGUES

🇫🇷 🇬🇧

LOISIRS

Piano, Running, Cinéma, Voyages, Science, Histoire, Géopolitique

janusgraph-deployement's People

Contributors

Stargazers

Watchers

Forkers

sametkilictas mbrukman lucagabi jdadong vincentwei2021

janusgraph-deployement's Issues

Error on Ubuntu 18.04 docker: gremlin-groovy is not an available GremlinScriptEngine

Hi what can cause the error above ?

gremlin-groovy is not an available GremlinScriptEngine

How to start a gremlin console to the server dockerized and started by docker-compose up -d ?

From the log file of the janus container:

	at java.util.stream.ReferencePipeline$7$1.accept(ReferencePipeline.java:272)
	at java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1384)	at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:482)
	at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:472)
	at java.util.stream.ForEachOps$ForEachOp.evaluateSequential(ForEachOps.java:150)
	at java.util.stream.ForEachOps$ForEachOp$OfRef.evaluateSequential(ForEachOps.java:173)
	at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234)
	at java.util.stream.ReferencePipeline.forEach(ReferencePipeline.java:485)
	at org.apache.tinkerpop.gremlin.jsr223.DefaultGremlinScriptEngineManager.createGremlinScriptEngine(DefaultGremlinScriptEngineManager.java:450)
	at org.apache.tinkerpop.gremlin.jsr223.DefaultGremlinScriptEngineManager.getEngineByName(DefaultGremlinScriptEngineManager.java:219)
	at org.apache.tinkerpop.gremlin.jsr223.CachedGremlinScriptEngineManager.lambda$getEngineByName$0(CachedGremlinScriptEngineManager.java:57)
	at java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1660)
	at org.apache.tinkerpop.gremlin.jsr223.CachedGremlinScriptEngineManager.getEngineByName(CachedGremlinScriptEngineManager.java:57)
	at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor.lambda$eval$0(GremlinExecutor.java:267)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
Caused by: javax.script.ScriptException: javax.script.ScriptException: groovy.lang.MissingPropertyException: No such property: graph for class: Script2
	at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:378)
	at javax.script.AbstractScriptEngine.eval(AbstractScriptEngine.java:264)
	at org.apache.tinkerpop.gremlin.jsr223.DefaultGremlinScriptEngineManager.lambda$createGremlinScriptEngine$16(DefaultGremlinScriptEngineManager.java:460)�
	... 24 more
Caused by: javax.script.ScriptException: groovy.lang.MissingPropertyException: No such property: graph for class: Script2
	at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:697)
	at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:376)�
	... 26 more
Caused by: groovy.lang.MissingPropertyException: No such property: graph for class: Script2
	at org.codehaus.groovy.runtime.ScriptBytecodeAdapter.unwrap(ScriptBytecodeAdapter.java:65)
	at org.codehaus.groovy.runtime.callsite.PogoGetPropertySite.getProperty(PogoGetPropertySite.java:51)
	at org.codehaus.groovy.runtime.callsite.AbstractCallSite.callGroovyObjectGetProperty(AbstractCallSite.java:309)
	at Script2.run(Script2.groovy:30)
	at org.apache.tinkerpop.gremlin.groovy.jsr223.GremlinGroovyScriptEngine.eval(GremlinGroovyScriptEngine.java:674)�
	... 27 more
844065 [gremlin-server-exec-2] WARN  org.apache.tinkerpop.gremlin.server.op.AbstractEvalOpProcessor  - Exception processing a script on request [RequestMessage{, requestId=b637ff8d-2180-4f98-82e8-26107be0c9da, op='eval', processor='', args={gremlin=g, bindings={}, batchSize=64}}].
java.lang.IllegalArgumentException: gremlin-groovy is not an available GremlinScriptEngine
	at org.apache.tinkerpop.gremlin.jsr223.CachedGremlinScriptEngineManager.registerLookUpInfo(CachedGremlinScriptEngineManager.java:95)
	at org.apache.tinkerpop.gremlin.jsr223.CachedGremlinScriptEngineManager.getEngineByName(CachedGremlinScriptEngineManager.java:58)
	at org.apache.tinkerpop.gremlin.groovy.engine.GremlinExecutor.lambda$eval$0(GremlinExecutor.java:267)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
	at java.util.concurrent.FutureTask.run(FutureTask.java:266)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)
3/4/21 7:16:30 AM ==============================================================
-- Gauges ----------------------------------------------------------------------
org.apache.tinkerpop.gremlin.server.GremlinServer.sessions
             value = 0
-- Meters ----------------------------------------------------------------------
org.apache.tinkerpop.gremlin.server.GremlinServer.errors
             count = 1
         mean rate = 0.00 events/second
     1-minute rate = 0.01 events/second
     5-minute rate = 0.00 events/second
    15-minute rate = 0.00 events/second
-- Timers ----------------------------------------------------------------------
org.apache.tinkerpop.gremlin.server.GremlinServer.op.eval
             count = 1
         mean rate = 0.00 calls/second
     1-minute rate = 0.01 calls/second
     5-minute rate = 0.00 calls/second
    15-minute rate = 0.00 calls/second
               min = 8176.33 milliseconds
               max = 8176.33 milliseconds
              mean = 8176.33 milliseconds
            stddev = 0.00 milliseconds
            median = 8176.33 milliseconds
              75% <= 8176.33 milliseconds
              95% <= 8176.33 milliseconds
              98% <= 8176.33 milliseconds
              99% <= 8176.33 milliseconds
            99.9% <= 8176.33 milliseconds
org.apache.tinkerpop.gremlin.server.GremlinServer.op.traversal
             count = 0
         mean rate = 0.00 calls/second
     1-minute rate = 0.00 calls/second
     5-minute rate = 0.00 calls/second
    15-minute rate = 0.00 calls/second
               min = 0.00 milliseconds
               max = 0.00 milliseconds
              mean = 0.00 milliseconds
            stddev = 0.00 milliseconds
            median = 0.00 milliseconds
              75% <= 0.00 milliseconds
              95% <= 0.00 milliseconds
              98% <= 0.00 milliseconds
              99% <= 0.00 milliseconds
            99.9% <= 0.00 milliseconds
901461 [metrics-logger-reporter-thread-1] INFO  org.apache.tinkerpop.gremlin.server.Settings$Slf4jReporterMetrics  - type=GAUGE, name=org.apache.tinkerpop.gremlin.server.GremlinServer.sessions, value=0
901462 [metrics-logger-reporter-thread-1] INFO  org.apache.tinkerpop.gremlin.server.Settings$Slf4jReporterMetrics  - type=METER, name=org.apache.tinkerpop.gremlin.server.GremlinServer.errors, count=1, mean_rate=0.0011261422799624615, m1=0.0069497108324461715, m5=0.0027982224558022787, m15=0.001048151847790129, rate_unit=events/second
901463 [metrics-logger-reporter-thread-1] INFO  org.apache.tinkerpop.gremlin.server.Settings$Slf4jReporterMetrics  - type=TIMER, name=org.apache.tinkerpop.gremlin.server.GremlinServer.op.eval, count=1, min=8176.325486, max=8176.325486, mean=8176.325486, stddev=0.0, median=8176.325486, p75=8176.325486, p95=8176.325486, p98=8176.325486, p99=8176.325486, p999=8176.325486, mean_rate=0.0011254104338745579, m1=0.0069497108324461715, m5=0.0027982224558022787, m15=0.001048151847790129, rate_unit=events/second, duration_unit=milliseconds
901463 [metrics-logger-reporter-thread-1] INFO  org.apache.tinkerpop.gremlin.server.Settings$Slf4jReporterMetrics  - type=TIMER, name=org.apache.tinkerpop.gremlin.server.GremlinServer.op.traversal, count=0, min=0.0, max=0.0, mean=0.0, stddev=0.0, median=0.0, p75=0.0, p95=0.0, p98=0.0, p99=0.0, p999=0.0, mean_rate=0.0, m1=0.0, m5=0.0, m15=0.0, rate_unit=events/second, duration_unit=milliseconds```

Thanks!

Can you explain janusgraph-env with air-routes.graphml example????

Can you explain janusgraph-env with air-routes.graphml example????
@erandal

graph ml file link:
https://raw.githubusercontent.com/krlawrence/graph/master/sample-data/air-routes.graphml

armandleopold / janusgraph-deployement Goto Github PK

janusgraph-deployement's Introduction

Hi 👋, I'm Armand LEOPOLD

Founder & CEO @ QALITA

👨 Whoami

👉 Compétences

Web

Data Science/Engineering/Analysis

BDD

DevSecOps

Cloud

Langages

Frameworks & Dev Tools

EXPERIENCE PROFESSIONNELLE

Avril. 2023 – Aujourd'hui | Fondateur & CEO | QALITA

Oct. 2022 – Avril. 2023 | Head of Data Factory | Institut Curie

Sept. 2020 – Sept. 2022 | DevOps Engineer | Institut Curie

Mars. 2019 – Aout. 2020 | Data Engineer | Institut Curie

Oct. 2017 – Feb. 2019 | Data Scientist | THALES

Sept. 2016 – Sept. 2017 | Data Analyst | Crédit Agricole

Jun. 2016 – Sept. 2016 | Short Term Researcher | Illinois Institute of Technology

Jun. 2015 – Jun. 2016 | President | Junior Etudes ESIGELEC

Nov. 2014 – May. 2016 | Full Stack Dev | Freelance

FORMATION

2014 - 2017 – Diplôme d'Ingénieur – ESIGELEC - Rouen

2012 - 2014 : Prépa PCSI/MPSI – ESIGELEC - Rouen

2009 - 2012 : BAC STI Electrotechnique – Lycée Marie Curie à Nogent sur Oise

LANGUES

LOISIRS

janusgraph-deployement's People

Contributors

Stargazers

Watchers

Forkers

janusgraph-deployement's Issues

Recommend Projects

Recommend Topics

Recommend Org