Skip to content

Add soykb-generator and upgrade soykb-workflow-worker #1

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
wants to merge 6 commits into
base: master
Choose a base branch
from

Conversation

matplinta
Copy link
Collaborator

Info skopiowane ze slacka naszego, jeżeli pamięta Pan to nie ma sensu czytać.

  • workflow-generator zrobiony na bazie montage2-generatora. Jako że mamy jeden rodzaj danych, i jedyne co można zmieniać to ilość wpisów pliku inputs-fastq.txt , generator działa tak, że podajemy jedynie liczbę, do jakiej tej plik ma być wypełniony, wg dostępnej listy sekwencji plików zawartych w kontenerze z danymi, tutaj uwaga, liczba tych plików powinna być podzielna przez 2 wg obecnej konfiguracji soykb, żeby dało się wygenerować workflow
  • jest jeszcze tymczasowy skrypt editWorkflow.py , działający jako tymczasowy workaround, uzupełniający dane workflow.jsona o nazwę workflowu oraz wersję
  • data-container - ten plik pozostawiam bez zmian, z tą róznicą, że generowany workflow tutaj tworzy plik Gmax_275_v2.0.dict , który jest już w paczce z danymi, przez co jak pisałem wyżej, przy deploymencie kuberentesowym skutkuje to zatrzymaniem się workflowu. Jak usuniemy ten plik, to workflow przechodzi cały bez problemów
  • software - nowe wrappery dodane, wszystkie lekko zmienione aby na workerze wszystko dobrze działało
  • Dockerfile - dockerfile niestety musiał zostać całkowicie zmieniony. Wynika to z faktu, że jeden z wrapperów, samtools, korzysta z bibliotek glibc, które po prostu są nie dostępne na alpine linuxa - on korzyta z musl itd. Są pewne obudowania na glibc na alpine, próbowałem żmudnie z nich skorzystać, niestety zakończyło się to fiaskiem. W związku z tym nowy obraz zaczerpnąłem z archlinuxa, dodałem biblioteki curses5 potrzebne właśnie do tego samtools aby działało. Zostawiłem stary Dockerfile.alpine w razie czego w repie na razie.

add new edited wrappers
add support for samtools wrapper
change worker Dockerfile to FROM archlinux - samtools required glibc
which is incompatible for alpine containers
add workflow-generator dir and container
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant