Надо сохранять отчёты так, чтобы их было легко парсить и мёржить с разных запусков и в том числе с разных машин.
Должен содержать как минимум время работы каждого алгоритма, характеристики машины, какой-то хэш, чтобы каждый отчёт был уникальный. Ещё надо сохранять все полученные метрики и картинки.

Пока сошлись на том, что будут джейсончики на каждый запуск.

Create a new reducer based on NCVis package.

Ну рисовалку в пайплан впилить

Кажется, надо тут

Ну или объясните мне как вот эта штука работает
https://github.com/iggisv9t/dimreducers-crusher/blob/main/dimreducers_crusher/utils/py_utils.py

Это просто Must Have, какгрится
https://scikit-learn.org/stable/modules/generated/sklearn.datasets.make_swiss_roll.html

Во-первых это решает проблемы разных имплементаций одного метода, во-вторых можно впилить всякую мету вроде ссылки на пейпер, ссылки на имплементацию и т. д.

То есть поле __name__ будет напрямую транслироваться в отчёт и там одна короткая строка. description уже всякие ссылки и всё, что необходимо указать о методе.

Тут то же самое, что в #10 только с плоттерами. Не горит.

Сейчас у нас есть run_single.py который прогоняет на одном датасете один редьюсер. Чтобы перебирать всё подряд -- надо запускать много таких. Для этого нужно прописывать каждому аргументы. Это очень неудобно писать вручную, т.к. надо перечислять возможные аргументы, да и команды длинноваты.

Нужен либо конфиг, в который надо вписывать параметры запуска и читалка конфига, которая будет генерить какой-нибудь cru.sh либо скрипт, который будет спрашивать чего добавить в запуск и перечислять доступные опции. Опции по-любому придётся каждый раз смотреть перед запуском, поэтому почему бы не помочь юзеру с этим.

Вот тут у нас сейчас предполагается, что метрика на один запуск только одна. Но нет смысла переучивать с нуля редьюсер, чтобы посчитать ту же метрику. Надо принимать метрики списком в аргументах и потом в цикле их прогонять на результате и писать в отчёт.

Now it's hardcoded here

We also have to change positional args to named, in order to allow dataset generators just accept kwargs, when they don't use n and d parameters.

Надо впилить штуку, чтобы из json-ов с отчётами рисовалась страничка, можно в простой хтмл или маркдаун или что-то ещё простое, где будут все отчёты с картинками и табличка со всякими метриками и описаниями.