softandiron / tinkproject Goto Github PK

При первом же запуске выдало ошибку.

Traceback (most recent call last):
File "D:\tinkproject-main\main.py", line 248, in
my_positions = creating_positions_objects()
File "D:\tinkproject-main\main.py", line 73, in creating_positions_objects
percent_change = ((market_price / this_pos.average_position_price.value) * 100) - 100
decimal.InvalidOperation: [<class 'decimal.DivisionUndefined'>]

судя по всему, деление на ноль

я в 73 строке для отладки добавил вывод
# % change
print(this_pos.average_position_price)
print(this_pos.average_position_price.value)
percent_change = ((market_price / this_pos.average_position_price.value) * 100) - 100

и он выдал следующее

Merck
currency=<Currency.usd: 'USD'> value=Decimal('0')
0

Traceback (most recent call last):
File "C:\tink\main.py", line 17, in
import data_parser
File "C:\tink\data_parser.py", line 175, in
config = Config()
File "C:\tink\configuration.py", line 52, in init
'start_year': int(start_year),
ValueError: invalid literal for int() with base 10: 'start_year: 2021'

Сейчас появилась возможность иметь несколько инвест счетов, было бы круто иметь возможность указать по какому счету получить статистику

Заметил существенное расхождение в рублёвой стоимости портфеля. В приложении сумма больше на 20-30 000 рублей. Дамал насчёт округления, но дело оказалось не в этом.
После долгих размышлений, выяснил, что дело в НКД по облигациям!
Постараюсь исправить эту неточность.

Возможно ли добавить столбец напротив даты операции с наименованием акции над которой произвелось действие. Что бы можно было отфильтровать конкретную акции и посмотреть когда продавал/покупал. Для анализа.

Добрый вечер.
Опытным путем обнаружил, что требуется доставить модули в терминале MacOS
pip install scipy tinvest pycbrf xlsxwriter

Вероятно с этим связано небольшое расхождение, которое вы упоминали в статье.
Для корректного округления чисел попробовать Банковское округление. В Python функция round()

В настоящий момент ИИС у меня пустой и в ближайшее время не планируется пополнение.
Однако, скрипт запрашивает по нему данные.

Идея следующая - сделать возможным выбрать какие портфели запрашивать.
Учитывая, что Тинькофф через какое-то время планирует добавить в апи возможность опрашивать по субпортфелям, такая фича была бы уместной.

Начал баловаться фьючерсами.
После этого при запуске получаю ошибку.

04:15:00 [ERROR] tgrpc: Got error in get_future_margin 04:15:00 [ERROR] tgrpc: conversion from Quotation to Decimal is not supported 04:15:00 [ERROR] Parser: Get current market price error. 04:15:00 [ERROR] Parser: 'NoneType' object has no attribute 'min_price_increment' 04:15:00 [ERROR] tgrpc: Got error in get_future_margin 04:15:00 [ERROR] tgrpc: conversion from Quotation to Decimal is not supported Traceback (most recent call last): File "/app/./main.py", line 479, in <module> my_positions = creating_positions_objects() File "/app/./main.py", line 128, in creating_positions_objects average_position_price = data_parser.tinkoff_access.futures_price_calculation( File "/app/tgrpc/__init__.py", line 75, in wrapper return_val = func(self, *args, **kwargs) File "/app/tgrpc/__init__.py", line 421, in futures_price_calculation min_price_increment = margin.min_price_increment AttributeError: 'NoneType' object has no attribute 'min_price_increment'

Очень нехватает гайда, объясняющего на пальцах как запустить.
Всё заполнил, токен получил и внёс - выдаёт 500 ошибку. Как быть, кто виноват?)

Тестирую ветку API2 (коммит d94e6d3) там где с веткой main проблем не наблюдалось.

Вижу что иногда проходит создание отчёта по некоторым счетам (у меня это брокерский) а иногда нет. По другим счетам (у меня это ИИС) стабильно падает создание отчёта. Ругань в том и другом случае одна:

Traceback (most recent call last):
  File "/app/./main.py", line 478, in <module>
    my_positions = creating_positions_objects()
  File "/app/./main.py", line 127, in creating_positions_objects
    if this_pos_instrument.type.lower() == "futures":
AttributeError: 'NoneType' object has no attribute 'lower'

видел раз и ошибки GRPC-общения.

Более полный лог обмена для обоих счетов:

~/git/github/tinkproject API2 > docker run --rm -it -v $(pwd):/app tinkproject:25.12.2021-45-gd94e6d3 1m 55s 12:17:16
05:21:09 [INFO] root: Start
05:21:09 [INFO] Parser: getting accounts
05:21:09 [INFO] Parser: accounts received
05:21:09 [INFO] root: Account(id='2018218533', name='Брокерский счёт', opened_date=seconds: 1578787200
, closed_date=, type=1, status=2)
05:21:11 [INFO] Parser: portfolio received
05:21:11 [INFO] Parser: investing period: 2 years 0 months 11 days
05:21:11 [INFO] root: creating position objects..
05:21:11 [INFO] root: 4 positions in portfolio
05:21:11 [INFO] root: 321 operations in period
05:21:21 [INFO] root: Тинькофф Вечный портфель USD
05:21:31 [INFO] root: Тинькофф Bonds RUB
05:21:41 [INFO] root: Тинькофф iMOEX
Traceback (most recent call last):
File "/app/./main.py", line 478, in
my_positions = creating_positions_objects()
File "/app/./main.py", line 127, in creating_positions_objects
if this_pos_instrument.type.lower() == "futures":
AttributeError: 'NoneType' object has no attribute 'lower'

~/git/github/tinkproject API2 > docker run --rm -it -v $(pwd):/app tinkproject:25.12.2021-45-gd94e6d3 40s 12:21:43
05:22:19 [INFO] root: Start
05:22:19 [INFO] Parser: getting accounts
05:22:19 [INFO] Parser: accounts received
05:22:19 [INFO] root: Account(id='2018218533', name='Брокерский счёт', opened_date=seconds: 1578787200
, closed_date=, type=1, status=2)
05:22:19 [WARNING] root: Account 2018218533 (Тинькофф) - parsing is OFF
05:22:19 [INFO] root: Account(id='2018327417', name='ИИС', opened_date=seconds: 1578960000
, closed_date=, type=2, status=2)
05:22:23 [INFO] Parser: portfolio received
05:22:23 [INFO] Parser: investing period: 2 years 0 months 11 days
05:22:24 [INFO] root: creating position objects..
05:22:24 [INFO] root: 8 positions in portfolio
05:22:24 [INFO] root: 368 operations in period
05:22:33 [WARNING] root: Вероятно, был обратный сплит TCS0BMDKNM37 - отношение цен 27:1
05:22:33 [WARNING] root: Вероятно, был обратный сплит TCS0BMDKNM37 - отношение цен 3:1
05:22:34 [WARNING] root: Вероятно, был обратный сплит TCS0BMDKNM37 - отношение цен 42:1
05:22:34 [INFO] root: FinEx Акций компаний развитых стран без США
05:22:39 [WARNING] root: Вероятно, был обратный сплит BBG333333333 - отношение цен 10:1
05:22:39 [WARNING] root: Вероятно, был обратный сплит BBG333333333 - отношение цен 3:1
05:22:45 [INFO] root: Тинькофф iMOEX
05:22:56 [INFO] root: FinEx Акции китайских компаний
05:23:26 [ERROR] tgrpc: Got GRPC error in get_last_price_raw
05:23:26 [ERROR] tgrpc: <_InactiveRpcError of RPC that terminated with:
status = StatusCode.UNAVAILABLE
details = "Socket closed"
debug_error_string = "{"created":"@1643001806.663930998","description":"Error received from peer ipv4:91.194.227.80:443","file":"src/core/lib/surface/call.cc","file_line":1074,"grpc_message":"Socket closed","grpc_status":14}"
05:23:26 [ERROR] tgrpc: StatusCode.UNAVAILABLE
05:23:26 [ERROR] Parser: Get current market price error.
05:23:26 [ERROR] Parser: 'NoneType' object is not subscriptable
05:23:37 [INFO] root: Тинькофф Вечный портфель EUR
05:23:47 [WARNING] root: Вероятно, был обратный сплит BBG00NJ6XQ74 - отношение цен 62:1
05:23:47 [WARNING] root: Вероятно, был обратный сплит BBG00NJ6XQ74 - отношение цен 498:1
05:23:47 [WARNING] root: Вероятно, был обратный сплит BBG00NJ6XQ74 - отношение цен 332:1
05:23:51 [INFO] root: Сбер Индекс Мосбиржи ОФЗ
05:24:02 [INFO] root: FinEx Акции американских компаний
05:24:13 [INFO] root: Евро
Traceback (most recent call last):
File "/app/./main.py", line 478, in
my_positions = creating_positions_objects()
File "/app/./main.py", line 127, in creating_positions_objects
if this_pos_instrument.type.lower() == "futures":
AttributeError: 'NoneType' object has no attribute 'lower'

Дополнение к проекту автора, чтобы получать информацию по ИИС.
В файле data_parser.py в функции get_api_data прописываем строку print(client.get_accounts()) после строки print("- authorisation success"):

Затем запускаем main.py и потом можно нажать ctrl+c, чтобы остановить выполнение после получения нужных данных, а именно:

Нам нужен broker_account_id от TinkoffIis, записываем его просто в код, а добавленную строчку удаляем:

Можно записать также и id от брокерского, чтобы потом было проще менять в параметрах, пометив в комментарии, где иис, а где брокерский, после оставляя раскомменченным тот, который нужно запустить:

Теперь добавляем новый параметр broker_account_id=broker_account_id в 3 строки:

И все, запускаем вновь main.py и получаем информацию по ИИС.

File "./main.py", line 245, in
my_positions = creating_positions_objects()
File "./main.py", line 73, in creating_positions_objects
percent_change = ((market_price / this_pos.average_position_price.value) * 100) - 100
decimal.InvalidOperation: [<class 'decimal.DivisionUndefined'>]

Похоже что пытается поделить на ноль. У меня есть акции VTRS, которые достались мне выделением от PFE по нулевой цене :)

При запуске вылетает с ошибкой:
D:\tinkproject-main>python main.py 00:37:15 [INFO] root: Start 00:37:15 [INFO] Parser: getting accounts Traceback (most recent call last): File "D:\tinkproject-main\main.py", line 451, in accounts = data_parser.get_accounts() File "D:\tinkproject-main\data_parser.py", line 68, in get_accounts accounts = client.get_accounts() File "C:\Users\Admin\AppData\Roaming\Python\Python310\site-packages\tinvest\clients.py", line 731, in get_accounts return accounts_get( File "C:\Users\Admin\AppData\Roaming\Python\Python310\site-packages\tinvest\apis.py", line 394, in accounts_get return request( File "C:\Users\Admin\AppData\Roaming\Python\Python310\site-packages\tinvest\clients.py", line 537, in _request raise UnexpectedError(response.status_code, response.text) tinvest.exceptions.UnexpectedError: 401

файл my_account.txt состоит из след строчек:
t.3QQ_a8KQQuaCxaLPXXXXXXXXXXXXXXXXXXXXXXXXXXfJ_Iyl1R5G638ЧЧ5JWoS4_JP3dQ
Asia/Novosibirsk
2022
01
14

токен брал такой: Все счета - Полный доступ

При этом не вижу появившегося лога. Пробовал с запустить с опцией -d => python -d main.py
тоже лога не вижу.

Привет!
В отчете по счету ИИС на листе "Coupons and Dividends" табличка с вычетами начинается с ячейки J6, и записывается поверх последних операций за предыдущий год.
Кажется, что лучше эту табличку переместить на другой лист, где она не будет мешаться.
Например, на лист portfolio или вообще на новый лист

Проявляется например на FXRB, FXDE,

А зачем вам парсить файл my_account.txt ? Метод parse_text_file не нужен, если все необходимые учетные данные сохранить в виде переменных в отдельном файле с расширением .py. Обычно это файл config.py или пускай будет my_account.py

Пример файла config.py:

# config.py
API_URL = 'https://YOUR_URL'
API_TOKEN = 'YOUR_API_TOKEN'

Далее в коде обращаетесь к переменной:
config.API_TOKEN

И не забываем сделать импорт в файле, где обращаетесь к этим переменным
import config

Файл config.py добавляете в .gitignore так же как у вас там сейчас my_account.txt.

Для себя еще сделал отправку файлов на FTP. Мне так удобно получать результаты.
Единственное, оно сделано через пень колоду. Не так силен я в программировании. :)
Сделал по аналогии с использованием ТХТ файла конфига creds.txt
где каждая по-строчно прописан: хост, логин, пасс, папка куда складывать файлы.
Как вариант внести данные настройки в yaml файл.

В excel_builder.py добавлено:

import os
import ftplib
...
    #FTP send and delete + check for creds.txt
    if os.path.isfile('creds.txt'):
        filename = excel_file_name
        con = ftplib.FTP(host, ftp_user, ftp_password)
        con.cwd(ftp_dir) #
        f = open(filename, "rb")
        send = con.storbinary("STOR "+ filename, f)
        logger.info('Excel file sent to FTP: '+excel_file_name)
        con.close
        if os.path.isfile(excel_file_name):
               os.remove(excel_file_name)
               print("Success: Deleted "+excel_file_name)
        else:
               print(excel_file_name+" - File doesn't exists!")
    else:
        print("No creds.txt file exist, skipping FTP send.")

В версии APIv2 работает.
Можно добавить отправку в SMB папку.
Как вариант добавление фичи в прод по желанию автора...

При выгрузке не отображаются никакие внебиржевые сделки, только комиссия за них. Примеры тикеров DQ, ZIM, ADES, TRLY.

По состоянию ветки main на 24.12.2021 получаю имена файлов с форматными символами, например: tinkoffReport_%Y.%b.%d_2018327417.xlsx

10:24:26 [INFO] ExBuild: content printing: Currencys Traceback (most recent call last): File "C:\barmen\tinkoff\main.py", line 493, in <module> build_excel_file(account, my_positions, my_operations, rates_today_cb, market_rate_today, File "C:\barmen\tinkoff\excel_builder.py", line 662, in build_excel_file last_row_pos = print_portfolio(1, 1) File "C:\barmen\tinkoff\excel_builder.py", line 203, in print_portfolio last_row = print_content("Currency") File "C:\barmen\tinkoff\excel_builder.py", line 150, in print_content row = print_position_data(row, col) File "C:\barmen\tinkoff\excel_builder.py", line 136, in print_position_data 'font_color': get_color(this_pos.percent_change)}) File "C:\barmen\tinkoff\classes.py", line 107, in percent_change return ((self.market_price / self.ave_price) * 100) - 100 decimal.DivisionByZero: [<class 'decimal.DivisionByZero'>]

Traceback (most recent call last):
File "D:\Nextcloud\Work\HiLevel!Python\Finance\tinkproject-API2\tinkproject-API2\main.py", line 479, in
my_positions = creating_positions_objects()
File "D:\Nextcloud\Work\HiLevel!Python\Finance\tinkproject-API2\tinkproject-API2\main.py", line 124, in creating_positions_objects
market_rate = market_rate_today[currency]
KeyError: 'CNY'

Странная ситуация, имею несколько рублевых акций, по одной, как ни странно по TCS имею положительную динамику. Но почему то в таблице налог считается не по exp.yield, а на всю сумму market value.

Привет!

Большая просьба добавить небольшое изменение для наглядного отображения типа счета в названии формируемого отчета

Заранее спасибо!

Ps
Возможно, оптимальным было бы с помощью тернарного оператора (предполагается изменение в строке 31 файла excel_builder.py) :

excel_file_name = 'tinkoffReport_' + ('TinkoffIis_' if account.broker_account_type == 'TinkoffIis' else 'Tinkoff_') + data_parser.account_data['now_date'].strftime('%Y.%b.%d') + '_' ```
                   

Стало выводить такую ошибку.

[INFO] Parser: getting accounts
Traceback (most recent call last):
  File "main.py", line 448, in <module>
    accounts = data_parser.get_accounts()
  File "/home/ubuntu/tink/data_parser.py", line 81, in get_accounts
    accounts = client.get_accounts()
AttributeError: 'SyncClient' object has no attribute 'get_accounts'

Приветствую.

Прежде всего, спасибо за публикацию кода.

В статье о вашем инструменте не обнаружил упоминаний важного фактора, влияющего напрямую на налоги: срок владения активом (существует льгота на долгосрочное владение ценными бумагами).
Было бы здорово учесть это в будущих версиях.

Например SBMX прошел сплит 1:100 в мае 2021 года.

Цены покупок, если прогонять дебаг бумаги:
[Decimal('-1739.5'),
Decimal('-1794'),
Decimal('-19.0959'),
... и т.д. до Decimal('-20.01')]

В таблице получается средняя цена 51 рубль, закупка в рублях (sum buy in rub) - более 16000 рублей, хотя реально 5200 или около того.
И логичный расчет налоговой базы в -11000 рублей (минус 11000 рублей!) - то есть убытки, а не прибыль.

Предлагаю рассмотреть возможность добавления дополнительных аналитических данных по составу портфеля.
По отраслям, компаниям, а также странам с учетом компаний в фондах.

В самих файлах ничего не менялось, вставил токен и дату в файлик май аккаунт и всё

Как это выглядит:

getting account data..
account started: 2020 Aug 01
START
authorisation..
- authorisation success
Traceback (most recent call last):
  File "main.py", line 20, in <module>
    positions, operations, market_rate_today_usd, market_rate_today_eur, currencies = data_parser.get_api_data()
  File "D:\tinkproject-main\tinkproject-main\data_parser.py", line 34, in get_api_data
    positions = client.get_portfolio()
AttributeError: 'SyncClient' object has no attribute 'get_portfolio'

Если есть позиции, рыночная цена которых сейчас ниже цены покупки, то сумма убытка должна бы уменьшать сумму налога.
Но сейчас это не происходит

текст:
INFO: 16:13:54 - creating operations objects.. Traceback (most recent call last): File "_путь_\tinkproject-main\main.py", line 396, in <module> my_operations = create_operations_objects() File "_путь_\tinkproject-main\main.py", line 249, in create_operations_objects instrument = data_parser.get_instrument_by_figi(this_op.figi) File "_путь_\tinkproject-main\data_parser.py", line 146, in get_instrument_by_figi instrument = client.get_market_search_by_figi(figi) File "_путь_\AppData\Local\Programs\Python\Python39\lib\site-packages\tinvest\clients.py", line 699, in get_market_search_by_figi return market_search_by_figi_get( File "_путь_\AppData\Local\Programs\Python\Python39\lib\site-packages\tinvest\apis.py", line 344, in market_search_by_figi_get return request( File "_путь_\AppData\Local\Programs\Python\Python39\lib\site-packages\tinvest\clients.py", line 535, in _request raise TooManyRequestsError tinvest.exceptions.TooManyRequestsError

после pip install -r requirements.txt --upgrade - всё нормально

Как советовали на Хабре.

"не хватает проверки статуса операции в create_operations_objects. В противном случае в отчете показываются и отмененные заявки"

Человет добавил пару строк в файл main.py (у меня это строка 312).

 for this_op in operations.payload.operations:
        if this_op.status != 'Done':
            continue

Добавил себе, прогнал. Реально помогло.
Рекомендую в прод.

15:26:56 [INFO] root: Start
15:26:56 [INFO] Parser: getting accounts
15:26:57 [INFO] Parser: accounts received
15:26:57 [INFO] Config: New account found - 2000223111 - Брокерский счёт - adding config
Traceback (most recent call last):
File "D:\tinkproject-API2\main.py", line 461, in
accounts = data_parser.get_accounts()
File "D:\tinkproject-API2\data_parser.py", line 74, in get_accounts
config.check_accounts_config(accounts)
File "D:\tinkproject-API2\configuration.py", line 100, in check_accounts_config
self._write_config_to_file()
File "D:\tinkproject-API2\configuration.py", line 63, in _write_config_to_file
yaml.dump(self.config,
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml_init.py", line 253, in dump
return dump_all([data], stream, Dumper=Dumper, **kwds)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml_init.py", line 241, in dump_all
dumper.represent(data)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\representer.py", line 28, in represent
self.serialize(node)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\serializer.py", line 54, in serialize
self.serialize_node(node, None, None)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\serializer.py", line 108, in serialize_node
self.serialize_node(value, node, key)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\serializer.py", line 108, in serialize_node
self.serialize_node(value, node, key)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\serializer.py", line 89, in serialize_node
self.emit(ScalarEvent(alias, node.tag, implicit, node.value,
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 115, in emit
self.state()
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 412, in expect_block_mapping_simple_value
self.expect_node(mapping=True)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 244, in expect_node
self.expect_scalar()
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 268, in expect_scalar
self.process_scalar()
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 533, in process_scalar
self.write_plain(self.analysis.scalar, split)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\site-packages\yaml\emitter.py", line 1132, in write_plain
self.stream.write(data)
File "C:\Users\USERNAME\AppData\Local\Programs\Python\Python310\lib\encodings\cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 8-17: character maps to

Привет. Спасибо огромное за такой инструмент. Заметил, что при моих скромных 250к инвестиций, некий показатель loss равен почти -2,5M. Он почти целиком идет из tax base от акции, по которой был недавно сплит. Тут явно есть ошибка, хотя лично мне она сильно не мешает. Могу выслать excel файл для разбора, но не знаю куда. Еще раз спасибо за инструмент и хорошего дня =)