IPO
•••
 Поиск Новости Котировки  Эфир
07.09.23 09:56 Поделиться

Испытываем ИИ на российском рынке

Насколько же хороши новые модели?

Привет, я Руслан из команды «Финам AI-скринера». Мы подробно писали про наш скринер, и очень обрадовались вашей реакции. Многие просили, и мы добавили российские бумаги, в скринере они будут доступны примерно через неделю. Обучили модели, которые все так же прогнозируют доходность бумаги через год, коэффициент альфа (насколько лучше или хуже бумага выглядит относительно рынка в целом), финансово-независимые, дивидендную доходность, выручку и прибыль, но уже для отечественного рынка.

Посмотрим на отдельные бумаги

Итак, насколько же хороши новые модели? Если коротко, то средняя абсолютная ошибка предсказания доходности на тесте составила 0,07. Это означает, что если, например, модель предсказала рост цены акции какой-нибудь бумаги на 22%, то фактическая доходность в среднем была в коридоре от 15% до 29%.

Но все же это слишком абстрактно, поэтому для наглядности я провел эксперимент. Забрал у модели исторические данные за прошедший год и попросил ее сделать прогноз доходности российских бумаг из марта прошлого года к сегодняшнему дню. 

Источник: flickr.com

В таблице ниже я привел топ-10, по мнению модели, бумаг на 2022-2023 год.

Тикер

Предсказанная доходность

Доходность через год

0

KMAZ

0,29

0,03

1

HIMCP

0,26

1,23

2

GCHE

0,24

-0,11

3

CHKZ

0,22

0,77

4

NKNC

0,22

0,27

5

OMZZP

0,22

2,03

6

NKHP

0,20

0,02

7

RKKE

0,18

1,48

8

MRKK

0,18

-0,20

9

VLHZ

0,18

1,05

 

среднее

0,22

0,66

Глядя на результат можно сказать, что прогноз сбывается не всегда, а только в 60% случаев. Но, при этом, средняя предсказанная доходность составила 22%, а фактическая – 66%. Глядя на бумаги в отдельности надо отметить, что «КАМАЗ» не оправдал надежд. Он вырос лишь на 3%. НКХП и того меньше – на 2%. «Россети Северный Кавказ» и «Группа Черкизово» вообще в минусе. В то же время значительно выше ожиданий выросли акции «РКК Энергия» (148%), ОМЗ (203%), ЧКПЗ (77%), «Химпрома» (123%) и «Владимирского химического завода» (105%). Акции «Нижнекамскнефтехима» выросли слегка выше прогноза. 

Что если я не хочу ждать год?

Результат кажется неплохим. Но тут возникает вопрос: для чего ждать год? Может быть прогнозируемая доходность достигается раньше? Давайте посмотрим.

В следующей таблице я привел тот же самый топ-10 бумаг с предсказанной доходностью и добавил к ней максимальную доходность, достигнутую по бумагам в течение года, а также информацию, в какой мере целевая доходность была достигнута, через сколько дней и через сколько дней был достигнут максимум доходности.

Тикер

Предсказанная доходность

Максимальная доходность

Насколько предсказание достигнуто

Через сколько календарных дней предсказание достигнуто

Через сколько дней достигнут максимум доходности

0

KMAZ

0,29

0,10

-65,64

 

363

1

HIMCP

0,26

1,23

367,75

315

363

2

GCHE

0,24

0,01

-94,57

 

13

3

CHKZ

0,22

1,34

503,32

215

315

4

NKNC

0,22

0,38

71,24

320

321

5

OMZZP

0,22

1,62

639,31

215

364

6

NKHP

0,20

0,16

-21,25

 

337

7

RKKE

0,18

1,97

972,35

12

302

8

MRKK

0,18

0,11

-38,22

 

8

9

VLHZ

0,18

0,99

440,58

15

363

 

среднее

0,22

0,79

277,49

182

274,9

Здесь все также прогноз сбывается в 60% случаев. Но, при этом, максимальная фактическая доходность составила почти 80%. Также можно сказать, что в среднем целевая доходность достигается через 182 дня, а максимальная – через 275 дней. Среди бумаг в отдельности, «КАМАЗ» также не оправдал надежд. Он вырос лишь на 10%. Чуть больше – «Новороссийский комбинат хлебопродуктов» (16%) и «Россети Северный Кавказ» (11%). Выше прогноза выросли акции «РКК Энергия» (197%), ОМЗ (162%), ЧКПЗ (134%), «Химпрома» (123%) и «Владимирского химического завода» (99%). 

Подводя итог, можно отметить, что в рамках эксперимента модель показала неплохие результаты. Да, самая «топовая» бумага так и не выстрелила, а некоторые из них на отсечке одного года и вовсе ушли в минус. Но в целом портфель, составленный из 10 наиболее рекомендованных моделью акций, показал себя неплохо, а средняя доходность оказалась выше прогнозируемой. 

Тем не менее, это лишь начало, и мы продолжаем работать над качеством моделей, удобством интерфейса и количеством данных. Делитесь вашим мнением, оно очень ценно для нас.

Все публикации про  Сценарии и прогнозы

Комментарии

Авторизуйтесь, чтобы оставить комментарий.
ed919447 01.04.23 20:14
CatBoostRegressor? А гиперпараметры для модели подбирались на полных данных или после того как была отделена тестовая выборка?
Ответить
fn917905 30.03.23 23:27
шёстьдёсят шёстый на 4.58% трухапарта накосил вхз...
Ответить
westnikoff 30.03.23 22:22
если лось и кроки с золотом, то с чем же сидит 66-й...
Ответить
fn917905 30.03.23 22:21
кодыръ кроки фсьо делает правильно - с плечём.
Ответить
westnikoff 30.03.23 22:18
Оставит ли лось хотя бы крупицу золота узкоплечему кроки...
Ответить
fn917905 30.03.23 21:50
westnikoff 30.03.23 21:37 Несити вашы денюшки, иначи быть беде!
Ответить
westnikoff 30.03.23 21:37
Плечистый лось жжет! Кочегары за ним пересыпают золу
Ответить
fn917905 30.03.23 19:15
westnikoff 30.03.23 17:55 Пакуда .качегары есть вокруг, Удачи мы не выпустим из рук!
Ответить
westnikoff 30.03.23 17:55
Если бы не лось со своими могучими плечами, то рынок бы совсем стух
Ответить
Сергей 1968 30.03.23 17:42
Admin, спасибо. Этого не хватало, модель надежна. 
Ответить
*NERV 30.03.23 17:28
алгоритм градиентного бустинга деревьев решений)) куда деньги перечислить?))
Ответить
Admin 30.03.23 16:58
Сергей 1968. cуществуют различные оценки качества моделей. В статистике критерий Фишера - один из способов проверки адекватности уравнений регрессии. В нашем случае применяется алгоритм градиентного бустинга деревьев решений. Для его оценки определена средняя абсолютная ошибка, величина которой составила 0.07 на тестовой выборке, при стандартном отклонении 0.3. Также посчитан R2 = 0.88. Насколько это надёжная модель, решать вам.
Ответить
*NERV 30.03.23 16:45
Поезд, перевозивший этанол, сошел с рельсов в США» у этих поезда каждый день почти слетают. Не пойму, что они пытаются добиться - показать, что при исчезновения дизеля для грузовиков и этот метод не совершенен и хана логистики или напугать всех отравлением например грунтовых вод и изъять частную собственность
Ответить
.mika66 30.03.23 16:30
я отдыхаю
Ответить
.mika66 30.03.23 15:32
все своих ыщешь?...:))
Ответить
fn917905 30.03.23 15:27
"Обучили модели, которые все так же прогнозируют доходность бумаги через год, коэффициент альфа (насколько лучше или хуже бумага выглядит относительно рынка в целом), финансово-независимые" Вот финансава независимые - это то что мы уже пиисят+ лет ищем.
Ответить
.mika66 30.03.23 14:45
 по вхз оборот бывает 10 бумаг по 124р в день...:)) прикольно
Ответить
.mika66 30.03.23 14:32
что ты мяукал про фосагру куйазот и сбер?
Ответить
.mika66 30.03.23 14:31
седня фосагро с дивами еще торгуется
Ответить
fn917905 30.03.23 14:30
нормалёк. ещё 0.15% пожжонава трухапарта возвернётся
Ответить
.mika66 30.03.23 14:26
на следующей неделе 26221 откупонит...:))
Ответить
.mika66 30.03.23 14:20
альфабанки? бредишь?
Ответить
.mika66 30.03.23 14:07
что истеришь?...:))
Ответить
*NERV 30.03.23 13:57
Что вы там испытываете, когда коллегия с непонятными деятелями во главе с товарищем маском, решили заморозить на полгода всю креатуру ниже гпт 4) т.е вы пытаетесь оседлать и хайпануть на низовых разработках, зная, что проект не то что будет улучшаться в будущем, а придётся скорее всего менять всю систему) дерзайте) а могли бы как норм люди открыть лоток с наперстками на казанском вокзале)
Ответить
Сергей 1968 30.03.23 13:42
Похоже пропущен важный этап. Прежде чем говорить, что есть модель, надо оценить ее достоверность. Как правило, для этого используются статистические критерии Стьюдента или Фишера. Если достоверность модели 95 % или выше, можно сказать, что модель есть. Если ниже, то модель не получилась, и надо в модель добавлять больше исходных факторов или закончить с отрицательным результатом. Судя по приведенным прогнозным отклонениям похоже что модели не работают. 
Ответить
Загружаем...