Не AБы какие тесты

Привет, товарищи-статистики!Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три: - первый от того, для кого это все либо вновинку (“вкат с нуля”),- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner), - а третий (он последний) от участника прошлого потока, который возвращался к материалу. Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.Не обошлось без очередных обновлений:1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!Что нового:- Стратификация и Variance Weighted Estimators- Paired t-test и тест Welch’a- Switchback тесты, Проблемы конечной популяции- Ошибки S/M, False Positive Risk- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)- Тест Колмогорова-СмирноваВ материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр. 3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить. Продолжение далее.

Привет, товарищи-шкодеры,Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше. Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:Что нужно по Python, SQL и т.д.

Привет, мои дорогие товарищи-статистики, Возлагаешь на PO ответственность (пост выше) - помогай.У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.Приоритизация по PIE, где P - Probability

Привет, comrades-статистики,По мотивам поста Лены (всячески рекомендую ее канал).О генерации гипотез.Последние несколько лет в моде быть продуктовым аналитиком, об этой роли пишут много красивых слов, хотя по мне так, как показывает практика и ожидания заказчиков, это дата-аналитик с фокусом на некоторой части бизнеса: в основном, всё сужается до приложения (самая частая вотчина просто), а точнее даже некоторой его части, за которую отвечает продакт и к кому определяется этот аналитик в помощь.То есть существует специализация - анализировать данные именно на приложении, все прочее рынок пока что за продуктовое не принимает (и зря!). Чтобы делать это успешно, нужно разбираться с трекерами (AppMetrica, Amplitude пр.), которые будут поставлять вам логи событий, а также исследовать пути пользователя и дизайнить-считать A/B. Это-то и отличает продуктового от прочих. Продолжение.

Привет, товарищи-статистики.Недавно впервые за много лет выиграл в розыгрыше призов, лицензию игры MFS 2024 (пруф - тут он тоже нужен, иначе еще за рекламу сочтёте) - это было неожиданно и приятно.Чуть раньше писал о том, что получил лицензию частного пилота (продолжение рассказа еще пишу), так вот, есть у меня планы озадачиться VR-полётами. Поэтому одним из пунктов была покупка MFS 2024, подводные мне были известны: современная классика игрового рынка - сырой продукт, но летать по гугл-картам того стоит.В связи с СВО Steam не только перестал пополняться обычными методами (благо сейчас есть сервисы), но и часть игр перестала быть доступной для покупки для российского регион. Надо было искать обходы, один из них оказался следующим: получение игры в подарок через предварительный перевод тем, кто это может подарить игру. Вопрос в том, а можно ли доверять тому, кому деньги отдаешь. В целом, биржи ок, но вот MSF штука дорогая, как-то не хотелось идти на риск, искал дальше. И поиск привел меня на группу FlyWithLeo, пролистал и добавился на будущее. В праздники увидел объявление о конкурсе, от участников ничего и не требовалось кроме как согласиться.Ловко ввернём сюда любимую статистику: это должен быть рандомный отбор из +600 человек, то есть p~1/600. Дело не в том, как же повезло, нет, а в том, что я рекомендую относится к конкурсам такого рода по-самурайски: "вы уже проиграли". Поэтому добавились, поставили себе напоминалку на день итогов, что участвуете (т.к. если победитель не отзовётся, то будет выбор нового победителя) и... забыли. Потому что рандом безжалостен и в ваше положение не войдет) Собственно, почти, так и сделал, - забыл напоминалку себе поставить. И 7-го числа получил сообщение в ЛС от организатора Лео, мол, ты победил, а далее: kind of reminder поскорее выйти на связь, иначе тыква вместо приза! Честно, было очень неожиданно, к тому же розыгрыш был Deluxe издания, а тут он стоит весьма дорого и я его не планировал брать, стандарта вполне хватило бы. Подарок в стиме от Лео получил, свои договорённости он выполнил: надеюсь, скоро опробуем с супругой. Но закину маленькую интригу, что это будет не просто абы какой VR, планы там приличные. А о том, почему вообще в целом я иду в VR, расскажу во втором посте про полёты.P.S. Повторюсь, не реклама, я вообще не собираюсь тут что-то размещать "а тебе и не предлагают", чем сам не пользуюсь и не знаю, как работает. Просто делюсь личным опытом взаимодействия, вдруг тут тоже кто думает о покупке MFS 2024.