DziS Science | Data Science

Привет всем!👋Кстати, забыл поделиться, что иногда я все еще поигрываю в хоккей за альма матер.Так, на прошлых выходных поиграл за родной Сколтех в матче за 3 место. Матч выиграли, гол забил. Рад, что команда мечты еще жива, в этом году ей 5 лет! О нас написал Сколтех тут.#life

Привет всем!👋Ловите подборку мероприятий, на которые можно сходить в ближайшее время:В 🏦 пройдет Turbo ML ConfДостаточно интересное мероприятие, включающее большое количество докладов в разных областях DS.Выступления будут поделены на 5 секций: NLP, Research & RnD, LLM Applications & Copilots, RecSys, CV & Speech📍Локация: Москва, Раменский бул., 1, кластер Ломоносов📆 Время: 19 июля👉 Регистрация по ссылке 👨‍🏫 Формат: Офлайн🕺В 📱 пройдет dream->teamlead.Митап для обмена менеджерским опытом. Как заявлено, никаких скучных докладов, только полезные инсайты и кейсы управления командой. 📍Локация: Москва, ул. Льва Толстого, д.16📆 Время: 19 июля 👉 Регистрация по ссылке 👨‍🏫 Формат: Онлайн 👨‍🏫/Офлайн🕺В 📱 пройдет AI Dev DayМитап посвящен опыту разработки и успешного использования AI в промышленной эксплуатации. Позиционируется, как первое мероприятие Яндекса такого рода. 📍Локация: Москва, ул. Льва Толстого, д.16📆 Время: 27 июля 👉 Регистрация по ссылке 👨‍🏫 Формат: Онлайн 👨‍🏫/Офлайн🕺В конце июля пройдет конференция Pycon Russia 🐍Крутая и качественная по наполнению конференция про Python. Есть отдельно хардовый трек по Python, отдельно Data трек. Ценник, конечно солидных (билет стоит 28000 рублей). Если есть бюджет компании на мероприятия, постарайтесь выбить и посетить. Ходил на данную конференцию лет так 5 назад, посетил мастер класс тогда еще Senior NLP Саши (сейчас это уже очень уважаемый человек в области NLP и многим известный блоггер), который в то время показывал RuBert, первый BERT, обученный на русском корпусе. Также узнал много хардовых штук для оптимизации кода. В общем, эффект для хардов был строго положительный. 📍Локация: Москва, Конгресс-центр ЦМТ, Краснопресненская набережная, 12📆 Время: 25-26 июля 👉 Информация по ссылке 👨‍🏫 Формат: Офлайн🕺📱 анонсировал Practical ML Conf 2025 Одна из крупнейших конференций в профессиональной среде от Яндекса, включающая доклады практически по всем основным направлениям. На данный момент регистрация не открыта, но можно "подписаться на событие", что б получить возможность early регистрации. Рекомендую так сделать.📍Локация: Москва, ул. Льва Толстого, д.16📆 Время: 27 сентября 👉 Информация по ссылке 👨‍🏫 Формат: Онлайн 👨‍🏫/Офлайн🕺Пишите в комментариях, куда собираетесь пойти✍️@dzis_science#мероприятия

Привет всем!👋Сегодня поговорим о самом важном - времени⏳. Точнее его логировании в 🐍.- Какие есть наиболее популярные подходы к оценке узких горлышек ваших скриптов по времени?Прежде всего, в рамках данного поста ограничимся классическими питонячими скриптами (my_script.py), убрав из рассмотрения add-on'ы для Jupyterhub. Только код, никаких плагинов!Из наиболее распространённых я бы выделил использование библиотек (встроенных и кастомных), надстройки на ними в виде декораторов/кастомных контестных менеджеров и настройка логирования, либо волшебные функции при исполнении скриптов в интерактивном Python.Итак, посмотрим на основные варианты:1️⃣🔤Встроенная библиотека timeФундамент или мотор всех следующих вариантов. Основными методами замера являются следующие функции: ▪️ time.time(): возвращает текущее время в секундах с начала эпохи (Unix time). Разница между двумя вызовами - время выполнения. ▪️ time.perf_counter(): более точный таймер для измерения интервалов, использует время с максимально возможным разрешением. ▪️ time.process_time(): возвращает процессорное время, исключая время сна.2️⃣🔤Встроенная библиотека timeitТа самая, которая в IPython (а собственно в JH) вызывается как %timeit для однострочного и %%timeit для многострочного кода. Вызов в скриптах очень схож:import timeit def foo(): passtime_taken = timeit.timeit(stmt="foo()", setup="from __main__ import foo", number=1000)print(f"Время выполнения: {time_taken} секунд")Из интересного: данная функция из модуля использует при подсчете счетчик по умолчанию time.perf_counter(). Кастомный можно задать параметром timer.3️⃣🔤 Библиотека tqdmGuilty pleasure любого маленького любителя циклов! Просто и быстро понимать, сколько времени выполняется итерация (эпоха обучения/предобработки) и оценить остаточное время исполнения. Название tqdm происходит от арабского taqadum - "прогресс". Ведь основная фишка библиотеки - интерактивное освещение итерационного процесса, в отличии от счетчика time.Типичный пример использования:from tqdm import tqdmfor i in tqdm(range(10000)): passДля любителей эстетики в JH:from tqdm.notebook import trange, tqdmfor i in trange(10): passИз интересного: использование библиотеки tqdm при использовании pandas.apply(). Если добавить в код tqdm.pandas() и сделать progress_apply() вместо метода apply(), то будем видеть логирование.import pandas as pdfrom tqdm import tqdmtqdm.pandas()df['col2'] = df['col1'].progress_apply(my_function)4️⃣🔤Использование декораторовМы можем написать 1 раз декоратор и использовать его везде. Простейший пример ниже:import timefrom functools import wrapsdef log_time(func): @wraps(func) def wrapper(*args, **kwargs): start = time.perf_counter() result = func(*args, **kwargs) duration = time.perf_counter() - start print(f"{func.__name__} took {duration:.4f} sec") return result return wrapper@log_timedef preprocess_data(data): # ... обработка данных return cleaned_data5️⃣🔤Использование контекстных менеджеровДля понимания, что такое контекстные менеджеры, достаточно понять что делает наиболее часто встречаемые open(), используемый в конструкции with (with open() as):from contextlib import contextmanagerimport time@contextmanagerdef timer(name: str): start = time.perf_counter() yield duration = time.perf_counter() - start print(f"[{name}] Time: {duration:.4f} sec")# Использование:with timer("Foo Running"): foo()Ставь 🔥, если используешь.#ds_лайфхаки

Привет всем!👋Наконец-то дошли руки до обещанной распаковки от Сетки. В общем, содержание подарка следующее:1. Термобутылка2. Карточная игра (для поддержания small talks)3. Ремешок для телефона (все еще не понимаю как ими пользоваться)4. Свитшот (удивительно, но по размеру)5. Стикерпак6. Открытка#life #офтоп

Привет всем!👋Год назад я писал про свои #трудовые_будни, где рассказывал про то, как стал Tech Lead. Сегодня, спустя год, я стал полноценным Team Lead. Команда разрослась вдвое, количество проектов тоже выросла в 2 раза. Основные инсайты, что я вынес за этот год:1. Чем выше должность, тем больше негатива капает на тебя. Основная задача фокусироваться на конструктиве и не передавать негативные настроения команде. Сложный навык, нужно фильтровать очень много. 2. Делегирование важно. Если держать все проекты в голове на уровне, будто делаешь сам, долго не протянешь. Даже сравнивая записи начала периода (а как вы знаете я все по работе пишу в Obsidian) и сейчас, видно существенное различие. Фокус только на главном, детали на исполнителях. 3. Принятие решений должно быть безэмоциональным. Изначально, может показаться, что некоторые решения руководства жестокие или несправедливые, даже бесчеловечные. Картина меняется, когда понимаешь, что в любых вопросах надо руководствоваться прежде всего ответом на вопрос "А полезно ли это общему делу?". 4. Планирование - ключ к успеху. Любые договоренности должны быть со сроками, визуализации таймлайнов проектов помогают эффективно использовать ресурсы. 5. Встречи со смежными командами - политика. Важно уметь отстаивать свою точку зрения, при этом учитывать компромиссные решения. Никто не будет делать то, что в ущерб их интересов. Поэтому предварительная подготовка по позиции внутри команды перед такими переговорами - залог успеха. Тут однозначно просматривается параллель с дипломатией. 6. Критикуешь - предлагай. На данной позиции уже непозволительная роскошь жаловаться. Нужно подсветить проблему и сразу приходить с решением, учитывая специфику. Просто поныть уже не проедет. 7. Личный пример и авторитет в команде важен. Как показывает практика, никто не будет нацелен на результат, если ты не пойдешь вперед всех с флагом в руках. Нужно поработать больше, интенсивнее, ты работаешь со всеми и дальше больше. Руководитель отдыхает, зачем нам перетруждаться?8. Хороший коллектив - хороший перформанс. Инициация встреч 1 на 1 формата слушаем и слышим, внерабочие активности основа стабильности команды. Важно понимать, стараться идти на встречу и подсвечивать проблемные места. 9. Хорошее отношение нужно заслужить. К сожалению, это правило работает для всех, но некоторые банально его не понимают. Неоднократно писал, что важное правило в карьерном росте - позиция силы. Сила заключается в экспансии в рабочих проектах, когда сотрудник забирает на себя ответственность, хорошо и качественно работает, показывая себя проактивно. Безразличие к работе никого еще не приводило к карьерному росту. Безинициативные, безответственные сотрудники тянут команду на дно с ними нужно отдельно прорабатывать каждую ситуацию, нередко прощаясь с такими сотрудниками. #карьера