{"componentChunkName":"component---src-templates-material-js","path":"/workshops/2021/03/19/python-biblioteka-pandas-chast-3/","result":{"pageContext":{"pageParameters":{"isPreview":false,"isMirror":false,"delay_to_show_donate_popup_seconds":7,"about_page":false,"games_page":true,"games_page_link_in_header":false,"donate_popup_show_ru":true,"donate_popup_title_ru":"Без вас — нас не будет","donate_popup_content_ru":"Помогите нам добывать и рассказывать важные истории. Участие каждого — важно!","donate_popup_show_en":true,"donate_popup_title_en":"We can’t do it alone!","donate_popup_content_en":"Help us uncover and share the stories that matter. Every contribution makes a difference","display_regular_donors_banner":false,"showPatreonMethod":true,"useNewMaterialDonationBanner":true,"new_donations_page_design":true,"donations_popup_variants":{"ru":[{"id":"kc19b","title":"Сохраните журналистику для людей в России ","subtitle":"Читают нас прежде всего люди в России, но будущее «Важных историй» зависит от тех, кто живет за пределами страны. Поддержите нас ежемесячным донатом — сохраните независимую журналистику для ваших близких, которые остаются в России.","is_active":true,"background":"linear-gradient(10deg, #421f20 5%, #994146)"},{"id":"33tc9","title":"У пропаганды есть миллиарды из бюджета. У нас — только вы","subtitle":"Перемены возможны, если независимые от власти журналисты продолжают свою работу день за днем, год за годом. Мы рассказываем важные истории уже шесть лет. Помогите нам продолжать.","is_active":true,"background":"linear-gradient(10deg, #421f20 5%, #994146)"}],"en":[{"id":"nj1py","title":"Important stories don’t tell themselves","subtitle":"Independent journalism comes at a cost. We answer to no owners or advertisers — only to you, our readers.  Your ongoing support allows us to keep exposing the truth. Without you, we won’t be here.","is_active":true,"background":"linear-gradient(10deg, #421f20 5%, #994146)"},{"id":"xdfc1","title":"Help us outlast the Kremlin censorship","subtitle":"Censorship lose to journalism that keeps showing up, year after year. Monthly donors are what make that possible","is_active":true,"background":"linear-gradient(10deg, #421f20 5%, #994146)"},{"id":"ck121","title":"State propaganda has billions to spend. We have only you to rely on","subtitle":"Change happens when independent journalists keep showing up — day after day, year after year. Six years in, we're still showing up. Help us keep going with a monthly donation.","is_active":true,"background":"linear-gradient(10deg, #421f20 5%, #994146)"}]},"feedback_page":true,"donorsCount":0,"showAuthorsRequestAfterMaterial":true,"radioPage":true,"radioExists":{"ru":true,"en":false},"singlePlaylistPath":{"ru":"/radio/2025/12/22/razgovori-ovazhnikh/"},"with_bookmarks":true,"news_feed":true,"news_feed_skeleton":false,"news_page_redesign":true,"with_topics":true,"materials_topics":false,"topics_page":true,"with_pdf_share":false,"with_native_share":false,"preferred_source_page":true,"charon_new_form":true,"preferred_source_promos":true,"charon_en_page":true},"pk":232,"header":"Python. Библиотека Pandas, часть 3","lead":"Объединение датафреймов методами merge и concat, lambda-функции, работа с большими файлами","category":"workshops","entry_image":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1920x960px_1x.webp","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1920x960px_2x.webp","for_width":1920,"for_height":960,"real_width_1x":1920,"real_width_2x":3840,"real_height_1x":960,"real_height_2x":1920},{"format":"jpg","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1920x960px_1x.jpg","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1920x960px_2x.jpg","for_width":1920,"for_height":960,"real_width_1x":1920,"real_width_2x":3840,"real_height_1x":960,"real_height_2x":1920},{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1272x636px_1x.webp","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1272x636px_2x.webp","for_width":1272,"for_height":636,"real_width_1x":1272,"real_width_2x":2544,"real_height_1x":636,"real_height_2x":1272},{"format":"jpg","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1272x636px_1x.jpg","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-1272x636px_2x.jpg","for_width":1272,"for_height":636,"real_width_1x":1272,"real_width_2x":2544,"real_height_1x":636,"real_height_2x":1272},{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-912x456px_1x.webp","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-912x456px_2x.webp","for_width":912,"for_height":456,"real_width_1x":912,"real_width_2x":1824,"real_height_1x":456,"real_height_2x":912},{"format":"jpg","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-912x456px_1x.jpg","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-912x456px_2x.jpg","for_width":912,"for_height":456,"real_width_1x":912,"real_width_2x":1824,"real_height_1x":456,"real_height_2x":912},{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-600x400px_1x.webp","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-600x400px_2x.webp","for_width":600,"for_height":400,"real_width_1x":600,"real_width_2x":1200,"real_height_1x":400,"real_height_2x":800},{"format":"jpg","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-600x400px_1x.jpg","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-600x400px_2x.jpg","for_width":600,"for_height":400,"real_width_1x":600,"real_width_2x":1200,"real_height_1x":400,"real_height_2x":800},{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-360x360px_1x.webp","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-360x360px_2x.webp","for_width":360,"for_height":360,"real_width_1x":360,"real_width_2x":720,"real_height_1x":360,"real_height_2x":720},{"format":"jpg","url_1x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-360x360px_1x.jpg","url_2x":"https://static.istories.media/uploaded/images/b1eb8c939a924cae92ce5ccf89215b93-360x360px_2x.jpg","for_width":360,"for_height":360,"real_width_1x":360,"real_width_2x":720,"real_height_1x":360,"real_height_2x":720}],"entry_image_credit":"","blocks":[{"data":"На завершающем уроке «Мастерской» по библиотеке Pandas мы научимся объединять датафреймы, применять lambda-функции и работать с большими файлами. ","type":"p","className":""},{"data":{"data":{"url":"https://www.youtube.com/embed/dQw5B9FGfNk","text":"Видео: Илья Градусов","provider":"youtube","rawInput":"https://www.youtube.com/watch?v=dQw5B9FGfNk","ratio_mobile":"16:9","ratio_desktop":"16:9"},"category":"video-embed"},"type":"video-embed"},{"data":"1. Объединнение датафреймов методами merge и concat","type":"h2","className":""},{"data":"Объединение датафреймов — задача, которую приходится решать довольно часто. Чтобы научиться это делать, скачаем еще один файл в дополнение к данным по смертности, с которыми мы работали во время первых двух уроков. Скачаем файл на том же сайте Проекта по изучению глобального бремени болезней Института оценки показателей здоровья США <a href=\"http://ghdx.healthdata.org/gbd-results-tool\" data-type=\"usual\" target=\"_blank\">(IHME GBD)</a>. Выберем те же показатели, что на <a href=\"https://istories.media/workshops/2021/03/05/python-biblioteka-pandas-chast-1/\" data-type=\"usual\" target=\"_blank\">первом занятии</a>, только в графе measure выберем не deaths, а DALYs (Disability-Adjusted Life Years). Этот показатель означает, сколько лет здоровой и продуктивной жизни люди теряют из-за нетрудоспособности и ранней смерти от разных болезней. Его еще называют измерением разрыва между текущим состоянием здоровья людей и идеальной ситуацией, когда все население доживает до преклонного возраста, не страдая от болезней и инвалидности.&nbsp;","type":"p","className":""},{"data":"Чтобы не ждать, пока придут выбранные данные, можно скачать их по ссылкам:","type":"p","className":""},{"data":"<a href=\"https://drive.google.com/file/d/1uK1edpdqVFJnFaGTWGpVOlaJHgoCBwli/view?usp=sharing\" data-type=\"usual\" target=\"_blank\">Файл 1</a> — новый, с показателями DALY.","type":"p","className":""},{"data":"<a href=\"https://drive.google.com/file/d/16fM_JEC5GAkYEDaDgzROrBm8loi9RZRZ/view\" data-type=\"usual\" target=\"_blank\">Файл 2</a> — прежний, с показателями смертности, deaths.","type":"p","className":""},{"data":"Импортируем библиотеку Pandas и загрузим оба файла.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/6b97829941fe4956bb6c50026c039e28-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/6b97829941fe4956bb6c50026c039e28-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":48,"real_height_2x":96},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/6b97829941fe4956bb6c50026c039e28-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/6b97829941fe4956bb6c50026c039e28-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":48,"real_height_2x":96}]}]},"category":"image-embed"},"type":"image-embed"},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/946ced756c99471fb77fc555c4ce5c02-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/946ced756c99471fb77fc555c4ce5c02-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":547,"real_height_2x":1094},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/946ced756c99471fb77fc555c4ce5c02-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/946ced756c99471fb77fc555c4ce5c02-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":547,"real_height_2x":1094}]}]},"category":"image-embed"},"type":"image-embed"},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/746f02c76b3d4959af76b190ca900126-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/746f02c76b3d4959af76b190ca900126-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":492,"real_height_2x":984},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/746f02c76b3d4959af76b190ca900126-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/746f02c76b3d4959af76b190ca900126-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":492,"real_height_2x":984}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Некоторые значения в столбцах в обоих датафреймах совпадают, а некоторые отличаются. Страна (location), пол (sex), возрасты (age), причины (cause), год (year) — одинаковые.  А вот измерение (measure), а также числовые показатели val, upper и lower отличаются. В столбце metric тоже разные значения. Давайте объединим эти датафреймы, просто добавив новые значения (DALY, число потерянных лет из-за нетрудоспособности и ранней смерти от разных болезней) к тем данных по смертности, что у нас уже есть. ","type":"p","className":""},{"data":"Но перед этим лучше переименовать числовые столбцы, чтобы потом не запутаться. Добавим к числовым столбцам названия измерений.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/830c628e43fc4970b54508dd384e4c5e-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/830c628e43fc4970b54508dd384e4c5e-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":99,"real_height_2x":198},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/830c628e43fc4970b54508dd384e4c5e-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/830c628e43fc4970b54508dd384e4c5e-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":99,"real_height_2x":198}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"И объединим методом merge(). ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/a2ac2c6a81b34a0aba12bb78bb6ef7c7-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/a2ac2c6a81b34a0aba12bb78bb6ef7c7-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":111,"real_height_2x":222},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/a2ac2c6a81b34a0aba12bb78bb6ef7c7-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/a2ac2c6a81b34a0aba12bb78bb6ef7c7-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":111,"real_height_2x":222}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"В аргументе on прописываем, в каких столбцах должны совпасть значения в обоих датафреймах. Аргумент how определяет, как именно объединить строки датафрейма:","type":"p","className":""},{"data":"inner — только общие, совпадающие в обоих датафреймах","type":"p","className":""},{"data":"outer — все строки из всех датафреймов, не важно, совпадающие или нет","type":"p","className":""},{"data":"left — только совпадающие строки плюс все строки из левого датафрейма","type":"p","className":""},{"data":"right — только совпадающие строки плюс все строки из правого датафрейма ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"Картинка: «Важные истории»","caption":"Параметры аргумента how в методе merge() библиотеки Pandas","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/9516a9f7ef274953b727e1c2df1ffdc7-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/9516a9f7ef274953b727e1c2df1ffdc7-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":790,"real_height_2x":1580},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/9516a9f7ef274953b727e1c2df1ffdc7-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/9516a9f7ef274953b727e1c2df1ffdc7-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":790,"real_height_2x":1580}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Еще один метод объединения датафреймов — concat(). Чтобы его опробовать, разделим датафрейм на две части. В первой будут строки с первой до 50 000, во второй с 50 000 и до последней. А затем объединим их обратно методом concat(). Аргумент axis = 0 опять означает, что объединяем по строкам, а не по столбцам. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/8d1951ec35b147609ecc693350d5e6bb-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/8d1951ec35b147609ecc693350d5e6bb-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":265,"real_height_2x":530},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/8d1951ec35b147609ecc693350d5e6bb-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/8d1951ec35b147609ecc693350d5e6bb-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":265,"real_height_2x":530}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"2.1. Добавление новых столбцов с помощью математических операций","type":"h2","className":""},{"data":"На <a href=\"https://istories.media/workshops/2021/03/05/python-biblioteka-pandas-chast-1/\" data-type=\"usual\" target=\"_blank\">первом</a> уроке мы уже научились добавлять новые столбцы на основе операций с другим столбцами. Мы создавали новый столбец, в котором было округленное до одной десятой значение показателя смертности. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/55483a21282841579bd1af925af72ea8-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/55483a21282841579bd1af925af72ea8-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":298,"real_height_2x":598},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/55483a21282841579bd1af925af72ea8-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/55483a21282841579bd1af925af72ea8-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":298,"real_height_2x":598}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Точно так же можно создать новый столбец на основе не одного, а нескольких других столбцов. Например, суммируя их. Попробуем суммировать столбцы death_val, death_upper, death_lower. В случае с нашими данными сумма этих показателей нам ничего не даст, это нужно просто для тренировки. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/a618be106d904471aa34a794049c9e4e-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/a618be106d904471aa34a794049c9e4e-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/a618be106d904471aa34a794049c9e4e-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/a618be106d904471aa34a794049c9e4e-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Появился новый столбец deaths_total. Точно так же можно суммировать с помощью сочетания методов loc и sum (вместо sum может быть и mean (среднее), median (медиана), std (стандартное отклонение), min, max и пр.). ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/fc04e9aef3b14d2a9e0ab2814e0c52c5-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/fc04e9aef3b14d2a9e0ab2814e0c52c5-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/fc04e9aef3b14d2a9e0ab2814e0c52c5-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/fc04e9aef3b14d2a9e0ab2814e0c52c5-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Точно так же можно использовать iloc. Столбец deaths_val по счету 11-ый, deaths_lower — 13-ый. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/729d0132627b46f1887120f9cb8aba76-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/729d0132627b46f1887120f9cb8aba76-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/729d0132627b46f1887120f9cb8aba76-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/729d0132627b46f1887120f9cb8aba76-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Но сумма в столбце total_iloc отличается. Это потому, что метод iloc не включает правый край, то есть столбец номер 13 (deaths_lower) не посчитался. Нужно заменить 13 на 14, чтобы он тоже суммировался.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/bf7553f2f3734253af1df4aeb8330929-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/bf7553f2f3734253af1df4aeb8330929-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/bf7553f2f3734253af1df4aeb8330929-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/bf7553f2f3734253af1df4aeb8330929-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":276,"real_height_2x":552}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Удалим новые столбцы, чтобы не мешали.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/584c58b48f874f4e98a5e2c0a3ab5542-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/584c58b48f874f4e98a5e2c0a3ab5542-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":57,"real_height_2x":114},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/584c58b48f874f4e98a5e2c0a3ab5542-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/584c58b48f874f4e98a5e2c0a3ab5542-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":57,"real_height_2x":114}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"<strong>2.2. Добавление новых столбцов с помощью функций </strong>","type":"h2","className":""},{"data":"В Pandas очень удобно пользоваться короткими lambda-функциями, которые открывают много возможностей для анализа данных. Например, давайте создадим новый столбец, в котором будет True, если страна (location) входила в 2020 году в СНГ, и False, если нет. Представим, что нам зачем-то нужна эта информация. Для начала создадим список таких стран. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/0f33b52d97f643e5b1afce4e1e4cba94-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/0f33b52d97f643e5b1afce4e1e4cba94-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":80,"real_height_2x":159},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/0f33b52d97f643e5b1afce4e1e4cba94-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/0f33b52d97f643e5b1afce4e1e4cba94-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":80,"real_height_2x":159}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Затем создадим новый столбец и пропишем функцию, которая будет применяться к столбцу location и на его основе создавать нужный нам столбец: если страна входит в СНГ, напротив нее будет True, если нет, то False. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/92ea95ee5df74078ba607471cd2e88b0-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/92ea95ee5df74078ba607471cd2e88b0-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":624,"real_height_2x":1248},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/92ea95ee5df74078ba607471cd2e88b0-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/92ea95ee5df74078ba607471cd2e88b0-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":624,"real_height_2x":1248}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"То же самое условие можно записать и короче.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/0fa3e1d829284f4d8aafe354cac36cea-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/0fa3e1d829284f4d8aafe354cac36cea-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":58,"real_height_2x":118},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/0fa3e1d829284f4d8aafe354cac36cea-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/0fa3e1d829284f4d8aafe354cac36cea-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":58,"real_height_2x":118}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Но lambda-функция подходит, только если функция короткая и простая. Если она сложнее, то нужно отдельно прописать ее и затем точно так же подставить для создания нового столбца. Пропишем ту же функцию, что и выше со странами СНГ, но отдельно. Точно также можно прописать любую более сложную функцию. Урок по функциям можно найти <a href=\"https://www.youtube.com/watch?v=h_zVaHJWwPw\" data-type=\"usual\" target=\"_blank\">здесь</a>. ","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/4bbce66ee27d4f81be838bdc884cf48c-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/4bbce66ee27d4f81be838bdc884cf48c-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":584,"real_height_2x":1170},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/4bbce66ee27d4f81be838bdc884cf48c-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/4bbce66ee27d4f81be838bdc884cf48c-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":584,"real_height_2x":1170}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"<strong>3. Работа с большими файлами </strong>","type":"h2","className":""},{"data":"В наших датафреймах от 90 от 257 тысяч строк, и обрабатывались они очень быстро. Но предположим, в файле не 257 тысяч, а миллионы строк. Такой файл будет долго грузиться, и работать с ним будет неудобно. Но Pandas позволяет легко работать и с большими файлами тоже. Для этого при загрузке есть параметр chunksize — или части,  фрагмента, на которые мы хотим разбить файл, в затем работать с ними по отдельности, чтобы ускорить процесс. ","type":"p","className":""},{"data":"Например, установим аргумент chunksize для нашего датафрейма в 50 000 строк. Это значит, что наш файл, в котором около 80 000 строк, будет разделен на две части. Попробуем его применить и выведем эти части на экран, чтобы посмотреть, как это выглядит.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/1e1afaabe5ea4af8b4557872969678f9-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/1e1afaabe5ea4af8b4557872969678f9-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":706,"real_height_2x":1412},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/1e1afaabe5ea4af8b4557872969678f9-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/1e1afaabe5ea4af8b4557872969678f9-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":706,"real_height_2x":1412}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"С каждым из файлов теперь можно проделать какие-то операции по отдельности — выбрать нужные строки, посчитать параметры, удалить ненужное, а затем объединить их уже в более  компактный датафрейм. Например, применим функцию groupby отдельно для каждой части и затем склеим их в одну. Чтобы это сделать, сначала нам нужно создать пустой датафрейм, а затем присоединять к нему результаты применения метода groupby для каждой части. Подробнее о методе groupby — во <a href=\"https://istories.media/workshops/2021/03/12/python-biblioteka-pandas-chast-2/\" data-type=\"usual\" target=\"_blank\">втором </a>уроке. В получившемся датафрейме у нас будут не все строки из всех частей, а только нужные нам расчеты: как менялась средняя смертность и потерянные трудоспособные годы жизни от разных причин с годами.","type":"p","className":""},{"data":{"data":{"images":[{"credit":"","caption":"","imagesList":[{"format":"webp","url_1x":"https://static.istories.media/uploaded/images/2f28b265355e481a9f72ec1b09b41666-1200xautopx_1x.webp","url_2x":"https://static.istories.media/uploaded/images/2f28b265355e481a9f72ec1b09b41666-1200xautopx_2x.webp","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":547,"real_height_2x":1094},{"format":"png","url_1x":"https://static.istories.media/uploaded/images/2f28b265355e481a9f72ec1b09b41666-1200xautopx_1x.png","url_2x":"https://static.istories.media/uploaded/images/2f28b265355e481a9f72ec1b09b41666-1200xautopx_2x.png","for_width":1200,"for_height":"auto","real_width_1x":1200,"real_width_2x":2400,"real_height_1x":547,"real_height_2x":1094}]}]},"category":"image-embed"},"type":"image-embed"},{"data":"Вот и всё, мы познакомились с основами библиотеки Pandas. Полученных знаний будет достаточно для того, чтобы начать анализировать данные. Конечно, мы рассказали не обо всех методах и нюансах, для этого есть подробные онлайн-курсы и книги. Более того, библиотека Pandas насколько хорошо изучена и популярна, что можно сформулировать буквально любой запрос: например, как разбить числовой столбец на интервалы, как объединить много файлов в один, как загрузить json, и в интернете будет множество вариантов того, как это сделать в Pandas.","type":"p","className":""},{"data":"Тетрадку с этого урока можно найти <a href=\"https://github.com/iStoriesMedia/python_lessons\" data-type=\"usual\" target=\"_blank\">здесь</a>. Если вы захотите задать вопросы и пообщаться, пишите нам в чат в <a href=\"https://t.me/istories_helloworld\" data-type=\"usual\" target=\"_blank\">Telegram</a>. Если вам нравится «Мастерская», вы также можете оформить пожертвование. Ждем вас на следующих уроках!","type":"p","className":""}],"created_at_date":"2021-03-19","updated_at_date":null,"created_at_date_time":null,"updated_at_date_time":null,"is_exclusive":false,"is_urgent":false,"initially_published_at":"2021-03-19T06:57:35.012Z","has_additional_facts":false,"locale":"ru","has_visualization_without_fallback":false,"spec_project":null,"header_secondary":"","warning":"","is_translated_by_ai":false,"with_donation_banner":true,"donation_banner_header":"","donation_banner_text":"","media_outlet__codename":null,"with_authors_request_banner":false,"faq":[],"_path":"/workshops/2021/03/19/python-biblioteka-pandas-chast-3/","is_published":true,"authors_list":[{"id":2517,"last_name":"","first_name":"Редакция","last_name_en":"","first_name_en":"Editors","ordering":null}],"external_authors_list":[],"editors_list":[],"external_editors_list":[],"participants_list":[],"external_participants_list":[],"partners_list":[],"case":null,"translated_material":null,"audio_material":null,"text_material":null,"id":232,"topics":[],"meta":{"og_title":"","og_description":"","twitter_title":"","twitter_description":"","og_image":"https://static.istories.media/uploaded/images/share/a7d7f04307e14ef19e7177d341e6f0cc.jpg","twitter_image":"https://static.istories.media/uploaded/images/share/a7d7f04307e14ef19e7177d341e6f0cc.jpg","vk_image":"https://static.istories.media/uploaded/images/share/vk/c81aff8e22174b0fb625e59b19f4916e.jpg"},"tags":["pandas","программирование","мастерская","python"],"playlist":null,"socialMediaBanners":[{"id":10,"text":"У пропаганды есть миллиарды из бюджета. У нас — только вы","link":"","codename":"donation"},{"id":14,"text":"Список погибших и пропавших без вести российских военных","link":"","codename":"haron"},{"id":18,"text":"","link":"","codename":"mobile_app"},{"id":6,"text":"Оставайтесь на связи: подпишитесь на нашу рассылку","link":"","codename":"newsletter"}]}},"staticQueryHashes":["764694655"],"slicesMap":{}}