Svd division что это
Обновлено: 02.07.2024
Продолжаем разговор о рекомендательных системах. В прошлый раз мы сделали первую попытку определить схожесть между пользователями и схожесть между продуктами. Сегодня мы подойдём к той же задаче с другой стороны – попытаемся обучить факторы, характеризующие пользователей и продукты. Если Васе из предыдущего поста нравятся фильмы о тракторах и не нравятся фильмы о поросятах, а Петру – наоборот, было бы просто замечательно научиться понимать, какие фильмы «о поросятах», и рекомендовать их Петру, а какие фильмы – «о тракторах», и рекомендовать их Васе.
Напоминаю ещё раз (и, видимо, буду напоминать до конца времён), что у нас есть матрица, состоящая из рейтингов (лайков, фактов покупки и т.п.), которые пользователи (строки матрицы) присвоили продуктам (столбцы матрицы). Давайте присмотримся к матрице , в которой записаны известные нам рейтинги. Как правило, один пользователь не сможет оценить значительную долю продуктов, и вряд ли будет много продуктов, которые готова оценить значительная доля пользователей. Это значит, что матрица R разреженная (sparse); нельзя ли этим как-нибудь воспользоваться?
Главным инструментом для нас станет так называемое сингулярное разложение матрицы R:
Сингулярное разложение – это достаточно простой, но очень мощный инструмент. Собственно, это один из главных с практической точки зрения результатов линейной алгебры, и результат уже весьма не новый (свойства SVD были изучены самое позднее в 1930-х годах), – и тем удивительнее бывает, когда университетские курсы линейной алгебры, довольно подробные в каких-то других аспектах, совершенно обходят SVD стороной.
Если у вас есть три минуты, можете насладиться ярким образчиком математического юмора; юмор, конечно, математический, так что не то чтобы смешно, но суть изложена доходчиво, а музыка наверняка понравится любителям… хм, на хабре, наверное, лучше будет сказать, что понравится любителям Fallout:
На случай, если трёх минут всё-таки не нашлось, я выделю главное для нас свойство: если R – матрица большого размера , но малого ранга f (в частности, разреженные матрицы часто бывают малого ранга), её можно разложить в произведение матрицы и матрицы , тем самым резко сократив число параметров, c NM до (N+M)f (чтобы понять, что это большой прогресс, представьте, что, как это обычно бывает на практике, N и M измеряются сотнями тысяч и миллионами, а f меньше десятка).
SVD очень широко употребляется в машинном обучении; фактически, если вы хотите что-то чем-то приблизить, не исключено, что вам где-то по дороге встретится SVD. Классический пример применения SVD – шумоподавление, например, в изображениях. Рассмотрим (чёрно-белое) изображение как матрицу X размера , элементы которой – интенсивности каждого пикселя. Теперь попробуем выбрать f столбцов пикселей из изображения, счесть их «репрезентативными» и представить каждый из оставшихся столбцов в виде линейной комбинации этих. Я не буду сейчас углубляться в математику, но в результате, когда вы найдёте оптимальные представления каждого столбца, получится, что вы представили исходную матрицу в виде произведения матриц размера и , то есть как раз приблизили матрицу X матрицей малого ранга f.
Основное же свойство SVD – в том, что SVD даёт оптимальное такое приближение, если в матрице D просто оставить ровно f первых диагональных элементов, а остальные занулить:
В диагональной матрице D, которая в середине сингулярного разложения, элементы упорядочены по размеру: , так что обнулить последние элементы – это значит обнулить наименьшие элементы.
Если хорошо подобрать f, то в результате изображение и в весе потеряет, и шума на нём станет меньше. А f в данном случае можно подбирать, исходя из размера сингулярных значений матрицы, т.е. тех самых диагональных элементов матрицы D: желательно отбрасывать как можно больше, но при этом как можно более маленьких таких элементов.
Но мы отвлеклись. В случае рекомендательных систем получается, что мы представляем каждого пользователя вектором из f факторов и представляем каждый продукт вектором из f факторов , а потом, чтобы предсказать рейтинг пользователя i товару j, берём их скалярное произведение . Можно сказать, что вектор факторов пользователя показывает, насколько пользователю нравится или не нравится тот или иной фактор, а вектор факторов продукта показывает, насколько тот или иной фактор в продукте выражен. Линейная же алгебра подсказывает нам, что для разреженной матрицы рейтингов такое разложение часто возможно и имеет содержательный смысл.
Может оказаться, кстати, что некоторые факторы легко будет понять человеческим умом: для фильмов может выделиться что-нибудь в духе «комедия–драма», «доля action'а», «доля романтики» и т.п., а факторы пользователей, соответственно, будут показывать, насколько соответствующие характеристики фильма им по вкусу. Но может и не выделиться ничего содержательного – тут гарантий нет, формально мы просто жонглируем цифрами.
В следующий раз мы превратим эту базовую идею – приблизить матрицу рейтингов матрицей малого ранга посредством SVD – в хорошо поставленную задачу оптимизации и научимся её решать.
The Division 2 - гайд для одиночного прохождения
The Division 2 прибыло, и все, что я могу сказать, это то, что игра является лучшим шутером со времен Borderlands 2. И если сравнивать его с собратьями, дружественными к онлайн играм-шутерам, такими как Destiny, Anthem и Warframe, то The Division 2 стоит просто быть законченной и законченной игрой прямо на старте, подвигом, которым не могут похвастаться другие подобные игры.
Багов нет, серверы супер стабильны, и все работает как задумано. Но это только верхушка айсберга, когда мы говорим о сильных сторонах.
Игра предлагает игрокам непрерывный лут, вызывающий крошечные удары допамина, которые заставляют нас играть все больше и больше. Но даже с его превосходной системой добычи, The Division 2 через некоторое время чувствовал бы себя как рутина, если бы у него был скучный бой.
Но реальность такова, что стратегические боевые игры игры похожи на пошаговые стратегические игры, в которых позиционирование и постоянное осознание врага играют не менее важную роль, чем сила и умение оружия.
Существует масса контента, с разнообразными миссиями и множеством запоминающихся уровней, которые делают игру приятной даже после того, как вы достигнете предела уровня, что является началом финальной части игры, которая также великолепно разработана.
Еще одна вещь, где Massive прибил это опыт одиночного игрока. Индивидуальные агенты могут наслаждаться игрой во многих ее формах, не нуждаясь в других участниках отряда для выполнения основных и дополнительных миссий. Кроме того, каждое действие в открытом мире может быть выполнено самостоятельно, а система добычи разработана таким образом, чтобы вознаграждать одиночных игроков таким же образом, как и отряды, с частыми выпадениями, содержащими множество высококачественной экипировки.
Поскольку я обычно играю одиночные игры со случайным погружением в мультиплеерные игры, такие как Battlefield, Rocket League, GT Sport или Forza 7, я не хотел играть в The Division 2 с командой.
И это работало очень хорошо большую часть времени. Игра сводится к тому, чтобы обслуживать одиноких странников, и она пытается сделать каждый игровой режим играбельным без отряда.
Я закончил основную историю, даже пару раз посещал Темную Зону, и это было играбельно, хотя и супер. Некоторые поздние основные миссии могут быть довольно наказуемыми для людей, которые играют сами по себе, но с правильной стратегией и эффективной комбинацией оружия и навыков их можно победить.
Я обнаружил много вещей, которые помогли мне завоевать Столицу (ну, по крайней мере, пока силы Черных Бивней не решили вернуть себе всю карту после того, как я вступил в эндшпиль), и сегодня я поделюсь этим со всеми вами, кто играет без отряда. Здесь есть множество советов, поэтому давайте начнем прямо сейчас.
Не пытайся быть героем
Это не оригинально для Division. В The Division 2 пара секунд после укрытия может означать, что игра окончена, даже когда вы полностью в отряде, поэтому не играйте в эту игру, как Gears of War, когда играете в одиночку, играйте в нее, как в первых трех играх Uncharted на максимальная сложность.
Steel Division 2-Провал который мог стать шедевром
Именно в этом игре никаких претензий предъявить просто нельзя: каждая дивизия(в игре присутствуют дивизии которые по-настоящему принимали участие в боях), каждая карта(за основу принимались реальные места сражений) созданы кропотливо и старательно. А также, советские солдаты не показаны кровожадными зверьми, как это было Company of Heroes 2.
2. Внимание к деталям .
В игре каждый отряд имеет несколько модификаций, например отряд пехоты без пулемёта, аналогичный с пулемётом или на грузовике. Тоже самое касается и техники.
Приятную ложку мёда мы уже съели, самое время для бочки дёгтя.
1.Реалистичность в ущерб Играбельность
Как вам например то, что для того чтобы артиллерия была более реалистичной, ей повысили дальность стрельбы, вроде бы разработчики сделали всё правильно. Но к сожалению теперь в игре мощь артиллерии превышает мощь всех остальных войск.
Вот то, что может остаться после удачного обстрела артиллерией. Вот то, что может остаться после удачного обстрела артиллерией.2. Игра на стыке жанров.
К сожалению я считаю, что этот эксперимент не удался, так как для того чтобы быть RTS в игре должно быть строительство базы, в некоторых играх строительству уделено мало времени, в некоторых наоборот от удачной базы зависит исход боя. В "Стальной Дивизии 2" его нет целиком и полностью. Добавлять строительство было и не нужно, стоило бы только добавить пару деталей и получился бы отличный варгейм. Но к сожалению разработчики оставили всё как есть и получился гибрид играть в который играть было неинтересно.
3.Устаревшая графика
К сожалению за 2 года с выхода первой части графика вообще не изменилась, пусть для меня это значит мало, для некоторых это может сыграть решающую роль.
Итог: К сожалению я разочаровался в игре, скорее всего из-за завышенных ожиданий от игры, но если игра вас заинтересовала, ознакомится с ней я всё же советую.
Life Division - что это такое? Отзыв о компании по первым впечатлениям. Роль Innovative Securities
Представьте, что у вас есть необходимость в следующих услугах:
1. вложить деньги так, чтобы они годами и десятилетиями приносили доход значительно выше инфляции
2. при это иметь возможность снимать их в любой момент и в любой же момент пополнять счет
3. имея возможность всегда выбрать степень риска от консервативного до высокого
4. вам нужно получить бессрочный кредит под 4-5% годовых в валюте
5. on-line доступ к счету в любой момент
6. возможность наследования вложенных денег в виде созданных счетов
Знаете ли вы место, где вам эти услуги окажут в рамках одного продукта?
Уверен, что нет.
Более того, если у кого-то из вас есть успешный опыт даже по пунктам 1 или 4, пусть в разных компаниях и продуктах, то уверен, что большинство читающих этот пост с большим интересом прочитают ваши комментарии о таких рыбных местах. Если конечно такие найдутся.
;-)
Уж больно часто мне попадаются в ленте ФБ посты со стенаниями "ну, почему у нас нет доступа к дешевым валютным кредитам, как у европейцев"! Даже сбер в Европе раздает кредиты под смешные, по сравнению с Россией, проценты.
Я теперь знаю место, где все 6 пунктов реализованы в одном продукте.
И, конечно, подробный отдельный рассказ о нем будет, но сначала о компаниях, которые позволяют получить доступ к этому уникальному сочетанию услуг:
Компания доверительного управления Innovative Securities осуществляет хранение, инвестирование, администрирование и управление денежными средствами, ценными бумагами, и инвестиционными портфелями от имени третьих лиц.
Life Division выполняет две главные функции
- административное обслуживание: открытие инвестиционных счетов и информационная поддержка клиентов Innovative Securities, то есть клиенты получают доступ к пакету финансовых услуг, о которых я сказал в начале и консультации со всей необходимой информацией для выбора стратегий вложения денег
- желающим заработать позволяет построить свой бизнес в качестве консультанта по открытию инвестиционных счетов
Любые большие компании выделяет то, что своим продуктом они меняют людей и мир вокруг нас.
Причем не количественно, а качественно. Ибо дают возможность взглянуть на окружающий мир и нашу жизнь совершенно под другим углом.
И я почувствовал это на себе на недавнем семинаре в Будапеште, о котором я рассказывал ранее .
По-новому взглянул на достижимость больших финансовых целей в свои сорок лет. Дома после многолетних "хорошо бы это сделать" появились три банки, в которые мы уже третью неделю каждый день откладываем по доллару/евро/50 рублей на выбор. Банки называются благотворительность, накопления, инвестиции. Это конечно пока меньше 10% дохода на банку, но и больше 1%. Я просто, наконец, понял, что главное начать и делать это КАЖДЫЙ день и тогда через 5/10/20 лет будет результат однозначно отличный от прошлого опыта.
Я оглянулся там на этот опыт и очень четко увидел, что всегда достигал чего хотел. Просто масштаб хотелок и целей был маленький, ну или давно не происходил качественный скачок в их размерах.
Уже более 10 лет основным продуктом, который Life Division предлагает клиентам - является Profit Max.
Это финансовый продукт, представляющий из себя диверсифицированный инвестиционный портфель из американских бумаг.
На этом же семинаре я узнал и про другие новые продукты компании, подробно расскажу о них в следующем посте.
Что меня больше всего удивило и убедило - это то что под залог своих активов клиенты Profit Max имеют возможность в любой момент времени воспользоваться кредитом по ставке 4-5% годовых. Значит европейские банки, предоставляющие эти кредиты, считают Profit Max надежным залогом, гарантирующим возврат денег.
Кому приходилось делать справку в банке для визы? Оказалось, что консульство США и ряда других стран принимает выписку со счета Profit Max при подаче на визу, как свидетельство наличия финансов.
Компания Life Division существует с 1990 года и стала известна уже тогда тем, кто хотел пользоваться продуктами и услугами европейских (особенно швейцарских, немецких и австрийских) страховых компаний и банков, живя при этом в Восточной Европе или СНГ.
Итак, консультант компании Life Division консультирует клиента, который выбирает стратегию вложения (это может быть комбинация десятков счетов в нужной комбинации) переводит деньги в валюте (евро, доллар или швейцарский франк) в Innovative Securities и получает инвестиционные счета выбранных продуктов.
То есть клиент получает то, о чем я говорил в начале:
1. Деньги вложены так, чтобы они годами и десятилетиями приносили доход значительно выше инфляции, статистика с 2010 года, показанная нам на семинаре демонстрирует, что доходность Profit Max была выше, чем доходность S&P500 или золота за это период, продукт предлагаемый Life Division был в плюсе даже в кризисные годы!
2. Есть возможность снимать их в любой момент и в любой же момент пополнять счет через карту MasterCard. Компания Innovative Securities является членом платежной системы MasterCard и может выпускать свои карты, а чтобы иметь такое право, нужно соответствовать очень жестким требованиям.
3. В любой момент есть возможность выбрать/изменить стратегию накопления. Но, как я понял, наибольшая выгода достигается при готовности к вложениям на годы, в идеале на десятилетия.
4. Можно получить бессрочный кредит до 60% от вложенной суммы под 4-5% годовых в валюте. Кредит выдают банки партнеры под залог Profit Max. При этом, оплачивать кредит можно в удобном для себя графике, например, оплачивать только проценты в конце года.
5. On-line доступ к счету в любой момент через интернет.
6. Возможность наследования вложенных денег в виде созданных счетов. Об этом будет в отдельной публикации позже.
Меня очень сильно удивило, что больше никто в мире не предлагал до сих пор такой совокупности услуг на таких условиях.
Теперь о второй возможности, которую дает Life Division - строить бизнес.
Для распространения продуктов выбрана MDN - multidimensional network или многомерная сеть.
Да, это сетевой бизнес, но с возможностью делать портфельный бизнес.
Из прибыли, которую принес инвестиционный портфель клиента, самому клиенту достается 80%, еще 10% получает Innovative Securities за управление счетом), и оставшиеся 10% получает консультант, который проконсультировал и помог открыть счет.
Консультанты получают таким образом:
1. Готовую площадку для бизнеса, отличный маркетинг-план с хорошими комиссионными в евро, выплаты за личные и групповые объемы без стагнаций и отсечения структур
2. Пассивный доход от каждого клиента. Пока на счете клиента работают деньги консультант получает 10% от прибыли привлеченного капитала, гонорар и пересчет единиц за увеличение вклада.
Главное - нет бесконечных продаж, гонок за объемами, уровнями и т. п. Полная свобода выбора и действий
Кстати, я даже побывал в головном офисе Life Division в Будапеште.
Фотография в начале публикации как раз была сделана в вестибюле здания, где они работают. Офис, кстати, большой оказался у них.
А почтовый ящик компании соседствует с ящиками Coca-Cola и OKI.
Рекомендательные системы: SVD и базовые предикторы
В прошлый раз я рассказал, пока в самых общих чертах, о сингулярном разложении – главном инструменте современной коллаборативной фильтрации. Однако в прошлый раз мы в основном говорили только об общих математических фактах: о том, что SVD – это очень крутая штука, которая даёт хорошие низкоранговые приближения. Сегодня мы продолжим разговор об SVD и обсудим, как же, собственно, использовать всю эту математику на практике.
И снова начнём издалека: посмотрим на то, из чего будет складываться рейтинг одного продукта. Во-первых, вполне может быть, что пользователь добрый и всем подряд выдаёт хорошие рейтинги; или, наоборот, злой и рейтинг зажимает. Если не учесть этот базовый фактор, ничего не получится – без поправки на среднее рейтинги разных пользователей не сравнить. С другой стороны, некоторые продукты попросту лучше других (или хотя бы раскручены лучше), и это тоже следует учитывать аналогичным образом.
Поэтому мы начнём с того, что введём так называемые базовые предикторы (baseline predictors) , которые складываются из базовых предикторов отдельных пользователей и базовых предикторов отдельных продуктов , а также просто общего среднего рейтинга по базе μ:
Если мы захотим найти только базовые предикторы, мы должны будем найти такие μ, и , для которых лучше всего приближают имеющиеся рейтинги.
Затем можно будет добавить собственно факторы – теперь, когда мы сделали поправку на базовые предикторы, остатки будут сравнимы между собой, и можно будет надеяться получить разумные факторы:
где – вектор факторов, представляющий продукт a, а – вектор факторов, представляющий пользователя i.
Может показаться, что найти, например, базовые предикторы – дело совсем простое: давайте просто подсчитаем средний рейтинг по всей базе , примем его за μ, потом вычтем его из каждой оценки и подсчитаем средние рейтинги по пользователям и по продуктам. Однако считать эти предикторы таким образом было бы неправильно: на самом деле они зависят друг от друга, и оптимизировать их надо вместе.
Теперь мы можем вернуться к исходной задаче и сформулировать её точно: нам нужно найти наилучшие предикторы, которые приближают
Что здесь значит «наилучшие»? Первое приближение к ответу на этот вопрос звучит так: «наилучшие» – это те, которые меньше всего ошибаются на имеющихся данных. Как определить ошибку? Можно, например, сложить квадраты отклонений (кстати, почему именно квадраты? об этом мы тоже ещё поговорим в следующих сериях) у тех рейтингов, которые мы уже знаем:
А как минимизировать такую функцию? Да очень просто – градиентным спуском: берём частные производные по каждому аргументу и двигаемся в сторону, обратную направлению этих частных производных. Функция ошибки – квадратичная поверхность, так что никаких сюрпризов нас здесь не ждёт.
Однако если мы теперь выпишем и реализуем формулы для градиентного спуска по полученной функции ошибки L, практический результат на реальных датасетах нас вряд ли обрадует. Чтобы обучить хорошие значения предикторов и факторов, нам, вообще говоря, неплохо было бы разобраться в других важных концепциях машинного обучения – оверфиттинге и регуляризации, и в одной из следующих серий мы увидим это на практике. А пока просто поверьте, что нужно ещё штрафовать за слишком большие значения обучаемых переменных; например, можно просто добавить в функцию ошибки сумму квадратов всех факторов и предикторов.
В результате функция ошибки выглядит как
где λ – параметр регуляризации.
Если взять у неё частные производные по каждой из оптимизируемых переменных, получим простые правила для (стохастического) градиентного спуска:
для всех j, где – ошибка на данном тестовом примере, а γ – скорость обучения. Эта модель называется SVD++, и именно она легла в основу модели-победительницы в Netflix Prize (хотя, конечно, она не могла выиграть в одиночку – о том, почему так и что же делать, мы тоже ещё поговорим позже).
В следующий раз я попробую разобрать конкретный пример: применить SVD к матрице предпочтений, проанализировать, что получается, выделить основные трудности. Надеюсь, будет интересно!
Читайте также: