Ну что есть кто желающие ?

jsmith82 давай блесни своими мега способностями по программированию BIGDATA ))))

http://special.habrahabr.ru/beeline/

В этом
задании вам предстоит попытаться определить возраст
абонента по имеющимся данным.

у них же есть данные на каждого абонента, нафига эти пляски?

andrewks у них же есть данные на каждого абонента, нафига эти пляски?

Ну что как маленький ищут они крутых программеров, а тут тестовое задание выполнишь лучше всех получишь 500 килорублей, что бы не ныли как NcSteel типа вот билайн мне тестовое задание прислал на обработку биллинга на 500 млрд строк )))) я потратил на них 100 часов )))

Будущий_Олигарх ищут они крутых программеров

ну, тут задание не столько на программирование, сколько на построение статистической модели

(3) биг дата это и есть на 50% статистика

(5) Да еще бы получить гарантию что 500 тонн упадет кому надо, а то казачок засланный будет, а вот со 2 по 30 место будет нормальный список мощных товарищей и бесплатно !)))

(6) ты опытный

andrewks (6) ты опытный

А то ))) [smile=^_^]

будем время - прогоню через дефолтную стат модель от сапа
будет интересно посмотреть на результат

У нас же тут БешНог спец по BIGDATA

(9) все hex захэшировать, все float методом наименьших квадратов подгонять

(11) я еще не дошел до машинного обучения. даже хз с какого края подступиться...

(14) ну самое простое - присвоить всем нечисленным параметрам статистические веса и по весу смотреть. Надо почитать на самом деле на эту тему...
(13) они вроде уже захэшированы

короче поковырял как смог, понял что нихера не понял

А говоришь ничего не понял )))

(18) так а как делать то?))))

(17) я думаю, что более правильным подходом было бы заставить машину саму найти эти самые "предположения"

(20) каким образом?

(21) думаю. Я же говорю, попробую саповский стандарт на эти данные натравить - посмотрю че получится. Как время будет

(22) давай, не тяни)))

Кстати они процент попадания сразу присылают ? Хотя там конечно они берут всего 30% то есть овер дохера попыток если сделать ? То есть грубо говоря вообще забить на эти таблички а слать им результирующую табличку меняя порционно там значения, сколько нужно итераций долбануть интересно ?

а я про попытки ваще не понял. как это работает? я понял присылаешь им результирующую таблицу, он проверяют данные и выдают процент. причем здесь попытки?

у нас 50 тыс. абонентов и 7 возрастных категорий от 0 до 6, сколько вариаций табличек можно сделать ? Но такая схема сработала бы если бы они брали таблицу и давали 100% значение попадания по всей таблице.

Что-то типа кластерного анализа нужно сделать по файлу?

Нужно эту таблицу подсунуть обучалке для нейросети, и просто ждать пока она обучается до конца конкурса, и в последний момент посчитать и залить результат.

спейшиализды блеять

(27) че то сап считает, что кластерный анализ по недискретным значениям строить небогоугодно. Буду пробовать Decision tree обучать

а я буду ждать ноября, когда очередь курса по машинному обучению подойдет...

(32) самообучение обычно куда эффективнее обучения на курсах. Если бы я хотел научиться машинному обучению, для меня этот конкурс от билайна был бы идеальным модельным заданием

(33) структурированная подача материала все же несет больше пользы чем гуглинг отдельных статей и примеров. кстати на курсесе появился отдельный курс по машинному обучению от какого-то вашингтонского универа

(34) каждому свое. Я куда лучше обучаюсь решая задачу чем слушая скучные курсы. Но это наверное индивидуально

(35) ну курсы кстати не скучные. хотя да, иногда бывают такие моменты

(29) непонятно, как ты будешь определять качество каждого нового поколения и направление мутации

(37) Чем больше процент угадывания, тем выше качество, очевидно же.

(38) а, т.е. по 99% учишься, по 1% - проверяешь

admin govnoforuma (37) Чем больше процент угадывания, тем выше качество, очевидно же.

Так тебе нужно каждый цикл заливать и получать ответ и сУвать его программе, что бы она учитывала результаты.

(39) зачем разделять? По 100% учишься и проверяешь.

(38) Ты не сможешь проверить результат не закачав на их сервер ответ. А с такой скоростью нейросеть не построишь

(42) смогу

admin govnoforuma (42) смогу

Как ?

ну так есть же трейн дата. половину для обучения, половину для тестов

(45) Ты условия задачи внимательно читал?
(46) Зачем половину? Можно целиком.

(47) Вроде бы да, но я буду премного благодарен если Вы расскажите как можно определить на 100% попадание ?

Построить модель на основе данных из выборки train.csv, разметить выборку test.csv и предоставить файл, содержащий строки, такие как: ID из файла test.csv, предсказанная возрастная группа. Файл sol.csv содержит формат, в котором нужно загружать решение.

блин, каждый божий день такой херней занимаюсь...

(49) не [...]?

(51) Очевидно, работает в билайне, подготавливает предложения для разных возрастных групп.

(52) Какой Билайн?!

(54) Который в заголовке темы.

(55)(52) не билайн, а просто с бигдата работает
(56) а причем здесь сортировка?

admin govnoforuma Наверное около 70% - это предел.

наверное, попадание определяется примененными алгоритами. чем ближе примененное решение к примененному решению постановщиков задачи - тем выше процент.

sf а причем здесь сортировка?

ну там задание такое. Нужно по возрастным группам раскидать строки.

sf наверное, попадание определяется примененными алгоритами

Так и есть. А так же случайным отклонением входных параметров от ожидаемых значений.

sf наверное, попадание определяется примененными алгоритами. чем ближе примененное решение к примененному решению постановщиков задачи - тем выше процент.

я думаю, что у них уже есть информация о возрасте - в конце концов, паспорт то все абоненты предъявляют. Так что проверка будет вестись по реальным данным, а не на предмет алгоритма

Че, кто-нибудь вгрузил дату?
Я в регистр сведений залил, сделал скриптом один огромный запрос угадывающий возростную группу и подсчитывающий количество угадываний, получилось всего 38%. Маловато что-то. Правда я использовал только колонки СМС, Интернета, местных и зарубежных звонков, абонентской платы. Короче все более менее понятные и числовые колонки. Нечисловые типа тарифного плана, а так же числовые типа гео координат вообще не использовал. Наверное из-за этого такая неточность. Да и алгоритм самый простой придумал. А, и еще вес колонок не задавал.

(60) DTшник выложишь ?

(61) Нет! Пол ляма дарить не собираюсь. Я кажется понял как значительно улучшить процент попаданий.

ЗлобнийМальчик Так что проверка будет вестись по реальным данным

это попахивает! хотя билайн может...

(62) Не будет никаких пол ляма, смотри (6), там даже в правилах написано что мы выберем кого посчитаем нужным.

(63) Так фамилий же нет.

(67) Давай, давай, болеем за тебя ! получишь приз, подаришь хостинг Андрюхе и на штаны джейсмиту даш ))) ;)

sf это попахивает! хотя билайн может...

не понял, чем? вы сами мне только недавно рассказывали про обработку от 1С которая замещает персональную информацию в базе перед отправкой базы 1С. Почему билайн так сделать не может?

admin govnoforuma (61) Нет! Пол ляма дарить не собираюсь.

Ох ты и жмот!

(69) да билайн еще те жлобы. с учетом того, что у них слив базы был уже не раз, обфусцированные реальные дата для конкурса, вряд ли выложили....
хотя это же билайн!

(68) Ну ок, подскажите тогда. Я не учился такому. Как сложить вероятности правильно? Пример задачи понятными словами:
источник 1 утверждает что: Смит сегодня будет смотреть фильм, вероятность 99%, потому что он видел как Смит добыл деньги и ходил в магазин и купил диск с фильмом.
источник 2 утверждает что: Смит сегодня будет смотреть фильм, вероятность 10%, потому что он знает что Смит любит фильмы.
Итого у нас две вероятности: 99% + 10%. Какова общая вероятность? Просто сложить их нельзя, получится больше 100%. Какая правильная формула дополнения этих вероятностей?

События ни несовместные, ни зависимые, ни независимые
Тут формализовать надо правильно...

(74)0,991 - похоже на правду. Как получилось?

https://www.kaggle.com/c/titanic/details/getting-started-with-excel
jsmith82 переведи статью

(77) Сам не могёшь?

jsmith82 (77) Сам не могёшь?

А даже в гугл транслейт разобраться не могу ((( хуле, в детский сад не ходил, школу прогулял, даже в каблуху поступить не смог. Всю жизнь с 1С блять.

(81) Ну, так-то могу, если реально надо.

Под переводом я имел ввиду не просто тупо перевод, а сделать все как в статье, только данные подсунуть билайновские и своими мыслями дополнить.

Ааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааааа вот я лох

Ну так там как бы много информации на этом ресурсе, по читай и вдруг чего интересного родишь. [smile=^_^]

Э нах мне это, я тут по 1с не успеваю, и по вебу, а вы ещё хотите ширануть меня в совершенно иную сферу приложения аналитических скиллов.

(90) за пол ляма че бы не выучить что-то новое? Деньги пробухаешь, знания останутся.

admin govnoforuma (90) за пол ляма че бы не выучить что-то новое?

Задрал ты с этими пол-ляма, не буит никаких ни пол, даже шишечки не будет. Но для общего развития и в резюме указать принимал участие в таком-то конкурсе попал в ТОП10 - это то же определенная стоимость.

(92) А вдруг будет. Это же билайн, они щедрые, от них всего можно ожидать. Может скажут что так как участников было очень мало, то передумали и решили дать всем кто участвовал по пол ляма.

admin govnoforuma Итого, остановился ровно на 50% угадываний, и больше не занимался этой задачей. Хотя четко знаю как значительно улучшить процент угадываний, но некогда было делать, занимался более реальными делами. А время уже подходит к концу, так что даже не буду пытаться ничего улучшать. Темку можно закрывать.

Лишь бы только по закрывать чего нибудь. Будет победитель будет решение, будем обсуждать. Мне тема интересна.

на приз пох. попадание в топ - дает шанс на работу в билайне, и через пару лет можно будет проситься в гугло-фейсбуки.

(97) наифф.
Гоголь сам периодически кидает задачки

(98) че?