e_rubik (original) (raw)

Началось с того, что неожиданно пришло письмо (впрочем, такие письма всегда приходят неожиданно), где мне предложили сделать один или два тура для чемпионата России. Я подумал, что два тура точно не потяну, а вот один тур за два месяца вполне в состоянии написать. Персональный тур на ЧМ я уже делал, хорошо бы добавить в коллекцию и персональный тур на ЧР.

В столе уже лежала пара вопросов (правда, в итоге в тур вошел только один из них), так что задел уже был создан. В общем, поначалу ничто не предвещало ничего плохого. За первые три недели написал штук двадцать вопросов, но потом наступил глобальный ступор. Многократно листал Википедию, но вопросы рождались в муках и в крошечном количестве. В то же время после каждого тестирования приходилось выбрасывать по несколько штук. Даже заведомо простые вопросы, отложенные на другой пакет, пришлось взять в тур. Короче говоря, несмотря на срок в два месяца, еле-еле набралось пятнадцать вопросов.

Задача: гусеница за день поднимается на метр, а за ночь сползает на три метра, обретет ли она второе дыхание до того, как шмякнется на землю?

Говорят, что мои вопросы не похожи на мои и что в туре нет ни одной яркой идеи. Да, так и есть, с идеями действительно не густо (максимум одна на весь тур), зато много интересных фактов.

Тестирований было много (одно вживую, остальные через Скайп), и это выглядело как американские горки. Одни высказывали отдельные замечания, но в целом хвалили пакет, и я радовался, думая, что дело почти сделано, надо лишь кое-что выкинуть. Другие страшно ругали чуть ли не каждый вопрос, и я впадал в уныние. Третьи что-то одобряли, а что-то критиковали.

Лучше всего суть выразил Евгений Миротин. Когда в ходе очередного тестирования я упрощал вопросы и подсказывал, за что цепляться и в какую сторону думал, он в красках описал картину, как я на ЧР хожу между столами, слушаю обсуждение команд и направляю их в нужную сторону. В общем, после каждого тестирования я старался упрощать.

Кстати, в инструкции редакторам были очень строгие указания насчет тестирований. В целях безопасности нельзя было светить вопросы кому попало и вообще очень желательно было согласовывать всех потенциальных тестеров с оргкомитетом. Меня это не очень беспокоило, потому что желающих тестировать было много и вполне хватило тех, против кого не было никаких возражений, а острого желания тестировать именно на ком-то конкретном у меня не было.

Однако вся эта система защиты существовала больше в теории, чем на практике, потому что другие редакторы не заморачивались и тестировали на ком хотели. Им, конечно, погрозили пальцем, но от этого пальца ничего не меняется – вопросы-то уже давно засвечены. Кто-то из редакторов, вопреки инструкции, прислал вопросы не на специально выделенный для этого адрес, а на какой-то другой. Тоже погрозили пальцем, но не более того. В общем, вся эта фантасмагория напоминает историю про Фейнмана и сейфы.

Но гораздо сильнее разозлила история с оценкой туров. В теории опять же всё звучало красиво: редакторы трех лучших туров из семи (по оценке команд-участниц) получают финансовые бонусы, причем довольно солидные – того же порядка, что и основной гонорар. Я прикинул, что вполне могу войти в тройку. На первое место, конечно, рассчитывать не стоит, но попадание в тройку более чем реально. Так я думал и в самом начале, и в момент сдачи тура, зная мнение тестеров.

А потом прислали результаты – и у меня седьмое место из семи. Это же полный бред. Послушал мнения участников чемпионата – вроде в целом хвалят. Огрехи, конечно, есть, но в целом тур неплохой, уж никак не худший из семи. Почитал, что пишут о других турах: седьмой тур – явно лучший из всех, пятый – явное второе место, мой (шестой) – неплохой, остальные четыре – от среднего до никуда не годного. По идее у меня должно быть третье место, в крайнем случае – четвертое. Ладно, с четвертым местом я бы смирился, но последнее – это ни в какие рамки!

Немного подумал, вчитался в правила проведения голосования и понял, что система оценок никуда не годится. Оказывается, они после каждого игрового дня выдавали бланки и просили выбрать лучший тур дня. Отдельно – в первый день, и отдельно – во второй. Не надо быть большим математиком, чтобы понять, что это полный бред.

Например, если в первый день все туры примерно одного уровня (пусть даже этот уровень низкий), каждый из них получит по 20-30% голосов. А если во второй день играются гениальный, отличный и просто хороший туры, то гениальный наберет 50-60%, отличный – 30-40%, а просто хороший – оставшиеся 10-20%. Вот и получится, что хороший тур набирает меньше, чем плохие. Если повезет – примерно столько же, сколько плохие.

Более того, примерно такой случай и имел место. Результаты первого дня: 40, 21, 17, 21 (первый тур оказался явно лучше своих коллег по первому дню). Результаты второго дня: 35, 13, 54. Мои жалкие 13 голосов – действительно худший результат, но вы же понимаете, что по факту это означает, что 13 человек поставили мой тур выше гениального и отличного.

Вот оценки в Канделябре на текущий момент: 0.33, 0.29, -0.06, 0.02 в первый день и 0.67, 0.34, 1.02 во второй день. Понятно, что это всего 15 голосов, а не 100. Но разброс оценок показателен: седьмой тур – явно лучший, пятый тур – явное второе место, а мой тур по Канделябру делит третье-пятое места с явным отрывом от шестого и седьмого.

Мораль: я не говорю, что мой тур обязан был занять третье место при нормальной системе голосования, но он вполне мог его занять. И уж абсолютно точно он не заслуживает последнего места.

( Комментарии к отдельным вопросам + статистика + неудачные дублиCollapse )