第19回YANSシンポジウム YANS分野交流ハッカソン with 言語処理学会30周年記念事業 (original) (raw)
重要日程
2024年度のYANSハッカソンは終了しました。ありがとうございました。
このページの最後にハッカソンの開催報告を追記しました。タスクの詳細などはそちらをご覧ください。YANS運営委員特別賞の表彰状も添付しています。
ハッカソンの参加申込期間: YANS参加申込期間と同じです。日程はシンポジウムの概要ページをご確認くださいタスク概要の共有日: 開催1週間前を目安に参加者用Slackで配信します。ハッカソン当日: 2024年9月4日（水）13:00 – 20:00受付開始時間は12:30〜です。
ハッカソンの概要
言語処理学会30周年記念事業の一環として、シンポジウム前日（1日目）の9月4日（水）に分野交流ハッカソンを行います。画像処理をはじめとする自然言語処理以外の分野の学生・社会人と広く交流することを目的として、YANSシンポジウム会場と同じ会場にてオンサイトのみで実施します。
今年のハッカソンでは、マルチモーダルデータを用いたテキスト生成リーダーボードを開催します。画像やテキストで与えられたお題に対して、機転が利いた回答を行えるようなモデルを作っていただきます。当日にはモデル構築に必要なデータセットなどを共有する予定ですが、必要に応じてハッカソン中にアノテーションや追加でデータセットを構築することもOKです。
また、アドバイザーとして東北大の横井祥さん、SB Intuitionsの品川政太朗さん・清野舜さんの豪華三銃士をお招きします。ハッカソンの時間中は三銃士に質問することもできますので、この機会に交流してください。
評価は、自動評価、ハッカソン参加者の人手評価のほか、三銃士による評価も行います。また、取り組み内容の発表の良さや、ハッカソン中に実施したアノテーション・データセット構築の取り組みも評価に加えます。
学生・社会人問わず、ふるってご参加ください。自然言語処理の若手研究者はもちろん、普段は自然言語処理以外の分野でご活躍されている方や、これをきっかけに自然言語処理に触れてみたい、交流を広げたい、といった方も大歓迎です。 また、ハッカソン・コンペなどに参加したことがない方でも大歓迎です。優秀チームには表彰もありますので、ぜひチャレンジしてください！
参加までの流れ
参加申し込み
YANS2024参加の発表・聴講参加申し込み時に、ハッカソン参加者希望者枠のチケットをご購入ください。ハッカソン参加者数は定員がございますので、お早めにお申し込みください。
※ ハッカソンの参加に際して、シンポジウムの参加費以外に追加で費用は発生いたしません。
※ ハッカソンを希望されない方は、ハッカソン参加希望枠のチケットをご購入されないようお願いいたします。
※ チーム編成は、参加者に対して事前に行うアンケートの回答を踏まえて運営側で実施します。事前にチームを組んだ上でのご参加はできません。
参加同意書の提出および参加者アンケートへの回答
ハッカソンの円滑な運営のため、参加同意および参加者アンケートへの回答にご協力ください。参加同意書は以下の通りです。ハッカソンの参加申込時に参加同意をいただけない方はハッカソンに参加できませんので、ご承知おきください。 参加者アンケートでは、開発経験やメインの研究領域などを伺います。この回答内容はチームの振り分けなどに利用します。
タスク概要の共有（ガイダンス）
ハッカソン開催日の1週間前ごろを目安に、参加者用Slackにてガイダンス用資料を配信します。それまでに参加者用Slackへ招待しますので、ご参加をお願いいたします。
また、ガイダンスの連絡の際に、テーマおよびチームの振り分けについても発表します。ハッカソン当日までに必ずご確認ください。
ハッカソン当日
ハッカソンはシンポジウム前日（1日目）の9月4日（火）の13:00から、オンサイトにて開催します。 受付開始は12:30からです。
ハッカソンのタスク内容
いくつかの評価メトリックを用いたコンペ形式の競争になります。 各チームへOpenAI APIのキーを提供しますので、これを用いて公開データに基づく自然言語生成タスクに挑戦していただきます。取り組んでいただくテーマの詳細はガイダンス時にお知らせしますが、お題となる画像やテキストを入力として、それに対する機転の利いた回答をテキストで返すようなタスクに挑戦いただきます。 公開データは当日に運営から提供する予定です。また、これに加えてハッカソンの時間内で提供データに対する追加アノテーションや新たなデータセットを構築することも認めます。
各チームの取り組みをいくつかの観点で評価をして、以下の3種類の賞を授与する予定です。各賞を授与するチーム数などは、ハッカソン参加者の人数を踏まえて後日決定します。
- 優秀賞: タスクの評価メトリックを用いて提出システムを評価し、スコアが高いチームに授与します。
- 審査員特別賞: 手法の独創性・取り組み内容の発表の面白さなどを踏まえて評価します。
- YANS運営委員特別賞: 取り組みの独自性、データへの向き合い方などを踏まえて評価します。
データセット賞: 提供データに追加でアノテーションを実施したチームや、新たなデータセットを構築したチームなどがいた場合は、そのチームの中で特に優れた取り組みをしたチームに対して授与します。
そのほかの注意点
以下の通りです。その他の詳細はガイダンスでお伝えします。
- Google Colabが使用できる端末（ノートPC等）をお持ちください。
- 各チームに対して生成AIサービスのAPIキーを提供します。
- API利用にはUsage Limitを設けます。この範囲内でかかる費用は運営で負担します。この範囲を超えて自費で使うことは認めません。
- 生成AIサービスはOpenAI APIの利用を想定していますが、その他サービスに変更する可能性もあります
開催報告
概要
「言語芸術生成ハッカソン」として、OpenAI APIを使った大喜利・川柳の生成タスクを提供しました。 大喜利・川柳でそれぞれ8チーム、合計16チーム・93名が参加しました。
各チームは4時間の中で、方針決定・開発・発表スライド作成、の全てを行いました。 運営委員会からは、システムの性能確認用としてLLM-as-a-judgeによる評価ができるリーダーボードや、三銃士によるアドバイスなどを提供し、開発を支援しました。
開発時間終了後は、各チームから3分のスライド発表や参加者全員によるライブ人手評価を行いました。 当日の各チームの発表スライドはYANSの開催報告記事に掲載しますので、そちらをご覧ください。
詳細
事前ガイダンス（タスク詳細、賞の選定方法などの説明）
当日ガイダンス（全体進行、リーダーボードの使い方などの説明）
各タスクで提供したデータは以下に公開しています。 リーダーボード上では、テストデータ100件の参照回答とのPairwise評価を実施しました。
ライブ人手評価では、YANS運営委員から集めた画像やお題に対する回答を評価しました。こちらの画像データ・参照回答も公開しています。
- 大喜利
- 川柳
結果
クロージングで、優秀賞・審査員特別賞・YANS運営委員特別賞を発表しました。
リーダーボードの結果やライブ人手評価の結果もこちらに記載しています。
YANS運営委員特別賞の受賞チームに対する表彰状は以下のとおりです。 受賞おめでとうございます。