pokutuna

LLM2025メインコンペ: SFT/DPO なしに基準点を超える試み

この課題は...プロンプトチューニングで解ける!!

最終課題のメインコンペは、Qwen3-4B-Instruct-2507 をベースに構造化出力 (JSON / YAML / TOML / XML / CSV) の生成精度を競うものです。入力に対して、指定されたフォーマットでデータを生成・変換し、構文の正しさとデータの内容で評価されます。

SFT や DPO でモデルの重みを更新して精度を上げるのが本来の解き方ですが、あえてこれらを行わず プロンプトチューニングで合格点ラインを超える試みを紹介します。

実際にこの方法で LB スコア 0.756 を達成できました。

pokutuna

#!/bin/bash
#
# Check that current Google models on Vertex AI work with the global endpoint.
#
# Usage:
#     ./check_global_endpoint.sh PROJECT_ID
#
# Prerequisites:
#     - gcloud CLI installed and authenticated
#     - curl, jq

pokutuna

import marimo

__generated_with = "0.17.1"
app = marimo.App()


@app.cell
def _():
    import numpy as np
    import matplotlib.pyplot as plt

pokutuna

{
  "$ref": "#/definitions/PromptfooConfigSchema",
  "definitions": {
    "PromptfooConfigSchema": {
      "type": "object",
      "properties": {
        "tags": {
          "type": "object",
          "additionalProperties": {
            "type": "string"

pokutuna

description: "Simple repro"

prompts: "{{ prompt }}"

providers:
- file://script.py

tests:
- vars:
    prompt: hello!

pokutuna

import asyncio
import logging
from pprint import pprint

from langchain_google_vertexai import ChatVertexAI
from langchain_mcp_adapters.client import MultiServerMCPClient
from langchain_mcp_adapters.tools import load_mcp_tools
from langgraph.prebuilt import create_react_agent

# Mute gemini unsupported schema warnings

pokutuna

# syntax=docker/dockerfile:1

FROM heartexlabs/label-studio:latest
# https://github.com/HumanSignal/label-studio/blob/develop/Dockerfile

# Litestream
USER root
ENV LITESTREAM_VERSION=v0.3.13
RUN ARCH=$(case $(uname -m) in x86_64) echo 'amd64';; aarch64) echo 'arm64';; *) echo 'unsupported' && exit 1;; esac) \
  && curl -sL "https://github.com/benbjohnson/litestream/releases/download/${LITESTREAM_VERSION}/litestream-${LITESTREAM_VERSION}-linux-${ARCH}.deb" \

pokutuna

package main

import (
	"flag"
	"image"
	"log"
	"os"

	_ "image/gif"
	_ "image/jpeg"

pokutuna

FROM alpine:3.12.0

RUN mkdir /app
COPY print.sh /app
ENV PATH /app:$PATH

ENTRYPOINT ["print.sh"]

pokutuna

package main

import (
	"fmt"
	"net/http"
	"strconv"
	"time"
)

type handler struct{}