LiteRT Next 소개: 온디바이스 하드웨어 가속을 개선하고 단순화하는 새로운 API 세트입니다.

이 페이지는 Cloud Translation API를 통해 번역되었습니다.

Android용 LLM 추론 가이드

LLM 추론 API를 사용하면 Android 애플리케이션에서 대규모 언어 모델 (LLM)을 완전히 기기 내에서 실행할 수 있습니다. 이를 통해 텍스트 생성, 자연어 형식의 정보 검색, 문서 요약과 같은 다양한 작업을 실행할 수 있습니다. 이 작업은 여러 텍스트 대 텍스트 대규모 언어 모델을 기본적으로 지원하므로 최신 기기 내 생성형 AI 모델을 Android 앱에 적용할 수 있습니다.

Android 애플리케이션에 LLM 추론 API를 빠르게 추가하려면 빠른 시작을 따르세요. LLM 추론 API를 실행하는 Android 애플리케이션의 기본 예는 샘플 애플리케이션을 참고하세요. LLM Inference API의 작동 방식을 자세히 알아보려면 구성 옵션, 모델 변환, LoRA 조정 섹션을 참고하세요.

MediaPipe 스튜디오 데모에서 이 작업이 실행되는 모습을 확인할 수 있습니다. 이 태스크의 기능, 모델, 구성 옵션에 관한 자세한 내용은 개요를 참고하세요.

빠른 시작

Android 애플리케이션에 LLM 추론 API를 추가하려면 다음 단계를 따르세요. LLM 추론 API는 Pixel 8 및 삼성 S23 이상과 같은 고급 Android 기기에 최적화되어 있으며 기기 에뮬레이터를 안정적으로 지원하지 않습니다.

종속 항목 추가

LLM Inference API는 com.google.mediapipe:tasks-genai 라이브러리를 사용합니다. Android 앱의 build.gradle 파일에 다음 종속 항목을 추가합니다.

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:0.10.24'
}

모델 다운로드

Hugging Face에서 4비트 양자화 형식의 Gemma-3 1B를 다운로드합니다. 사용 가능한 모델에 관한 자세한 내용은 모델 문서를 참고하세요.

output_path 폴더의 콘텐츠를 Android 기기로 푸시합니다.

$ adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
$ adb shell mkdir -p /data/local/tmp/llm/
$ adb push output_path /data/local/tmp/llm/model_version.task

작업 초기화

기본 구성 옵션으로 태스크를 초기화합니다.

// Set the configuration options for the LLM Inference task
val taskOptions = LlmInferenceOptions.builder()
        .setModelPath('/data/local/tmp/llm/model_version.task')
        .setMaxTopK(64)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, taskOptions)

태스크 실행

generateResponse() 메서드를 사용하여 텍스트 응답을 생성합니다. 이렇게 하면 단일 생성된 응답이 생성됩니다.

val result = llmInference.generateResponse(inputPrompt)
logger.atInfo().log("result: $result")

응답을 스트리밍하려면 generateResponseAsync() 메서드를 사용합니다.

val options = LlmInference.LlmInferenceOptions.builder()
  ...
  .setResultListener { partialResult, done ->
    logger.atInfo().log("partial result: $partialResult")
  }
  .build()

llmInference.generateResponseAsync(inputPrompt)

샘플 애플리케이션

LLM 추론 API가 작동하는 모습을 확인하고 다양한 기기 내 생성형 AI 기능을 살펴보려면 Google AI Edge Gallery 앱을 확인하세요.

Google AI Edge Gallery는 개발자를 위한 대화형 놀이터 역할을 하는 오픈소스 Android 애플리케이션입니다. 쇼케이스에는 다음이 표시됩니다.

다음을 비롯한 다양한 작업에 LLM 추론 API를 사용하는 실용적인 예시입니다.
- 이미지에 관해 질문하기: 이미지를 업로드하고 이미지에 관해 질문합니다. 설명을 확인하거나 문제를 해결하거나 객체를 식별합니다.
- 프롬프트 실험실: 코드를 요약, 재작성, 생성하거나 자유 형식 프롬프트를 사용하여 단일 턴 LLM 사용 사례를 살펴봅니다.
- AI 채팅: 멀티턴 대화에 참여합니다.
Hugging Face LiteRT 커뮤니티 및 공식 Google 출시 (예: Gemma 3N)에서 다양한 LiteRT 최적화 모델을 찾아보고 다운로드하여 실험할 수 있는 기능
다양한 모델의 실시간 기기 내 성능 벤치마크 (Time To First Token, 디코딩 속도 등)
자체 커스텀 .task 모델을 가져오고 테스트하는 방법

이 앱은 LLM 추론 API의 실용적인 구현과 기기 내 생성형 AI의 잠재력을 이해하는 데 도움이 되는 리소스입니다. Google AI Edge Gallery GitHub 저장소에서 소스 코드를 살펴보고 앱을 다운로드합니다.

구성 옵션

다음 구성 옵션을 사용하여 Android 앱을 설정합니다.

옵션 이름	설명	값 범위	기본값
`modelPath`	프로젝트 디렉터리 내에서 모델이 저장되는 위치의 경로입니다.	경로	해당 사항 없음
`maxTokens`	모델이 처리하는 최대 토큰 수 (입력 토큰 + 출력 토큰)입니다.	정수	512
`topK`	생성의 각 단계에서 모델이 고려하는 토큰 수입니다. 예측을 가장 확률이 높은 상위 k개 토큰으로 제한합니다.	정수	40
`temperature`	생성 중에 도입된 무작위성의 양입니다. 온도가 높을수록 생성된 텍스트의 창의성이 높아지고, 온도가 낮을수록 더 예측 가능한 생성이 이루어집니다.	부동 소수점 수	0.8
`randomSeed`	텍스트 생성 중에 사용되는 무작위 시드입니다.	정수	0
`loraPath`	기기의 로컬에 있는 LoRA 모델의 절대 경로입니다. 참고: GPU 모델과만 호환됩니다.	경로	해당 사항 없음
`resultListener`	결과를 비동기식으로 수신하도록 결과 리스너를 설정합니다. 비동기 생성 메서드를 사용할 때만 적용됩니다.	해당 사항 없음	해당 사항 없음
`errorListener`	선택적 오류 리스너를 설정합니다.	해당 사항 없음	해당 사항 없음

멀티모달 프롬프트

LLM 추론 API Android API는 텍스트 및 이미지 입력을 허용하는 모델을 사용하여 멀티모달 프롬프트를 지원합니다. 멀티모달을 사용 설정하면 사용자는 프롬프트에 이미지와 텍스트를 조합하여 포함할 수 있으며 LLM은 텍스트 대답을 제공합니다.

시작하려면 Gemma 3n의 MediaPipe 호환 변형을 사용하세요.

Gemma-3n E2B: Gemma-3n 제품군의 2B 모델입니다.
Gemma-3n E4B: Gemma-3n 제품군의 4B 모델입니다.

자세한 내용은 Gemma-3n 문서를 참고하세요.

프롬프트 내에 이미지를 제공하려면 입력 이미지 또는 프레임을 LLM 추론 API에 전달하기 전에 com.google.mediapipe.framework.image.MPImage 객체로 변환합니다.

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

LLM 추론 API에 대한 비전 지원을 사용 설정하려면 그래프 옵션 내에서 EnableVisionModality 구성 옵션을 true로 설정하세요.

LlmInferenceSession.LlmInferenceSessionOptions sessionOptions =
  LlmInferenceSession.LlmInferenceSessionOptions.builder()
    ...
    .setGraphOptions(GraphOptions.builder().setEnableVisionModality(true).build())
    .build();

Gemma-3n은 세션당 최대 1개의 이미지를 허용하므로 MaxNumImages를 1로 설정합니다.

LlmInferenceOptions options = LlmInferenceOptions.builder()
  ...
  .setMaxNumImages(1)
  .build();

다음은 시각 및 텍스트 입력을 처리하도록 설정된 LLM 추론 API의 구현 예입니다.

MPImage image = getImageFromAsset(BURGER_IMAGE);

LlmInferenceSession.LlmInferenceSessionOptions sessionOptions =
  LlmInferenceSession.LlmInferenceSessionOptions.builder()
    .setTopK(10)
    .setTemperature(0.4f)
    .setGraphOptions(GraphOptions.builder().setEnableVisionModality(true).build())
    .build();

try (LlmInference llmInference =
    LlmInference.createFromOptions(ApplicationProvider.getApplicationContext(), options);
  LlmInferenceSession session =
    LlmInferenceSession.createFromOptions(llmInference, sessionOptions)) {
  session.addQueryChunk("Describe the objects in the image.");
  session.addImage(image);
  String result = session.generateResponse();
}

LoRA 맞춤설정

LLM Inference API는 PEFT (매개변수 효율적인 미세 조정) 라이브러리를 사용하여 LoRA (하위 순위 조정) 조정을 지원합니다. LoRA 조정은 비용 효율적인 학습 프로세스를 통해 LLM의 동작을 맞춤설정하여 전체 모델을 재학습하는 대신 새 학습 데이터를 기반으로 학습 가능한 가중치의 작은 세트를 만듭니다.

LLM 추론 API는 Gemma-2 2B, Gemma 2B, Phi-2 모델의 주목 레이어에 LoRA 가중치를 추가하는 것을 지원합니다. safetensors 형식의 모델을 다운로드합니다.

LoRA 가중치를 만들려면 기본 모델이 safetensors 형식이어야 합니다. LoRA 학습 후 모델을 FlatBuffers 형식으로 변환하여 MediaPipe에서 실행할 수 있습니다.

LoRA 가중치 준비

PEFT의 LoRA Methods 가이드를 사용하여 자체 데이터 세트에서 미세 조정된 LoRA 모델을 학습합니다.

LLM Inference API는 주목 레이어에서만 LoRA를 지원하므로 LoraConfig에서 주목 레이어만 지정합니다.

# For Gemma
from peft import LoraConfig
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "o_proj"],
)

# For Phi-2
config = LoraConfig(
    r=LORA_RANK,
    target_modules=["q_proj", "v_proj", "k_proj", "dense"],
)

준비된 데이터 세트에서 학습하고 모델을 저장한 후 미세 조정된 LoRA 모델 가중치를 adapter_model.safetensors에서 사용할 수 있습니다. safetensors 파일은 모델 변환 중에 사용되는 LoRA 체크포인트입니다.

모델 변환

MediaPipe Python 패키지를 사용하여 모델 가중치를 Flatbuffer 형식으로 변환합니다. ConversionConfig는 추가 LoRA 옵션과 함께 기본 모델 옵션을 지정합니다.

import mediapipe as mp
from mediapipe.tasks.python.genai import converter

config = converter.ConversionConfig(
  # Other params related to base model
  ...
  # Must use gpu backend for LoRA conversion
  backend='gpu',
  # LoRA related params
  lora_ckpt=LORA_CKPT,
  lora_rank=LORA_RANK,
  lora_output_tflite_file=LORA_OUTPUT_FILE,
)

converter.convert_checkpoint(config)

변환기는 기본 모델용 Flatbuffer 파일과 LoRA 모델용 Flatbuffer 파일 2개를 생성합니다.

LoRA 모델 추론

Android는 초기화 중에 정적 LoRA를 지원합니다. LoRA 모델을 로드하려면 LoRA 모델 경로와 기본 LLM을 지정합니다.

// Set the configuration options for the LLM Inference task
val options = LlmInferenceOptions.builder()
        .setModelPath(BASE_MODEL_PATH)
        .setMaxTokens(1000)
        .setTopK(40)
        .setTemperature(0.8)
        .setRandomSeed(101)
        .setLoraPath(LORA_MODEL_PATH)
        .build()

// Create an instance of the LLM Inference task
llmInference = LlmInference.createFromOptions(context, options)

LoRA로 LLM 추론을 실행하려면 베이스 모델과 동일한 generateResponse() 또는 generateResponseAsync() 메서드를 사용합니다.