تبدیل تصویر اسکن شده و یا چاپ شده از یک متن به متن قابل ویرایش توسط کامپیوتر را تشخیص کاراکتر نوری یا نویسهخوانی نوری (OCR) میگویند. نویسهخوانی نوری از موضوعات چالشی در پردازش تصویر و یکی از موضوعات پرکاربرد در کتابخانههای دیجیتال است.
در این طرح یک مدل نویسهخوانی نوری مبتنی بر مدلهای بینایی-زبانی (vision-language model) و ترنسفورمرها ( transformer) معرفی میشود. یک از رویکردهای پرکاربرد در نویسهخوانی نوری روشهای مبتنی بر شبکههای عصبی پیچشی (CNN) و شبکههای عصبی بازگشتی (RNN) است. در روشهای مبتنی بر شبکههای عصبی پیچشی واژهها به صورت مجزا و بر اساس ویژگیهای پیکسلی آنها شناسایی میشوند و بافت متن مورد بهرهگیری قرار نمیگیرد و به همین دلیل به کیفیت تصویر وابسته هستند و قدرت تصحیح خطاهای تشخیصی را ندارند و معمولا نیازمند روشهای پیش پردازش و پس پردازش هستند. ایجاد روشهایی که با درک بافت متن بتواند تشخیص دقیقتری ایجاد کند مورد توجه بوده است. با به وجود آمدن ترنسفورمرها ، انقلابی در پردازش دنبالهها و به ویژه در حوزه نویسهخوانی نوری به وقوع پیوست. این معماری با بهرهگیری از مکانیزم توجه (Attention Mechanism)، به ویژه توجه چندسر (Multi-Head Attention)، این توانایی را یافت تا وابستگیهای بلندمدت و پیچیده بین توکنها (کاراکترها یا کلمات) در یک متن را مستقیما مدل کند. برخلاف روشهای مبتنی بر CNN و RNN که پردازش را به صورت موضعی یا قدمبهقدم انجام میدهند، ترنسفورمرها به تمام بخشهای دنباله ورودی به صورت همزمان “توجه” میکنند.
در سالهای اخیر، مدلهای نویسهخوانی نوری مبتنی بر مدلهای بینایی-زبانی با استفاده از معماریهای ترنسفورمر تحولات چشمگیری در نویسهخوانی انگلیسی ایجاد کردهاند. در این طرح به کارگیری این مدلها برای انجام OCR فارسی بررسی میشود چالشها و مشکلهای آن شناسایی میشود و یک روش نویسهخوانی نوری مبتنی بر مدلهای بینایی- زبانی برای زبان فارسی معرفی میشود.
فخرزاده، آزاده، امیرحسین صدیقی، علیرضا محمدی. زودآیند. ارائه یک روش نویسهخوانی نوری مبتنی برمدلهای بینایی-زبانی برای اسناد علمی فارسی. تهران: پژوهشگاه علوم و فناوری اطلاعات ایران.
